現場感とデータ分析データ分析講座（その219）

投稿日 2022-07-28

...

データ分析

データから新たな知見を得たい！という要望は、昔からあります。仮説発見をするぞという、データマイニングがその現れでしょう。従来のメインが「仮説検証型データ分析」で、それを進化させたような感じを与えるようなモノでした。最近ですと、未来創造型と言えそうです。仮説検証から仮説発見へ、仮説発見から未来創造へ、ということです。

「未来創造型データ分析」はさておき、仮説発見は本当に起こり得るのでしょうか？今回は、「現場感とデータ分析（どちらかというと仮説探索型データ分析）」というお話しをします。

【目次】
1.仮説発見
2.データは過去の一部分に過ぎない
3.現場から見たら当然のことが多い
4.現場感に合わないデータ分析結果は怪しいケースが多い
5.記録は何のためにする？
6.どちらかというと、仮説探索型

1.仮説発見

「仮説発見型データ分析」とは、「缶ビールと紙おむつが同時購買されている！」みたいな新たなルールをデータから発見することです。

「缶ビールと紙おむつ」の事例
1998年の米国のForbes誌で紹介されたものです。当時のNCR社が米国にある小売店であるオスコのデータを分析して得た併買ルールです。この新たに発見されたルールで収益を拡大したとは、Forbes誌には記載されていません。

「発見」とは「今まで知られていない物事を初めて見いだすこと」です。「今まで知られていない物事を初めて見いだすこと」は、本当にデータで可能なのでしょうか？

2.データは過去の一部分に過ぎない

当然のことですが、データは過去の一部分に過ぎません。要するに、過去全体を知ることはできません。そのため、データ分析をするとき、分析者の洞察力や前提になる知識が必要になってきます。

「缶ビールと紙おむつが同時購買されている！」というデータ分析結果を見たとき、洞察力や前提知識などによって、反応が異なり、次のように分かれます。

現場から見たら「わかる、わかる」
現場から距離があるほど「へぇ、面白い」

3.現場から見たら当然のことが多い

データは過去の一部分に過ぎません。データの発生源に近いところで働いている現場の人にとって、毎日のように接している事象です。先ほどの「缶ビールと紙おむつ」で考えると、本当に缶ビールと紙おむつがよく併買されているのなら、レジ係は知っているはずです。毎日のように目の前で見ていますし、そのレジ打ちをするからです。

現場から距離があるほど、この事実を知りません。現場を知らないからです。

4.現場感に合わないデータ分析結果は怪しいケースが多い

データ分析結果を現場の人に見てもらうことは非常に重要です。現場感に合わないデータ分析結果は怪しいケースが多いからです。現場にとって全く身に覚えのないことがデータに記録されることは、稀だからです。現場から距離のある人にデータ分析結果を見てもらい、「面白い！　使える！　これいいね！」と言ってもらえても、現場から見たら「そんなことはない」となることもあります。それは、どこかでミスっているのです。