...
データによる仮説検証の3段階アプローチ データ分析講座（その248）
仮説を立てて、データで検証する場合、既にある過去データで検証する方法と、これから新たにデータ取得し検証する方法があります。さらに、これから新たにデータ取得し検証する方法も、どうなるのかをモニタリングし確かめる方法と、ABテストで代表されるように積極的に介入しデータを取得し確かめる方法があります。このように考えると、ざっくり3種類のデータによる仮説検証の方法があることになります。今回は「データによる仮説検証の3段階アプローチ」というお話しをします。
【目次】
1.データによる仮説検証の3段階アプローチ
2.某ニュースサイトの事例:とりあえずの目標
3.某ニュースサイトの事例:とりあえずの仮説
(1)仮説に対し、既にある過去データで検証し確かめる（例：統計解析や探索的データ分析）
(2)その仮説が、今後とも成立するのかをデータを取得し続け確かめる（例：モニタリング）
(3)その仮説を堅固なものにするために積極的に介入しデータを取得し確かめる（例：ABテスト）
4.今回のまとめ
【この連載の前回：データ分析講座（その247)データによる課題発見と課題解決へのリンク】
1.データによる仮説検証の3段階アプローチ
絶対的なものではありませんが、仮説検証の方法は、ざっくり3種類のデータによるものがあります。そして、この3種類のデータによる仮説検証には、実施する順番が次のようにあります。
- 仮説に対し、既にある過去データで検証し確かめる（例：統計解析や探索的データ分析）
- その仮説が、今後とも成立するのかをデータを取得し続け確かめる（例：モニタリング）
- その仮説を堅固なものにするために積極的に介入しデータを取得し確かめる（例：ABテスト）
これを簡単な事例で説明します。
2.某ニュースサイトの事例:とりあえずの目標
某ニュースサイトの、とりあえずの目標は無料会員数をある数まで増やすことでした。今まで見ていた指標は、PV（ページビュー）数やUU（ユニークユーザー）数、訪問数、回遊率（PV÷訪問数）などでした。これらの指標と無料会員登録数の間に関係性はありそうでしたが、それほど強いものではなさそうでした。
例えば、PV数やUU数などの数値がある一定以上を超えると、無料会員登録数の増え方は鈍化していましたし、そもそも相関関係そのものもそれほど大きなものではありませんでした。
3.某ニュースサイトの事例:とりあえずの仮説
無料会員登録には何が効果的なのか、調べることにしました。
日々発信されているニュース記事は、他のニュースサイトとそれほど大きく内容は変わりません。違いを出せるとしたら、記事のタイトルぐらいです。ニュースサイトには、日々発信されているニュース記事以外にも、それらをまとめ編集し直し内容を深堀りした特集ページや、お悩み相談、コラムなどもあります。
そこで仮説として、記事タイトル・特集ページ・お悩み相談・コラムのいずれかが無料会員登録に効いているのであろうと考えました。
(1)仮説に対し、既にある過去データで検証し確かめる（例：統計解析や探索的データ分析）
そこで過去データ（サイトのアクセスログ）を使い、無料会員登録につながった訪問とそうでない訪問に分けて、どのようなページを閲覧したのか、どのくらい滞在したのか、などを比較しました。さらに、目的変数を無料会員登録の有無とした、ロジスティック回帰モデルやディシジョンツリー（分類木）モデルなどを構築し、何が無料会員登録に効いていそうかを分析しました。
要は、最初は集計値やそれをグラフ化したものを眺め傾向を感覚的につかみ、その掴んだ感覚を活かしながら簡単な数理モデル（分類問題）を構築し検証した、ということです。その結果、分かったことは、特集ページが無料会員登録に効いている、ということです。
(2)その仮説が、今後とも成立するのかをデータを取得し続け確かめる（例：モニタリング）
そこで、特集ページのPV数やUU数、滞在時間などを指標としてモニタリングすることにしました。
さらに、特集ページ閲覧後の無料会員数やCVR（コンバージョンレート、無料会員登録率）も日々集計しモニタリングしました。もちろん、全体の無料会員数やCVR、特集ページ非閲覧訪問者の無料会員数やCVRも日々集計しモニタリングしています。1ヶ月モニタリングして分かったことは、特集ページが無料会員登録にかなり効いている、ということです。
無料会員登録する人は、記者の腕が発揮される特集ページを「いいかも」と思い登録したことが垣間見れます。
(3)その仮説を堅固なものにするために積極的に介入しデータを取得し確かめる（例：ABテスト）
モニタリングし確かめることで十分かもしれませんが、さらに突っ込んだことを実施しました。ABテストです。サイトの新規訪問者をA群とB群に分け、B群に振り分けられた人は特集ページへ遷移できなくしました。
- A群：特集ページへ遷移できる
- B群：特集ページへ遷移できない
B群に振り分けられた訪問者は、特集ページを見ることができませんので、A群とB群の無料会員数やCVRなどを比較することで、特集ページの存在の有無が無料会員登録にどれだけ効いているのかが分かります。そして、結果は仮説通りでした。
4.今回のまとめ
今回は、「データによる仮説検証の3段階アプローチ」というお話しをしました。仮説を立てて、データで検証する。既にある過去データで検証する方法と、これから新たにデータ取得し検証する方法があります。
さらに、これから新たにデータ取得し検証する方法も、どうなるのかをモニタリングし確かめる方法と、ABテストで代表されるように積極的に介入しデータを取得し確かめる方法があります。このように考えると、ざっくり3種類のデータによる仮説検証の方法があることになります。
この3種類のデータによる仮説検証には、実施する順番があります。
・仮説に対し、既にある過去データで検証し確かめる（例：統計解析や探索的データ分析）
・その仮説が、今後とも成立するのかをデータを取得し続け確かめる（例：モニタリング）
・その仮説を堅固なものにするために積極的に介入しデータを取得し確かめる（例：ABテスト）
ちなみに、すべてを実施する必要はありませんし、いきなり新たにデータを取得し仮説検証しても構いません。
次回に続きます。
◆【特集】 連載記事紹介：連載記事のタイトルをまとめて紹介、各タイトルから詳細解説に直リンク！！
続きを読むには・・・
この連載の他の記事
現在記事
データによる仮説検証の3段階アプローチ データ分析講座（その248）
「情報マネジメント一般」の他のキーワード解説記事
もっと見る
見える化の魔力 データ分析講座（その218）
【この連載の前回：データ分析講座（その217)なぜ、開票率数%で当確なのか？へのリンク】 データ活用をするとき、「見える化」というキ...
【この連載の前回：データ分析講座（その217)なぜ、開票率数%で当確なのか？へのリンク】 データ活用をするとき、「見える化」というキ...
孫氏の教え（各個撃破せよ！） データ分析講座（その201）
「あなたはデータを活用し、利益を生み出しつづけていますか？」 はたしてどうかなと思われた方は、財務諸表を見るといいでしょう。財務諸表と...
「あなたはデータを活用し、利益を生み出しつづけていますか？」 はたしてどうかなと思われた方は、財務諸表を見るといいでしょう。財務諸表と...
過去のデータの扱い方とは データ分析講座（その2）
◆ 過去のデータを紐解けるようになると、預言者になる不思議 「データから分かるのって、過去のこと。知りたいのは、これからどうすべきかをなんだ」素朴な...
◆ 過去のデータを紐解けるようになると、預言者になる不思議 「データから分かるのって、過去のこと。知りたいのは、これからどうすべきかをなんだ」素朴な...
「情報マネジメント一般」の活用事例
もっと見る
個票データの共用化でコストダウン
データ解析の効率は、生データとその整理の仕方で大きく異なると言えます。 例えば、アンケート結果は単なる生データであり、そのままでは解析出来ません。解析の...
データ解析の効率は、生データとその整理の仕方で大きく異なると言えます。 例えば、アンケート結果は単なる生データであり、そのままでは解析出来ません。解析の...
‐社内の問題克服による開発活動‐ 製品・技術開発力強化策の事例（その14）
前回の事例その13に続いて解説します。社内における様々な問題を高いレベルで深く追及して解決することが、競争力のある技術を育成し、売れる製品を生み出す事に...
前回の事例その13に続いて解説します。社内における様々な問題を高いレベルで深く追及して解決することが、競争力のある技術を育成し、売れる製品を生み出す事に...
システムトラブル、誰に相談したら良いか
最近は、以下のように情報システム開発にかかわるトラブルに悩まされる企業が急増しています。ところが、トラブルが起きた時に誰に相談したらいいかわからなくて困...
最近は、以下のように情報システム開発にかかわるトラブルに悩まされる企業が急増しています。ところが、トラブルが起きた時に誰に相談したらいいかわからなくて困...
