因果推論を使えば既存のデータから新たな知見が手に入る

ディップでは「バイトル」「はたらこねっと」などの求人サイトを展開しています。それらの媒体の認知を拡大するためにTVCMの放映を行っていましたが、その効果の測定などが十分にできておらず、広告の最適化が進んでいないという課題がありました。その課題を解決するために立ち上がったのが、TVCMの効果検証プロジェクトです。因果推論の手法を用いることで、新たにデータを採取しなくても、既存のデータをもとに、今までよりもさらに深い分析が可能になりました。今回はそのプロジェクトにおいてデータ分析を担当した呉に話を聞きました。

データサイエンスで、今までのTVCM分析ではわからなかったことを分析する

――施策実施前の状況を教えてください。

ディップではバイトルという求人サイトを運営しており、サービスの認知を拡大し、応募者を増やすための施策としてTVCM放映を行っています。
放映したTVCMの効果に関しては、今まではアンケート調査などでミクロな分析をしてきましたが、応募の増分などの定量的な効果に焦点を絞った分析はしていませんでした。

――どのような課題をお持ちでしたか。

TVCMの分析の軸を増やすことが課題でした。

ディップは労働力の総合商社、Labor Force Solution Companyとして、構造的な人手不足の解決を目指しています。創業以来、人材サービス事業でお客様に人的な労働力を提供してきました。つまり、お客様には求人サイトでアルバイトの求人を出していただき、サイトのユーザーがそこに応募し、採用されるというマッチングを提供してきました。

マッチングのためには、ディップが運営する求人サイト「バイトル」のユーザー数や、そこで出稿される求人への応募者数をいかに増やすかが肝心になります。その手段として、広告の効果検証が重要ですが、TVCMを見たことによる応募者数の変化などは今まで観測しきれていなかったため、このプロジェクトが始まりました。

――施策検討の経緯について教えてください。

本来効果検証は実験群と対照群に分けてABテストを行うことが望ましいとされています。しかし、いきなりABテストをやることは予算規模とリスクから見ると現実的ではなかったのです。

そのため、計量政治学、計量経済学、計量社会学、医学などで使われている因果推論の手法を駆使して、現実の世界のデータに隠されたABテストを抽出して分析を行おうということで本施策がスタートしました。

より深い効果分析を行うため、既存のデータに隠された因果から推論

――どのような施策を選びましたか。

ABテストを行っていない、かつどの求職者がTVCM経由で入ったのかがサイトのデータからはわからない状態で、都道府県を分析単位にして、マクロな視点でTVCMの効果を評価するため、「Causal Impact」という因果推論の手法を採用しました。
 Causal Impactによるシミュレーション（サンプル）

――施策のポイントはどこですか。

因果推論でもっとも重要なのは反実仮想の概念です。
反実仮想とは、「したら」と「しなかったら」の比較です。

もちろん、現実の世界では片方の状況しか観測できないため「仮想」と言います。

例えば、東京都でTVCMを出稿したとすると、『TVCMを出稿していない東京都のデータ』はそもそもどこにも存在しなくなります。
よって、『TVCMを出稿していない東京都のデータ』は現実の世界で入手可能なデータで予測するしかありません。これが仮想です。

具体的には、バイトルのTVCMを出稿する都道府県（X群）と出稿していない都道府県（Y群）があります。
そこで、出稿をある理由で全国的に止めた時期のY群の応募数データでX群の応募数を「ナウキャスト」するモデルを推定し、出稿再開後のX群の応募数から「ナウキャストモデル」で予測した「出稿していなかった場合」のX群の応募数を差し引いた値をTVCMの効果として評価します。

 TVCMの効果検証手法

分析は一人でも、チームがサポートしてくれる体制

――どのような体制で取り組みましたか。

因果推論を使ったデータ分析は基本的に私ひとりがやっていますが、他のData Brain課のメンバーとデータの取り方、データの切り方、結果の見せ方などについて密に意見交換しています。

また、因果推論を行う際には自らの知識をもとに現実の世界に隠されたABテストを探す識別戦略を取るため、その分野に関する専門的な知識（ドメイン知識）を必要とします。TVCMやマーケティング全般に関するドメイン知識は主にマーケティング部門の方にお伺いしております。

――プロジェクト推進体制や環境のよかった点について教えてください。

上述のように、プロジェクトを超えて様々なメンバーに相談できる環境がいいと思います。
Slackの他に、最近dip Roboticsで導入されたバーチャルオフィスも意見交換のしやすさとスピード感を向上させています。
これは全社レベルでDXを推進することによって初めて可能になった環境です。

――本取り組みで困難だったことについて教えて下さい。

データ分析プロジェクトによくある話ですが、手法と結論の説明が難しいです。データ分析手法などに詳しくない人にも、どうすれば納得感をもって理解してもらえるかという点を常に考えていました。

――どのように問題解決しましたか。

説明の見せ方に関するアドバイスをdip Roboticsの同期や先輩社員がくれたので、アドバイスをもとに改善を重ね伝え方を工夫するようにしました。そしてマーケティング部門の方も私の説明に丁寧に耳を傾けてくれるので、綿密なコミュニケーションをとりながら順調に分析を進めることができています。

分析だけで終わらない。広告の最適化に活かしていく

――どのように課題が解決されましたか。

本施策を通じてTVCMの効果に対する理解が向上したと感じています。分析軸を増やすことができたのでよかったです。

データを分析して終わりとするのではなく、ここで得られた知見を、より細かいターゲティングや打ち方に対するヒントとして活用しています。

データ活用の余地を見つけて一つひとつ取り組んでいきたい

――今後取り組みたい改善はありますか。

ディップではデータの利活用を本格的に始めて間もないです。ですので、色々な部署にデータ分析、特に効果検証と因果推論で解決できる課題がまだまだたくさんあります。
例えば、マーケティングでいうと、SNSや新しい施策の効果測定などができると思います。
前述のように、因果推論は特にドメイン知識を必要とするため、各部署のドメイン知識を身につける必要がありますが、これをまさに弊社のファウンダーズスピリットに書いてあるように、「チャレンジし続け」、「最後まで諦め」ずに、「期待を超え」た成果を出す勢いでやっていきたいと思います。

――ありがとうございました！