突然ですが、あなたは因果関係を正しく使えていますか？
下記の例文の違和感に気がつくことができるでしょうか？
もし違和感に気づき、正しい指摘を自分は言える！と思う人は例文より後の文章を読み進める必要はありません。早速トライしてみましょう。
例文
「広告を実施したおかげて、半年後に認知度が1.75倍になりました！」
一見するとこの報告は何も問題がないように思います。このような報告をしたことや、受け取ったことはありませんか？
もしこの言葉を疑いなく受け容れてしまっていたとしたら、あなたは間違った分析をして誤った判断をしているかもしれません。
今回は因果関係の基本について詳しく解説していきます。
【事例①】リスティング広告への投資額と認知率との関係。
S社は広告に全く予算をかけたことがありません。
しかし自社の認知率が低いことも事実で、広告で改善できるなら予算を投下したいと考えています。それを聞いたO社は、S社に広告運用の営業をかけようかという場面です。
- S社「あー、うちもそろそろ認知を広めていかんとなぁ……」
- O社「お？認知広めたいんですか。リスティング広告打ちましょうよ！」
- S社「ふむ、その根拠は？」
- O社「S社さんの業界ではですね、リスティング広告費用と認知の間にはこんな関係があるんですよ」
- O社「300万円弱ほど投資すれば、認知率は30%くらいになりそうですね！」
- S社「おおおお、すげぇ。よっしゃ、リスティング広告に大量投資や！」
どうやら、あっさり営業が成功したようです。
【事例①】問題点
先ほどの営業の内容、実は酷いウソがあります。あなたはどこがウソか見抜けたでしょうか。
あなたは、O社に的確な反論ができたでしょうか？
（１）「お？認知を広げたいんですか。リスティング広告を打ちましょうよ！」
これは、特にウソではありませんね。認知は、広告の重要な役割のひとつです。
（２）「S社さんの業界ではですね、広告費用と認知の間にはこんな関係があるんですよ 」
グラフが提示されていますね。間違いないです。
（３）「300万円弱ほど投資すれば、認知率は30%くらいになりそうですね！」
わかりましたか？これが大嘘です。
300万円弱ほど投資すれば、認知率は30%くらいになりそうですねというのは、300万円弱の投資が認知率を30%にする因果ですよという主張を意味します。
より詳しく言い換えると、
主張① 本来は認知率が30%より低いはずの企業が300万円弱の投資によって認知率30%近く獲得できるようになった。
という主張だということになります。
しかし、散布図やその上に描かれている傾向線はそのようなことを意味しません。
主張② 300万円弱ほど広告費用を投じている企業は、認知率は30%近くの企業と予想される。という業界の情勢を説明しているだけです。
もし広告に投資していなかったら認知率がこれより低かったかなんて、一言も論じてはいませんね。
つまり、散布図や傾向線はそれだけで因果関係を意味することにはなりません。
これは、web広告に投資している企業としていない企業とで、認知率を比較するようなグラフを作っても同じことです。
web広告に投資している企業がしていない企業より認知率が高いことは確かに示されています。
しかし、それ以上のことはわからないわけです。まして広告によって認知率が上がったと主張することはできないわけです。
では、どのようにすればよかったのでしょうか。
「本来は認知率が30%より低い企業が300万円弱の投資によって認知率30%近く獲得できるようになった。」という主張は、「広告への投資による認知率の差を考えている」と見ることができます。
つまり、広告への投資と認知率の因果関係を明らかにするためには、Web広告に投資したか、と投資しなかったかで、各企業の認知率にどれくらい差があるのか提示する。ということができればよいわけです。
【事例②】リスティング広告の投資前後で認知率を比較する
先ほどの説明には問題があると指摘されたO社は、S社さんに新たな資料を提示しています。
今回は、各会社がリスティング広告の投資して半年後にどれだけ認知率が向上したかをサーベイしたようです。
- O社「今度こそ、リスティング広告への投資が認知率を上げるという確固たる根拠を持ってきましたよ」
- S社「ほうほう、どれどれ」
- O社「リスティング広告に投資を始めた企業が半年後にどれだけ認知率が向上したか調べてきました！」
- O社「広告に投資した企業のうち、過半数は半年後に認知率が1.75倍になりました！」
- S社「おー、素晴らしい！今度こそリスティング広告に投資や！」
- O社「よっしゃ！」
O社さん、改めてリスティング広告への投資を決めてもらえたようです！
よかったですね。
実際、広告の投資前後の認知率を比較する資料は、ブランディング効果の測定としてしばしば提出されます。
しかし、このような資料もまた、因果を語る上では不十分な点があることに気づいたでしょうか。
反実仮想と比較する癖をつけよう。
先ほどの事例は一見何も問題ないように見えるかもしれません。確かに、投資していなかった時と投資をした時での認知率を比較しています。しかし問題は、この比較されている数字は、同じ時点で測定されたものではないということです。
例えば、この業界に半年の間、何かしらのブームが起きていたとしたらどうでしょうか。
ブームの影響は認知率に無視できない影響を与えていることでしょう。そのように、データが同じ時点で採られていない場合、時間による認知率の向上が無視できないことが起こり得ます。
そして、現れている認知率の上昇は広告による効果よりも高い数値が測られてしまいます。結局、これも広告投資が認知率向上の因果を示すうえでは不十分だったわけです。
このような、間違った「因果関係」に惑わされたくない人のために、ちょっとしたコツをお教えしましょう。
それは、必ず反実仮想と比較して、実際のデータとの差を考える癖をつけることです。
今回の場合を例にするなら、「Web広告に投資したかと、投資しなかったかで、各企業の認知度にどれくらいの差があるのかを提示する」を考える、が検証する上でのポイントでした。それも同時点における投資したか・しなかったかの比較です。
「データとして集められた各会社が、もしweb広告に投資しなかったとき認知率がいくらかだったか。」これは、そもそも測定に無理があります。（実際には投資しているのですから。）
しかし、このような反実仮想との比較を考えて、それでも認知率が向上すると考えられる根拠が提示できたとき、やっとweb広告の投資が認知率向上の因果関係であると主張できるのです。
そんな比較は可能なのか。
今回、データに集められた各会社は、いずれも現時点ではリスティング広告に投資している会社でした。なので先ほども申し上げた通り、これらの会社がweb広告に投資しなかったときの認知率を測ることはできません。
しかし、統計学ではケースに応じてその適切な処方箋を与える因果推論という考え方が古くから研究され、
- ランダム化比較試験
- 層別解析
- 差分の差分法
- 傾向スコアマッチング
- 逆重み付け推定量
- 二重ロバスト推定量
- Causal Impact
- Causal Tree
などなど、いくつかの有効な手法が提示され、このような比較を可能にしてきました。
要は、因果関係を検証すること、そしてその効果の測定をすることは、これらの適切な統計手法なしには難しいことです。
今後はこのような手法を交えながら、因果関係についてより深くご紹介しましょう。
（執筆：福田正義）
その他の記事はこちら
4「分析とは何か？ー統計を学ぶ前に知っておかないといけない分析の話」
5「広告を配信したら認知率が上がった」は本当？
