他の人が作った分析結果を正しく読み解く方法について

皆さんは自分で分析資料を作る時もあれば、誰かが作ってきた分析資料を見るということもありますよね。

今回は自分でマーケティングの分析する、というよりも誰かが作った分析を見るという視点で分析というものについての理解を深めていきたいと思います。

今日は1つお題を出していますので、一緒になって問題点について考えていきましょう。

他の人が作った分析結果の事例となる素材

実施に某広告代理店から実際に提出された報告書を用います。
(※数値の位は変更してありますが、分析結果として提出されたチャートの形は同じにしてありますが実際にクライアントさんに報告があった内容です。)

クライアント情報

  • Webマーケティングの広告費が月に数千万規模ある広告主さん
  • 成果地点であるコンバージョン数は資料請求

前提条件

  • Googleのリマーケティング施策を実施した
  • リマーケティングリストの推移を日次で取得して観測した
  • リマーケティングリストは以下の4つの経路別に測定
    • 「自然検索経由」
    • 「リスティングの指名キーワード経由 」
    • 「リスティングの非指名キーワード経由」
    • 「リマーケティング経由」

報告内容

  • リマーケティングのコンバージョン数と各経路のマーク数との間には相関がみられる
  • 特に「自然検索」「RT(リマーケティング)」「非指名」の相関が高い

報告で使われたチャートはこちらです↓↓↓↓↓

他人の分析結果を正しく読み解く方法 | まあけ屋

よくある分析内容の考察

Webマーケティングの分析において、上記の様な図を用いることは多くあるでしょう。代理店で働いているあるいは働いていたことがる人、社内でマーケティング施策の報告を上司に提出する時など。

この場合は、リマーケティングの効果を測定するためにリマーケティングリストと、コンバージョン数の関係を見る目的で作成されたチャートでした。

さて、このチャートを見て少し考えてほしいですが、この報告書を基に考えられる次のアクションは何でしょうか?分析とは、次のアクションを取るために必要な現状の整理ですから、ここから次にとるべき施策を考えていかなければなりません。

報告は以下の通りでした(再掲)

  • リマーケティングのコンバージョン数と各経路のマーク数との間には相関がみられる
  • 特に「自然検索」「RT(リマーケティング)」「非指名」の相関が高い

分析では「自然検索」「RT」「非指名」のリマーケリストとコンバージョン数には相関がある、と報告が上がってきているため、リスティングの非指名系キーワードの配信量を増やす、ということが考えられるかもしれません。

また、自然検索結果を増やすために認知系の施策を考える、という打ち手になるかもしれませんね。

特に「自然検索」については決定係数が0.7125を示していると報告が上がってきているので、優先的な対策が必要ということなのかもしれません。

2つの要因から見れる違和感

さて、ここまでご覧になって何か違和感を感じましたか?

違和感を感じた人もいれば、何が問題なの?と思った人もいるかもしれません。

もう一度先ほどのチャートを見てみましょう。今度は自然検索の結果だけを取り出しています。

他人の分析結果を正しく読み解く方法 | まあけ屋

あらためて見ると、何かすごくコンバージョン数とリマーケリストの間に関係がありそうですね。

「・・・・」

よく見るとリマーケリストが350件くらいの時にコンバージョン数が450件もありますね...

どういうことでしょうか...これはリマーケティング施策の検証だったはずですね。

何が起こっているのでしょうか??

結論から言うと、コンバージョン数は、リマーケティングの全施策のコンバージョン数の合計であり、リマーケリストはリーセンシーが1日のものだけをデータに用いていたので、このような結果(リマーケティングリストが1増えると、コンバージョンが1以上増える)になってしまいました。

分析における重要な視点 – なぜ間違ったチャートが作られてしまったのか?

マーケティングにかかわらず分析をするにあたっては重要な視点があります。どういう風に分析を進めるのか?という点です。

先ほどの例をもとに考えてみましょう。

  1. 1.チャートを見る または、数字を見る
  2. 2.チャートや数字を読んで、そこに潜む問題を考える
  3. 3.答えや結論を出す

おそらくこういったプロセスでしょう。

しかし、これだと、チャートが何を明らかにしようとしているのか?という問題を整理するという視点が欠けているため、問題を分析するというよりは、チャートを読み解く、という行為の方に重きを置かれてしまう危険がはらんでいます。

では、どうするべきでしょうか?

少し横道にそれてしまいますが、『問題発見ができない4つの理由』と題した分析にも応用できる重要な点について考えたいと思います。

    1. 問題を定義する前提となる「あるべき姿」を、的確に描けない
    2. 「現状」の認識・分析力が低く、正確な把握ができていない
    3. 「ギャップ」の構造を解明して、問題の本質を具体化・優先順位づけすることができない
    4. 実行可能な「解決策」から逆順で短絡的に問題をとらえるために、拡がりを見失う

出典:問題発見プロフェッショナル―「構想力と分析力」

ここで取り上げたいのは、1番目の『問題を定義する前提となる「あるべき姿」を、的確に描けない 』という点です。

分析における重要な視点 – どうすれば正しいチャートが作れるのか?のヒント

もう一度見返してほしいのですが、実は今回のお題

前提条件

  • Googleのリマーケティング施策を実施した
  • リマーケティングリストの推移を日次で取得して観測した
  • リマーケティングリストは以下の4つの経路別に測定
    • 「自然検索経由」
    • 「リスティングの指名キーワード経由 」
    • 「リスティングの非指名キーワード経由」
    • 「リマーケティング経由」

報告内容

  • リマーケティングのコンバージョン数と各経路のマーク数との間には相関がみられる。
  • 特に「自然検索」「RT(リマーケティング)」「非指名」の相関が高い。

何の問題を明らかにして、次に何のアクションをしたいか、という問題解決のための前提条件というのが抜け落ちています。

分析資料を作った担当者からすると「リスティングの非指名キーワードの配信を上げてほしい」とか、「自然検索を増やすためにテレビCMの提案を勧めたい」など何かしら意図があって、こういった図を作ったのかも知れません。

これは資料を作った側にも問題がありますが、提出された資料を見る側からも同じことが言えます。

数字やチャートを見る前に、「この資料は一体何を明らかにしようとしている資料なのか?」という前提条件となる問題を考えてから資料を見ることをを意識することが重要です。そういった視点で分析資料をも見るとき、提出された資料の意図を明確にでき、分析されたものがどのような問題解決につながるのか?を理解することができるようになるでしょう。

まとめると以下のようなステップになります。

  1. 1.あきらかにしようとしている問題が何かを考える
  2. 2.「こういうチャートだったら問題が明確になるだろう」というチャートの完成図をイメージする
  3. 3.チャートを見る
  4. 4.あきらかにしようとしている問題があきらかになったかどうかを確認する

これは自分で分析を進める時も同じです。

最後に

以前に、「良い分析者にある最初のステップは数字を見ないことから始まります。」と書きましたが、まさに、分析されたとして提出される資料を読み解くときにも全く同じ原則があてはまるということになりますね。

今回の事例、「さすがにこれは簡単すぎるでしょ?」と思ったかも知れませんが、この資料を作った方は実は超がつくほどの大手代理店で、かつ、分析が詳しい、という触れ込みで週次のクライアント企業との報告会に分析担当として参加している方が作った資料なんですよ!!

誤解が無いように言っておくと、その方を悪く言いたくてこの記事を書いたわけではなく、むしろ、そういった立場の方でも、気を付けないとそういう間違いを犯す危険性があるよ、ということをお伝えしたかったまでです。

自戒を込めて。

(執筆:福田正義)