it's an endless world.

グロースをデザインするひと

「平均値」の落とし穴を理解するためのクイズ1問

先週あたりにこちらの記事がバズってました。非常に良い記事です。
math.nakaken88.com


私もよく「平均値だけを見てサービス改善施策を検討するのは危ない」という話はしていて、その際には簡単にそれを理解できるように次のクイズを出すようにしています。

あるお店での購入者の平均購入価格を調べてみたところ、8,000円でした。
これを知った店長は売上増加のために「10,000円以上お買い物したらノベルティをプレゼント」というキャンペーンをはじめましたが、売上はまったく伸びませんでした。

なぜでしょうか?

ざっくりと「お店」と言っていますが、ECショップでも町のアパレルショップでも飲食店でもかまいません。

さて、みなさんは答えがわかるでしょうか?
(ノベルティがイマイチだった、みたいな答えもあるかも知れませんがとりあえず忘れてください。店長のこの考え方の根本以外はすべて完璧だったと仮定します。)


答えは、次の2つのグラフを見ていただければ簡単にわかるかと思います。
この棒グラフは横軸に各購入者の購入金額を、縦軸にその購入額の購入者数をとっています。


答えがわからなかったみなさんは、きっとこういうグラフを想像されていたかと思います。
f:id:headless_pasta:20170129144217p:plain
確かに、このような分布であれば7,000円〜9,000円あたりの購入者は10,000円購入時のノベルティ目当てに何かものを買い足して全体の売上はきっと伸びたのでしょう。

しかし、このお店の実体は次のグラフのようなものでした。
f:id:headless_pasta:20170129144753p:plain
極端な低価格層と極端な高価格層に分かれています。
このグラフも平均8,000円であることは変わりません。
これでは、そもそもいつも3,000円くらいしか買っていない人はノベルティのためだけに10,000円買うことはあまりないでしょうし、いつも13,000円くらい買っている人はいつもどおりにお買い物をするだけでしょう。

売上がまったく伸びなかったのはうなずけると思います。


このように「平均値だけを見てサービス改善施策を検討するのは危ない」という私の言葉は言い換えると「ユーザの分布を見ずにサービス改善施策を検討するのは危ない」ということでもあります。

今回は購入金額の平均でしたが、ページビュー/セッションや継続日数の平均など同じような落とし穴にハマりがちなことは多いので気をつける必要があります。

これはもちろん「平均値を使うな」という話ではありません。
平均値をKPIにしたり、それをもとに売上計画をたてたりすることは必要です。

ただ、上記の例のように「それを基に何かの改善を検討する」ときにはしっかりとユーザの分布を見るほうが良いということを覚えておきましょう。

そうしないとこのクイズの店長さんのように画餅に帰すことになるかも知れません。

ダメな統計学: 悲惨なほど完全なる手引書

ダメな統計学: 悲惨なほど完全なる手引書