どこにでもいるSEの備忘録

たぶん動くと思うからリリースしようぜ

プロダクトの指標が悪化したとき、原因を知ることに意味はあるのか?

「〇〇が下がっているから原因を調べよう」という話は、普通にプロダクトに関わっていればよくあることがかと思います。

〇〇は、アクティブユーザー数かもしれませんし、売上かもしれません。ランニングコストが悪化しているかもしれませんし、場合によっては従業員数の増加率なんかも当てはまるかもしれません。

そんななんかの一つを調べていて、「あれ?」と思ったことがあったので頭の整理に書き出してみます。

「〇〇が下がっているから原因を調べよう」に対する違和感

例が無いとイメージが難しいので、今回は「ECサイトでの商品購入ユーザーあたりの売上」を例に考えようと思います。 商品購入ユーザー1人あたりの売上が減少していたら、会社としての売上の減少に直結するのでそれが問題だというのはわかります。

原因を調べてみたところ

  • 商品購入ユーザー数自体は変化していない
  • 全体の売上が低下している
    • 大口・小口の消費金額は全体的に減少している

ということがわかったとします。 つまり、本当に「商品購入ユーザー1人が使う金額が単純に少なくなってる」ということになります。 実際、経済指標を確認したところ、社会全体として消費に使用する金額が減っていることも確認できたとしましょう。

こうした事業の指標変化に関する原因分析におけるあるあるのケースで、「原因を確認してみたはいいが、原因はわれわれではどうしようもないことだった」みたいなことがあります。 今回の例だと、「社会全体として出費が低下している」みたいなところが原因ということに結論付けられそうです。

さて、多くの場合「〇〇が下がっているから原因を調べよう」の裏には「元に戻したい」や「元より上げたい」という意図があります。 元に戻したいのに、指標が悪化した原因が自分たちではどうにもならないことの場合、なんの対応も打つことができません。

「指標が下がっていないから何もしない」による機会損失

上の例は、「社会全体の話だからまあ仕方ないよね」ということになるかもしれません。 ただ、個人的にはこの一連の考え方はちょっと考えたほうが良いと思ってます。 具体的には、特定の指標が悪化しないとある機能を改善しないスタンスを無意識にとってしまっている場合があり、場合によっては機会損失が発生する恐れがあるなと思ってます。

例えば、「本当はもっと上がるのに、気がついていないだけ」ということがあります。 今回の例では、「下がっていたから原因を探していた」のであって、特段低下していないのであれば何も違和感がなく見過ごされてしまいます。

これが「ちゃんとやればユーザーあたりの売上は2倍になる」とわかっていたらどうでしょう? これを知っていればできる限りユーザーあたりの売上をあげようと舵を切りそうです。 プロダクト指標のグラフがわかりやすい形で変化しなくて気が付かなかっただけで、問題はずっとあったのかもしれません。 「下がっている原因を探す」では絶対にこの事実は把握することができないなと思ったので、今回個人的に思った違和感の正体です。

本当に必要なのは「理想と現実のギャップ」では?

発生している問題の原因を知ること自体に意味がないとは言いません。 問題の原因を把握することは一定の意味がありますが、その原因を排除することが対応として正しいとは限らないと思っています。 そして、気がついていないだけで、他にもチャンスはたくさんあるのでは?と思ったりもします。

「〇〇低下している」「xxがもっと上がるはず」という考えを起点に行動を起こすのは、「理想と現実のギャップ」を探していると考え直すことができるかもしれません。 ここで言う理想は、必ずしも過去正常だと思いこんでいた状態ではないかもしれません。 プロダクトが出しうるbestの状態であって、過去の状態がbestでなければそれは理想でもなんでもありません。

プロダクト全体の改善という目標のために必要なのは、指標が悪化した原因ではなく理想と乖離している箇所なのでは?」とか思ってしまいました。 そっちのほうが原因特定よりよっぽど簡単だし、対策も打ちやすいですし。

原因を特定したがる心理とリーダーシップ

考え方として、

  • 「〇〇低下している」: -1 -> 0にしようとしている
  • 「xxがもっと上がるはず」: 0 -> 10にしようとしている

と考えることができます。 冒頭の問題は、この-1 -> 0の問題だけにフォーカスしているのに違和感を感じていた次第です。

これは、理想の状態を十分に定義しきれないことがあると思います。 指標が下がっていることを明らかに理想の状態からの乖離であり、把握するのは簡単です。 ただし、この問題だけにフォーカスしてしまうのは問題だと思ったりします。 -1 -> 0の問題の原因を特定したがるのは、根拠のない「理想の状態」を定義し、そこに可能性があることに賭けられるだけのリーダーシップの欠如からくるものが多いです。

別にそれが悪いとは言いませんが、それをやってしまったときマイナスをゼロにしかできないということだけは意識しないといけないと思います。 -1 -> 0にするのはできるが、0 -> 10のチャンスはそもそも気がつくことができないので。

この0 -> 10のポイントを見つけるには、理想を定義することからしか始まりません。 存在しない指標の伸びしろを見抜く、あるいは根拠の無い予想に賭けるだけの度胸とリーダーシップからしか生まれず、これが無いとどうにもならないんだろうなとも思いました。

  • 事象の原因が知りたいのか
  • 指標を向上させる方法が知りたいのか

あたりがはっきりしないと、原因分析したは良いけど対策できない、対策してももとに戻るだけ、ということになりそうですね。 そんでもって、「指標が下がっている原因がわからないと何もできない」ということになるのはやめたいなとも思いました。 別に下がっているところ意外の部分からアプローチしたって良いわけですし。

…みたいなくだらないことを考えていた今日このごろでした。