再現性よりも妥当性が大事
STAP事件では、やたらと再現性・再現性と言われました。また、統計データを見るとすぐに「サンプル数は？」と言う人がいます。
実はものごとの信用できる度合いを示す「信憑性」というのは、再現性（統計数）だけでは分かりません。なぜなら、再現性があったとしても、それは間違いが繰り返されているだけという可能性があるからです。「AだからB」と思っていることを繰り返し再現しても、そもそも本当に「AだからB」と言えるのかどうかは保証されていません。
では信憑性を担保するためには、他に何が必要かと言うと「妥当性」です。妥当性というのは、データ（事実）から抽出したメッセージ（考察）が、きちんと言い得ているかどうかを示すものです。
例えば、「東大生の親は、他大学の親よりも平均年収が高い。」というデータがありますが、そこから「お金がある方が私立中高や塾に行けるので、偏差値の高い大学に入りやすい」というメッセージを紡ぎ出す人がいます。これは、本当にきちんと言い得ているのでしょうか？データから紡ぎ出すメッセージはそれでいいのでしょうか？もしかしたら「親から賢い遺伝子や頑張る遺伝子が受け継がれた」「親が子供の勉強を指導できる」「優秀な親がいると家庭内で知的好奇心をくすぐられる会話やイベントが増える」「仕事が忙しい親は子供を塾に預けがちで結果的に成績が伸びる」などなど、いくらでもその関係性の繋ぎ方を説明することはできそうです。
また、別の例として「アメリカに来ている留学生に英語のテストを実施したら日本人は最下位だった」という調査結果が仮にあるとします。ここで「日本人の英語力は低い」と結論付けても大丈夫でしょうか？もしかしたら「日本人は誰でも留学できるけど、途上国などの貧しい国から来た留学生は一部の超優秀な人だけ。だから、比べるサンプルが違う」ということかもしれません。また、「日本人は書いてある英文を翻訳するのが得意だが、そのテストはスピーキングだけだった」という可能性だってあります。
どちらのケースも、サンプル数を増やせば再現性を高めることはできるかもしれません。つまり統計誤差は小さくなります。そうすると、ついつい「やっぱりそうだ！」と思ってしまいがちです。しかし、そもそも「こういうことが言える」というメッセージ自体は、本当にデータから言えることなのかどうかは分かりません。
データからメッセージを導き出すのは実はとても難しくて、例えば、ある会社の年間売上推移を見て「これは、引き続きやった方がいい」「撤退した方がいい」「もっと投資した方がいい」と判断するのでさえ、人によって意見が分かれます。また、全く同じグラフを見せても、その前後関係によって「だからAプランはダメです」という根拠にも「だからAプランはいけます」という根拠にもなり得ます。
統計数を増やして再現していくのは、信憑性を担保する一つの方法ではありますが、それ以前に妥当性がないとダメなのです。そして、妥当性はシステマティックに導き出すことができません。ある意味、正解は永遠に分からないのです。データ自体はまあ信用できるとして、「じゃあそこから何が言えるのか。」・・・そこにこそ、人間が介在する価値があるのかもしれませんね。
信憑性＝妥当性×再現性 です。
