「70%」は何を意味するのか——天気予報と機械の確率

明日の降水確率は70%です——この一文を、私たちは日常的に受け取っている。だが「70%」とは正確には何を言っているのか。今日の空模様だけを見て真偽は判定できない。雨が降っても降らなくても、その一回だけでは予報が当たったとも外れたとも言えないからだ。確率の意味は、単発ではなく集計のなかにある。

頻度としての約束

「降水確率70%」が較正されているとは、過去に70%と予報した日々をすべて集めたとき、そのうち約70%で実際に雨が降っていた、という状態を指す。確率は、未来の一点についての断定ではなく、同じ宣言を繰り返したときの長期的な的中頻度についての約束なのだ。65%や75%ではなく70%だと言うことには、検証可能な含意がある。

この見方を機械の出力に移すと、較正の意味がはっきりする。モデルが「確信度0.7」と言った予測を一万件集めて、そのうち七千件が正解しているなら、その0.7は信用できる。逆に九千件が正解なら、モデルは自信不足だし、五千件しか正解しないなら自信過剰だ。確率の正しさは、いつも事後の集計でしか確かめられない。

較正をどう採点するか

確率予報の良し悪しを一つの数字で採点する古典的な指標が、ブライアスコア（Brier score）である。考案したのは気象学者の Glenn W. Brier で、論文は1950年に遡る。予報確率と実際の結果（雨=1、晴=0）の差の二乗を平均するだけの単純な式だが、確率が現実からどれだけ離れているかを連続的に測れる。スコアが小さいほど、確率は現実に寄り添っている。

ブライアスコアには、較正の良さと、そもそも確率を0や1へ振り分ける「分解能」の良さが混ざって含まれる。較正だけを取り出したいなら信頼性図のほうが直感的だが、一本の数字で予報器どうしを比べたいときには、いまもブライアスコアが使われる。

よく較正された確率という達成

気象予報は、確率が公に出され、しかも長期にわたって検証されてきた数少ない分野だ。予報と実測を毎日突き合わせる仕組みがあるため、確率の質を後から採点し続けられる。もっとも、よく較正されていることと、予報が「鋭い」こと——つまり0.5付近を避けて0や1に踏み込めること——は別の徳である。いつも50%と言い続ければ較正は保てるが、それでは何も教えてくれない。較正と分解能の両立こそが難しい。

関連する論点

確率の鋭さと正しさのバランスは、機械学習における較正の問題とそのまま重なる。また、確率ではなく頻度で伝えると人間の理解が変わるという論点は、確率で伝えるか、頻度で伝えるかで扱う。

「70%」という数字は、空に対する断定ではなく、同じ言葉を繰り返す自分への約束だ。機械が吐く確率も同じ性格を持つ。一件ごとの当たり外れに一喜一憂するより、宣言と結果を地道に突き合わせること。確率を読むとは、本質的に集計を読むことなのである。