保証つきの予測は可能か——コンフォーマル予測をめぐる対話

較正は確率を現実に合わせる作業だが、確率そのものに「保証」を付けられないか、という別の問いがある。コンフォーマル予測は、その問いに一つの答えを出す枠組みだ。考え方が直感に反する部分もあるため、ここでも対話の形で論点を解きほぐしたい。以下は、論旨を整理するために構成した架空のやり取りである。

単一の答えをやめる

聞き手：コンフォーマル予測は、何を保証してくれるのですか。

研究者：まず、出力の形が変わります。「答えはAです、確率0.7」ではなく、「答えは集合｛A, B｝の中にあります」と返す。そして、あらかじめ決めた水準——たとえば90%——で、その集合が真の答えを含むことを保証します。Vovk・Gammerman・Shafer が体系化した枠組みです。

聞き手：90%の確率で集合の中に正解がある、と。

研究者：正確には、多数の予測にわたって、集合が正解を含む割合が約90%になる、という被覆率の保証です。ここでも確率は集計の話で、一件ごとの当たり外れではありません。

仮定はどこまで弱いか

聞き手：保証というからには、強い前提が要るのでは。

研究者：意外なほど弱い前提で済みます。必要なのは交換可能性——較正用データと新しいデータが、入れ替えても分布が変わらない関係にあること。データが独立同分布なら満たされます。そして、元のモデルがどんなものでも構わない。深層ネットでも勾配ブースティングでもよく、モデルを作り直す必要はない。既存のモデルの出力に、後付けで保証の層をかぶせるイメージです。

聞き手：分布によらない、というのが効いている。

研究者：そこが要点です。較正用データで「適合度スコア」の分位点を求め、そのしきい値で予測集合を作る。分布の形を仮定しないので、distribution-free な保証と呼ばれます。Angelopoulos & Bates の入門的な解説が、この手続きを丁寧に追っています。

保証の射程

聞き手：万能のように聞こえますが。

研究者：射程をきちんと見る必要があります。保証されるのは集合全体の平均的な被覆率であって、目の前の一つの予測集合が必ず正解を含む、という話ではありません。また、難しい入力では集合が大きく膨らむ。｛A, B, C, D｝のように候補が増えれば、保証は守られても実用上は曖昧なままです。集合の大きさそのものが、その入力の難しさを語っているとも言えます。

聞き手：交換可能性が崩れたら。

研究者：保証も崩れます。時間とともに分布がずれる場面では、被覆率が目標を下回りうる。もっとも、分布のずれに適応する変種も研究されています。万能の魔法ではなく、適用条件を確認したうえで使う道具です。

関連する論点

後処理で確率を合わせる較正手法との違いは、較正手法の比較で扱った。確率が集計の概念であるという基礎は、「70%」は何を意味するのかに重なる。分布の外側で保証が崩れる構造は、分布の外側で何が起きるかを参照してほしい。

コンフォーマル予測は、確信度を一点の数値で語ることをやめ、答えの集合と被覆率という形に置き換えた。弱い仮定で分布によらない保証を得る代わりに、保証されるのは平均であって個別ではない、という限界を引き受ける。何を保証し、何を保証しないかを正確に把握すること。それこそが、この枠組みを正しく使うための前提である。