温度スケーリング、Platt、等張回帰——較正手法はどう違うのか

較正のずれを後から直す手法は一つではない。同じ「確信度を現実に合わせる」という目的に対して、前提も表現力も異なる方法が並立している。ここでは代表的な三系統を、設計思想の違いという観点から並べてみたい。

温度スケーリング——最小限の介入

Guo らが「On Calibration of Modern Neural Networks」（2017）で示した温度スケーリングは、最も介入の小さい方法だ。ソフトマックス直前のロジットを単一のスカラー T で割り、その T だけを検証データで最適化する。パラメータが一つしかないため過学習しにくく、しかも argmax を変えないので分類精度は保たれる。確率分布全体を一様に「なだらかにする」操作だと考えればよい。

裏を返せば、その単純さが限界でもある。T はクラスや入力領域ごとの偏りを吸収できない。あるクラスだけ自信過剰で別のクラスは自信不足、という非対称なずれには、一つの温度では対応できない。

Platt スケーリング——ロジスティックで写像する

Platt スケーリング（Platt, 1999）は、もともとサポートベクターマシンの出力を確率に変えるために考案された。モデルのスコアを入力とし、ロジスティック回帰で確率へ写像する。パラメータは二つ（傾きと切片）で、温度スケーリングよりは柔軟だが、依然として単調・滑らかな変換に限られる。確信度のずれが概ね一方向で、滑らかに補正できる場合に向く。

等張回帰——形を仮定しない

等張回帰（isotonic regression、Zadrozny & Elkan, 2002）は、単調増加という制約だけを置き、関数の形をデータから決める非パラメトリック手法だ。表現力が高く、複雑なずれにも追従できる。もっとも、その自由度は諸刃の剣で、検証データが少ないと階段状の関数が雑音に過剰適合し、かえって較正を悪化させる。一般に、データが潤沢なら等張回帰、限られるなら温度スケーリングという経験則が語られる。

比較から見えるもの

三系統を並べると、表現力と頑健さが反比例していることが分かる。介入が小さい温度スケーリングは壊れにくいが微細なずれを残し、自由度の高い等張回帰は微細なずれを消せるが壊れやすい。Platt スケーリングはその中間に位置する。Guo らの実験でも、多くの画像分類タスクでは単純な温度スケーリングが等張回帰に匹敵し、ときに上回った。表現力が高いほど良いとは限らない、という較正特有の逆説がここにある。

関連する論点

そもそもなぜ現代のモデルが較正を失うのかは、自信過剰の問題で扱った。また、後処理ではなく予測時に保証を与えるアプローチとしては、コンフォーマル予測という別の系譜がある。

較正手法の選択は、新しさを競う問題ではなく、手元のデータ量と誤差の性質を見極める問題だ。万能の補正器を探すよりも、自分のずれがどんな形をしているかを先に測ること。較正の実務は、その地味な診断から始まる。