AUC-ROC は、分類モデルの性能を閾値に依存せず評価できる指標です。ROC 曲線（Receiver Operating Characteristic Curve）の下の面積（Area Under the Curve）として計算され、モデルの総合的な分離能力を 1 つの数値で表します。モデル間の公平な比較に最適です。
ROC 曲線とは
ROC 曲線は、分類閾値を 0 から 1 まで変化させたときの TPR（真陽性率 = Recall）と FPR（偽陽性率 = FP / (FP + TN)）の関係をプロットしたグラフです。閾値ごとに TPR と FPR を計算し、すべての点をつなぐと ROC 曲線が得られます。
ROC 曲線の読み方
ROC 曲線は左上に近いほど良いモデルです。左上の点（FPR = 0、TPR = 1）は「すべての正例を検出し、誤検知はゼロ」という完璧な分類を意味します。対角線（FPR = TPR の直線）はランダムな予測に相当します。曲線が対角線の上にあるほど、ランダムより優れたモデルです。
AUC の直感的な解釈
AUC は「ランダムに選んだ正例のスコアが、ランダムに選んだ負例のスコアよりも高くなる確率」と解釈できます。AUC = 0.85 なら、85% の確率で正例に高いスコアを付けられるということです。これにより閾値を設定する前に、モデルの分離能力を評価できます。
AUC の値の目安
- 1
AUC = 0.5
ランダムな予測と同等です。モデルが分類を全く学習できていない状態を意味します。
- 2
AUC = 0.7〜0.8
許容範囲のモデルです。タスクの難易度によっては実用的な性能です。
- 3
AUC = 0.8〜0.9
良好なモデルです。多くのビジネスユースケースで実用的な性能を発揮します。
- 4
AUC = 0.9 以上
優秀なモデルです。高い分離能力を持ち、閾値を適切に設定すれば非常に高い精度が期待できます。
ROC 曲線で閾値を選ぶ方法 — Youden's Index
Youden's Index は TPR - FPR を最大化する点を最適な閾値として選ぶ方法です。ROC 曲線上で対角線から最も離れた点に相当し、感度と特異度のバランスが最も良い閾値を自動的に決定できます。ビジネス要件に応じて、この点から閾値を調整するのが実践的です。
AUC-ROC の強み
AUC-ROC の最大の強みは閾値非依存であることです。閾値を事後的に調整できるため、「モデル自体の分離能力」を純粋に比較できます。また、スケール不変であり、モデルが出力する確率の絶対値ではなく順序（ランキング）のみを評価します。
AUC-ROC の限界 — 不均衡データでの注意点
AUC-ROC は不均衡データでは楽観的な評価を与えることがあります。陽性が 0.1% のデータでは、FPR の分母（FP + TN）が非常に大きいため、多くの FP が発生しても FPR はほとんど変化しません。結果として ROC 曲線は良好に見えてしまいます。
AUC-PR との使い分け
AUC-PR（Precision-Recall AUC）は、不均衡データでの評価に適した代替指標です。PR 曲線は Recall（TPR）と Precision の関係をプロットし、陽性クラスの検出に焦点を当てます。陽性が少ないデータでは AUC-PR の方がモデルの実力を正確に反映するため、AUC-ROC と AUC-PR の両方を確認することが推奨されます。
多クラスへの拡張
多クラス分類では、One-vs-Rest（各クラスを1つずつ「陽性」として二値分類に変換）や One-vs-One（クラスのペアごとに二値分類）の方法で AUC-ROC を計算します。Qast では One-vs-Rest 方式の Macro AUC-ROC がリーダーボードに表示されます。
Qast での ROC 曲線の確認方法
Qast のモデル詳細ページでは、ROC 曲線がインタラクティブなグラフとして表示されます。AUC の値はリーダーボードでソート・比較でき、複数モデルの ROC 曲線を重ねて表示することも可能です。閾値ごとの TPR / FPR の変化を視覚的に確認できます。
不均衡データでは AUC-ROC と AUC-PR の両方を確認しましょう。AUC-ROC が高くても AUC-PR が低い場合、そのモデルは少数クラスの検出に弱い可能性があります。
