曲線下面積（AUC）

ROC曲線の理解

AUCは、ROC（Receiver Operating Characteristic）曲線から導き出される。ROC曲線は、識別しきい値を変化させたときの2値分類器システムの診断能力を示すグラフ・プロットである。ROC曲線は、感度またはRecallとしても知られる真陽性率（TPR）を、さまざまな閾値設定における偽陽性率（FPR）に対してプロットします。AUC メトリックは、この ROC 曲線全体の下にある2次元の総面積を定量化し、すべての閾値にわたるモデルのパフォーマンスを要約する単一のスカラー値を提供します。

AUCの解釈

AUCスコアは、分類のために選択された特定の閾値とは無関係に、モデルの分類性能の包括的な尺度を提供する。主な解釈は以下の通り：

• AUC = 1:完璧な分類器。
• AUC = 0.5:ランダム分類器（識別能力なし）．
• AUC < 0.5: Classifier performs worse than random guessing (often indicates mislabeled data or model issues).
• 0.5 < AUC < 1: Classifier has some discriminative ability; higher values are better.

AUCの重要な利点の1つは、Accuracyのようなメトリクスと比較して、クラスの不均衡に対して相対的に鈍感であることである。そのため、一方のクラスが他方を大きく上回っているデータセットで学習したモデルを評価する場合に、特に有用である。ROC曲線の解釈については、ウィキペディアに詳しい概要があります。

AIとMLの応用

AUCは、バイナリ分類が重要な様々な分野で広く使用されている：

• 医療診断： 医療画像解析のように、患者の症状や診断テストに基づいて病気の有無を予測するモデルを評価する。例えば、MRIスキャンから良性腫瘍と悪性腫瘍を区別するAIモデルの能力を評価する。医学研究におけるAIの有用性は十分に証明されている。
• 不正検知：不正な取引や活動を識別するために設計されたモデルを評価する。例えば、クレジットカード取引を不正または正当の可能性があるものとしてフラグを立てるモデルを評価する。
• スパムフィルター：スパムメールと正当なメールを区別するスパムフィルタの有効性を測定します。
• センチメント分析：テキスト（例：カスタマーレビュー）を肯定的または否定的な感情として分類するモデルを評価する。

Scikit-learnのようなツールには、ROC AUCスコアを簡単に計算する関数が用意されている。

AUCと他の指標との比較

AUCには価値があるが、他の評価指標との関係を理解することが重要である：

• 精度：AUCとは異なり、精度は全体として正しい予測の割合を測定する。AUCが分離可能性のより良い尺度を提供するのに対して、これは不均衡なデータセットでは誤解を招く可能性がある。
• 精度-再現曲線 (PRC)：正クラスがまれであるが重要であるような高度に不均衡なデータセット（例：詐欺検出）では，ROC AUCよりも精度-再現曲線下面積（AUC-PRまたはPR-AUC）の方が有益である．精度は、正の予測の正しさに焦点を当てる。
• 平均平均精度（mAP）：この指標は、次のような物体検出モデルを評価するための標準的な指標です。 Ultralytics YOLOmAPは、複数のオブジェクトクラスと信頼しきい値にわたって、分類精度とローカライズ精度（多くの場合、Intersection over Union (IoU)を使用）の両方を考慮するため、AUCの二値分類とは異なります。YOLO パフォーマンス・メトリクスの詳細については、こちらをご覧ください。

考察

AUCは強力な指標であるが、これはすべての閾値にわたる性能を要約したものであり、配備のために選択された特定の動作点における性能を反映するものではない。偽陽性と偽陰性に関連するアプリケーションのコストによっては、他の指標を用いるか、ROC曲線を直接調べる必要があるかもしれない。AUCの潜在的な限界や誤った解釈を強調する議論もある。AUCを他のメトリクスと統合することで、モデル評価の際に、より全体的なビューが得られます。Ultralytics HUBのようなプラットフォームは、トレーニングやデプロイメントの際に、様々なメトリクスでモデルのパフォーマンスを管理・比較するのに役立ちます。