受信者動作特性（ROC）曲線

TPRとFPRを理解する

ROC曲線を解釈するには、その軸を理解することが不可欠である：

• 真陽性率（TPR）：感度または再現率とも呼ばれるTPRは、モデルによって正しく識別された実際の陽性インスタンスの割合を測定します。TPRはTrue Positives / (True Positives + False Negatives)で計算されます。TPRが高いほど、そのモデルが陽性のケースを識別する能力が高いことを示します。
• 偽陽性率（FPR）：これは、誤って陽性と識別された実際の陰性インスタンスの割合を測定します。False Positives / (False Positives + True Negatives)として計算されます。FPRが低いほど、モデルの誤った陽性予測が少ないことを意味します。WikipediaのSensitivityとSpecificityのページなどで、これらの概念をさらに調べることができます。

ROC曲線は、TPRとFPRの間のトレードオフを示す。分類しきい値が変化すると、モデルはより多くの真陽性を識別する（TPRが増加する）可能性があるが、より多くの偽陽性を識別する（FPRが増加する）可能性がある。

ROC曲線とAUCの解釈

ROC曲線の形状から、モデルの性能を知ることができる：

• 理想的な曲線：左上隅に沿う曲線は、完璧な分類器を表し、低いFPRで高いTPRを達成します。
• 対角線：(0,0)から(1,1)までの対角線は、識別能力のない分類器を表し、本質的にランダムな推測を行う。
• 対角線より下：対角線より下にカーブがある場合は、ランダム推測よりもパフォーマンスが悪いことを示す。

ROC曲線から得られる一般的な指標は、曲線下面積（AUC）である。AUC は，すべての可能なしきい値にわたる分類器の性能を要約する1つのスカラー値を提供する．AUC 1.0は完全な分類器を表し、AUC 0.5はランダムな性能を持つモデルを意味する。Scikit-learn のようなツールは、AUC を計算する関数を提供する。

実世界での応用

ROC曲線は様々な領域で広く使用されている：

1. 医療診断： スキャン画像から腫瘍を検出するようなタスクのためのAIシステムを開発する際、ROC曲線は、信頼度の異なる閾値にわたって、モデルが悪性（陽性）と良性（陰性）のケースをどの程度区別するかを評価するのに役立つ。これにより臨床医は、実際の腫瘍の検出（TPR）と誤警報の最小化（FPR）のバランスをとる閾値を選択することができる。
2. 不正行為の検出：金融機関は不正取引を検出するためにモデルを使用する。ROC曲線は、不正（正）と正当な取引（負）を識別するモデルの能力を評価することができる。この曲線を分析することで、銀行は、不正フラグが誤って立てられた正当な取引の割合を許容範囲内に保ちながら、不正検出を最大化する操作ポイントを選択することができます。金融におけるAIアプリケーションの詳細については、こちらをご覧ください。

ROC曲線と精度、プレシジョン、リコールとの比較

Accuracy、Precision、Recallのようなメトリクスは貴重な情報を提供しますが、ROC曲線とAUCは、特に1つのクラスが他のクラスよりも著しく多い不均衡なデータセットで、より包括的なビューを提供します。このようなシナリオでは、単に多数派のクラスを予測することで高いスコアが得られる可能性があるため、精度は誤解を招く可能性があります。TPR/FPRトレードオフに注目したROC曲線は、閾値に依存しないモデルのクラス間識別能力の評価を提供します。Ultralytics YOLOようなモデルの評価に関する詳細な洞察については、YOLO パフォーマンス・メトリクスのガイドを参照してください。これらのメトリクスを視覚化するには、Ultralytics HUBのようなプラットフォームやTensorBoardのようなライブラリと統合されたツールを使用します。