曲線下面積（AUC）

曲線下面積(AUC)は、機械学習(ML)における分類モデルの有効性を評価するために使用される、広く認知された性能指標である。これは、異なるクラスを区別するモデルの全体的な能力を定量化するもので、可能なすべての分類しきい値にわたってモデルの性能を表す単一のスカラー値を提供する。AUCは、1つのクラスが他のクラスよりも有意に多い、不均衡なデータセットを扱うときに特に有用である。AUCは、モデルの性能をグラフィカルに表現するROC（Receiver Operating Characteristic）曲線と組み合わせて使用されることが多い。

ROC曲線の理解

ROC曲線は、AUCを理解するための基本的な概念である。ROC曲線は、様々な閾値設定における真陽性率（TPR）と偽陽性率（FPR）をプロットしたものである。TPRは感度またはリコールとしても知られ、正しく識別された実際の陽性の割合を測定する。FPRは、誤って陽性と分類された実際の陰性の割合を測定します。完全な分類器は、TPRが1、FPRが0となり、すべての陽性と陰性を正しく識別することを意味します。

AUC値の解釈

AUC値は0から1の範囲である：

• AUC = 1:すべてのポジティブ・インスタンスとネガティブ・インスタンスを完全に区別できる完璧な分類器を示す．
• AUC = 0.5:この分類器はランダムな偶然の産物よりも性能が低く、基本的にコインを裏返して予測を行うことを示唆する。
• AUC < 0.5: Implies that the classifier is performing worse than random, potentially indicating an issue with the model or data.
• AUC > 0.5:ランダム分類より性能が良い分類器を表し，値が大きいほど性能が良いことを示す．

一般的に、0.8以上のAUCは良好とみなされることが多く、0.9以上のAUCは優れているとみなされる。しかし、「良い」AUCの解釈は、特定の用途や問題の複雑さによって異なることがある。

AUCとROCの関係

AUCは文字通りROC曲線下の面積である。ROC曲線は、さまざまな分類しきい値にわたるモデルの真陽性率と偽陽性率のトレードオフを視覚的に描写します。AUCが高いモデルは、ROC曲線がプロットの左上隅に近くなり、すべてのしきい値にわたってより良いパフォーマンスを示します。YOLO Performance Metricsを探求して、同様の評価指標についてより深い洞察を得ましょう。

AUCを使う利点

AUCはパフォーマンス指標としていくつかの利点がある：

• しきい値の不変性．AUCは、選択された分類しきい値とは無関係に、モデルの全体的な性能を測定する。これは、異なるしきい値で動作するモデルを比較するのに有用である。
• クラスの不均衡に対する頑健性：AUCは、精度のような他の測定基準と比べて、クラスの不均衡の影響を受けにくい。1つのクラスが他のクラスより有意に多い場合、より信頼性の高いパフォーマンスの尺度を提供する。
• 確率的解釈：AUCは、モデルがランダムに選ばれた肯定的なインスタンスを、ランダムに選ばれた否定的なインスタンスよりも高くランク付けする確率として解釈できる。

AUCの実世界での応用

AUCは、以下のような様々な実世界のアプリケーションで使用されている：

• 医療診断： 医療画像解析では、X線やMRIのような医療画像から病気を検出するモデルの性能を評価するためにAUCを使用することができる。例えば、癌性腫瘍と良性腫瘍を区別するモデルは、診断精度を測定するためにAUCを使用して評価することができます。ヘルスケアにおけるAIの詳細については、こちらをご覧ください。
• 不正検出：金融では、AUCは不正取引を識別するモデルの有効性を評価するために採用される。AUCが高いモデルは、合法的な活動と不正な活動を効果的に区別することができ、財務上の損失を最小限に抑えるのに役立ちます。金融におけるAIの他の応用例については、こちらをご覧ください。

AUCと他の指標との比較

AUCは価値のある指標ですが、他のパフォーマンス指標と一緒に考えることが重要です。例えば、精度と リコールは、特定のクラスにおけるモデルのパフォーマンスに関する洞察を提供し、F1スコアは精度とリコールのバランスをとる。物体検出で一般的に使用される平均平均精度（mAP）とは異なり、AUCは主に2値分類問題に使用されます。

結論

AUCは、特に不均衡なデータセットを持つシナリオにおいて、分類モデルの性能を評価するための強力な指標である。その閾値不変性、クラスの不均衡に対する頑健性、確率的解釈により、モデルを評価し比較するための貴重なツールとなります。ROC 曲線と AUC 値の意味を理解することで、実務家はモデルのパフォーマンスについてより深い洞察を得ることができ、モデルの選択と最適化について十分な情報に基づいた意思決定を行うことができます。Ultralytics YOLO モデルを次のような様々な形式にエクスポートする方法を学ぶことができます。 ONNX様々なプラットフォーム上で最適化された推論を行うことができます。