用語集

受信者動作特性(ROC)曲線

ROC曲線とAUCがAI/MLにおける分類器の性能をどのように評価し、不正検出や医療診断のようなタスクにおけるTPRとFPRをどのように最適化するかを学びます。

Ultralytics HUB で
を使ってYOLO モデルをシンプルにトレーニングする。

さらに詳しく

機械学習、特に2値分類タスクにおいて、ROC(Receiver Operating Characteristic)曲線は、異なる閾値設定における分類モデルの性能を評価するために使用される重要なグラフツールである。これは、識別しきい値を変化させたときの2値分類器システムの診断能力を示している。ROC曲線は、偽陽性率(FPR)に対する真陽性率(TPR)をプロットしたもので、TPRがY軸、FPRがX軸です。このため、陽性のケースを正しく識別する利点と、陰性のケースを誤って陽性と分類するコストの間のトレードオフを理解する上で、非常に貴重な資産となる。

ROC曲線の理解

ROC曲線は、真陽性率(TPR)と偽陽性率(FPR)という2つの重要な指標に基づいて構築される。

  • 真陽性率(TPR)は、感度(Sensitivity)または再現率(Recall)としても知られ、正しく識別された実際の陽性の割合を測定します。TPRが高いということは、そのモデルが陽性のインスタンスを検出する能力が高いことを意味します。
  • 偽陽性率(FPR)は特異度(Specificity)とも呼ばれ、実際の陰性のうち誤って陽性と分類される割合を測定する。FPRが低いことが望ましく、これはモデルが誤報を少なくすることを示します。

さまざまなしきい値設定におけるこれらの率を互いにプロットすることで、ROC曲線は分類器の性能スペクトルを可視化します。左上隅に近い曲線は,より良いモデルであることを示し,異なるしきい値にわたってより高い TPR とより低い FPR を意味する.理想的な分類器は,左上隅 (1,1) に点を持ち,100% TPR と 0% FPR を表します.

曲線下面積(AUC)

ROC曲線から得られる重要な要約指標は、曲線下面積(AUC)である。AUCは、選択されたしきい値に関係なく、分類器の全体的な性能を表す単一のスカラー値を提供する。AUCが1の場合は完全な分類器を表し、AUCが0.5の場合はランダムな推測と変わらない性能を示します。一般に、AUC が高いほど、モデルの正クラスと負クラスの識別能力が高いことを示します。AUCと機械学習におけるその重要性については、AUC(Area Under the Curve:曲線下面積)の用語集ページをご覧ください。

AIとMLの応用

ROC曲線とAUCは、特に真陽性と偽陽性のバランスが重要な、様々なAIやMLアプリケーションで広く使用されている。以下にいくつかの例を挙げる:

  • 医療診断医療画像解析において、ROC曲線は癌のような疾患の診断テストを評価するために不可欠である。例えば、医用画像の腫瘍検出に Ultralytics YOLO を使用する場合、ROC解析は画像を腫瘍を含む(陽性)か含まない(陰性)かに分類する最適な閾値を決定するのに役立つ。高いAUCによって示される性能の良いモデルは、実際の腫瘍症例が正しく識別される(高いTPR)ことを保証する一方で、不必要な治療につながる可能性のある誤報を最小限に抑える(低いFPR)。
  • 不正検知:金融セキュリティシステムでは、ROC曲線は不正検知モデルの有効性を評価するために使用される。ここで、正のケースは不正取引を表し、負のケースは正当な取引を表す。ROC 曲線は、正当な取引を不正と過剰に判定(低 FPR)することなく、可能な限り多くの不正取引を検知(高 TPR)するようモデルを微調整するのに役立つ。

ROC曲線と精度、プレシジョン、リコールとの比較

ROC曲線は、特に不均衡なデータセットを扱う場合に、よりニュアンスに富んだ性能の見方を提供します。アンバランスなシナリオで誤解を招く可能性のある精度とは異なり、ROC曲線とAUCはTPRとFPRのトレードオフに焦点を当て、異なる操作ポイントにおけるモデルの識別力をより包括的に理解することができます。モデル評価をより深く掘り下げるには、YOLO Performance Metricsのガイドをご覧ください。

ROC曲線に関する詳しい情報については、scikit-learnのROC曲線に関するドキュメントやWikipediaのROC曲線に関する記事のようなリソースが、より技術的で理論的な背景を提供してくれる。

すべて読む