これまでにも、ヘルスケア、製造業、観光業など、さまざまな業界でAIがどのように活用できるかを探ってきた。また、AIが日常業務を どのように改善し 、AIビジネスの主要なアイデアについて議論してきた。これらの議論はすべて、必然的に同じ重要な疑問に行き着く。それは、このようなAIの導入の成功をどのように測定できるかということだ。AIソリューションを導入するだけでは十分ではないからだ。これらのソリューションが実際に結果を出していることを確認することこそが、ゲームチェンジをもたらすのだ。 

AIのパフォーマンス指標を測定することで、AIモデルがプロセスの効率化、イノベーションの創出、問題解決に本当に効果的かどうかを判断することができます。適切な主要業績評価指標（KPI）に焦点を当てることで、AIソリューションがどの程度機能しているのか、また、どこに改善が必要なのかを理解することができます。

この記事では、AI導入の成功を最も適切なKPIで測定する方法を見ていきます。ビジネスKPIとAIパフォーマンスKPIの違いを説明し、精度や想起などの重要な指標について解説し、特定のAIソリューションに最適なKPIを選択するお手伝いをします。

AIビジネスKPIとAIパフォーマンスKPIの違い

‍

KPIといえば、投資収益率（ROI）、コスト削減、創出収益などのビジネス指標を思い浮かべるのは自然なことだ。これらのAIビジネスKPIは、AIが企業の全体的な成功にどのような影響を与えるかを測定し、より広範なビジネス目標に沿ったものです。 

しかし、AIパフォーマンスKPIは、精度、精度、想起などの指標を使用して、AIシステム自体がどの程度機能しているかに焦点を当てる。これらの指標の詳細については後述するが、要するに、ビジネスKPIがAIの財務的・戦略的なメリットを示すのに対し、パフォーマンスKPIはAIモデルが効果的に仕事をしているかどうかを確認するものである。

ある種の指標は、実際には両方の目的を果たすことができる。例えば、タスクを完了するのに必要な時間やリソースの削減のような効率性の向上は、パフォーマンスKPI（AIソリューションがどの程度機能しているかを示す）とビジネスKPI（コスト削減や生産性の向上を測定する）の両方になり得る。顧客満足度もまた、クロスオーバーの指標である。これは、技術的なパフォーマンスとビジネス目標全体への影響の両面から、AI主導のカスタマーサービスツールの成功を反映することができる。

主要なAIパフォーマンス指標を理解する

AIモデルのパフォーマンスを測定するために使用される一般的なメトリクスがいくつかあります。まず、その定義と計算方法を見ていきます。そして、これらのメトリクスをどのようにモニタリングできるかを見ていきます。

精密

精度とは、AIモデルがどれだけ正確に真陽性（モデルが対象物や条件を想定通りに正しく識別した場合）を識別できるかを測定する指標である。例えば、顔認識システムでは、システムが検出するように訓練された人物の顔を正しく認識し、識別した場合に真陽性となる。 

精度を計算するには、まず真陽性の数を数える。そして、これをモデルが陽性とラベル付けした項目の総数で割ることができる。この合計には、正しい識別と、偽陽性と呼ばれる間違いの両方が含まれます。基本的に、精度は、モデルが何かを認識したと主張するとき、どれくらいの頻度で正しいかを示します。

Precision = True Positives / (True Positives + False Positives)

‍

誤検出がコストや混乱を招く可能性のあるシナリオでは特に重要である。例えば、自動化された製造業では、精度が高ければ高いほど、システムはより正確に不良品にフラグを立て、良品の不必要な廃棄や再加工を防ぐことができる。もう一つの良い例は、セキュリティ監視である。高い精度は、誤報を最小限に抑え、セキュリティ対応が必要な本物の脅威のみに焦点を当てるのに役立ちます。

リコール

リコールは、データセット内のすべての関連するインスタンス、つまり真陽性を識別するAIモデルの能力を測定するのに役立ちます。簡単に言えば、AIシステムが、検出するように設計された状態やオブジェクトの実際のすべてのケースをどれだけ捕捉できるかを表します。リコールは、正しい検出数を、検出されるべきであった陽性ケースの総数（モデルが正しく識別したケースと見逃したケースの両方が含まれる）で割ることによって計算することができる。

Recall = True Positives / (True Positives + False Negatives)

がん検知に使われるAI対応医療画像システムを考えてみよう。この文脈では、リコールは、システムが正しく識別した実際のがん症例の割合を反映する。このようなシナリオでは、がん診断の見落としが患者のケアに深刻な結果をもたらす可能性があるため、高い再現性が不可欠である。

精度と再現性の比較

AIモデルのパフォーマンスを評価する場合、精度と想起はコインの裏表のようなものであり、多くの場合、バランスをとる必要がある。課題は、一方の指標を向上させると、もう一方が犠牲になることがよくあるということだ。 

より高い精度を求めるとしよう。モデルはより選択的になり、確信の持てる陽性だけを識別できるようになるかもしれない。一方、想起を向上させることを目指すと、モデルはより多くの陽性を識別するかもしれませんが、これはより多くの偽陽性を含み、結局精度を下げることになるかもしれません。 

重要なのは、アプリケーション固有のニーズに基づいて、精度と想起の適切なバランスを見つけることです。そのための便利なツールが、異なるしきい値における2つのメトリクスの関係を示す、プレシジョン-リコール曲線です。この曲線を分析することで、あなたの特定のユースケースに対してモデルが最高のパフォーマンスを発揮する最適なポイントを決定することができます。トレードオフを理解することは、AIモデルを微調整して、意図したユースケースに最適なパフォーマンスを発揮させる際に役立ちます。

‍

平均平均精度（mAP）

平均平均精度（mAP）は、モデルが画像内の複数のオブジェクトを識別・分類する必要がある、オブジェクト検出のようなタスクのAIモデルのパフォーマンスを評価するために使用されるメトリックです。その計算方法を見てみよう。

プレシジョン-リコール曲線の下の面積は，そのクラスの平均プレシジョン（AP）を与えます．AP は，さまざまな信頼レベル（信頼レベルとは，モデルがその予測においてどの程度確実であるかを意味する）にわたって精度と想起の両方を考慮し，モデルが特定のクラスについてどの程度正確に予測を行うかを測定する．各クラスについてAPが計算されると、mAPはすべてのクラスにわたってこれらのAP値を平均することによって決定されます。

‍

mAPは、歩行者、車両、交通標識など複数の物体を同時に検出する必要がある自律走行のようなアプリケーションで有用です。mAPスコアが高いということは、そのモデルがすべてのカテゴリーにおいて一貫して優れた性能を発揮していることを意味し、幅広いシナリオにおいて信頼性が高く正確であることを意味する。

パフォーマンス指標を簡単に計算

AIの主要なパフォーマンス指標の計算式や計算方法は、難しく思えるかもしれない。しかし、Ultralytics パッケージのようなツールは、それを簡単かつ迅速にすることができる。オブジェクト検出、セグメンテーション、分類タスクのいずれに取り組んでいる場合でも、Ultralytics は、精度、リコール、平均平均精度（mAP）などの重要なメトリクスを素早く計算するために必要なユーティリティを提供します。

Ultralytics を使ってパフォーマンス・メトリクスの計算を始めるには、以下のようにUltralytics パッケージをインストールします。

pip install ultralytics

この例では、事前にトレーニングされたYOLOv8 モデルをロードし、パフォーマンス・メトリクスの検証に使用しますが、 Ultralytics で提供されているサポートされているモデルをロードすることもできます：

from ultralytics import YOLO

# Load a model
model = YOLO("yolov8n.pt")

モデルがロードされると、データセットに対して検証を行うことができます。以下のコード・スニペットは、precision、recall、mAPを含む様々なパフォーマンス・メトリクスの計算に役立ちます：

# Run the evaluation
results = model.val()

# Print specific metrics
print("Mean average precision:", results.box.map)
print("Precision:", results.box.p)
print("Recall:", results.box.r)

Ultralytics のようなツールを使うことで、パフォーマンス測定基準の計算が非常に簡単になるため、モデルの改善に多くの時間を割くことができ、評価プロセスの詳細に悩む時間を減らすことができる。

AI導入後のパフォーマンスはどのように測定されるのか？

AIモデルを開発する際、管理された環境でその性能をテストするのは簡単だ。しかし、モデルがデプロイされると、事態はより複雑になります。幸いなことに、導入後のAIソリューションのモニタリングに役立つツールやベストプラクティスがあります。 

Prometheus、Grafana、Evidently AIなどのツールは、モデルのパフォーマンスを継続的に追跡するように設計されています。リアルタイムの洞察を提供し、異常を検出し、潜在的な問題を警告することができます。これらのツールは、本番環境におけるAIモデルの動的な性質に適応する自動化されたスケーラブルなソリューションを提供することで、従来のモニタリングを超越します。

配備後のAIモデルの成功を測定するために、従うべきベストプラクティスをいくつか紹介しよう：

• 明確なパフォーマンス測定基準を設定する：精度、正確さ、応答時間などの主要な指標を決め、モデルがどの程度機能しているかを定期的にチェックする。
• データのドリフトを定期的にチェックする：適切に管理しないと予測に影響を与える可能性があります。
• A/Bテストを実施する：A/Bテストを使用して、現在のモデルのパフォーマンスを新しいバージョンや微調整と比較します。これにより、モデルの動作の改善または後退を定量的に評価することができます。
• パフォーマンスの文書化と監査パフォーマンス指標とAIシステムに加えられた変更の詳細なログを記録する。これは、監査、コンプライアンス、および時間の経過とともにモデルのアーキテクチャを改善するために非常に重要です。

最適なAI KPIの選択は始まりに過ぎない

AIソリューションの導入と管理を成功させるには、適切なKPIを選択し、それを常に最新の状態に保つことが重要である。全体として、AIソリューションが技術的に、またビジネスインパクトの観点からどの程度うまくいっているかを強調する指標を選択することが重要です。技術の進歩であれ、ビジネス戦略の転換であれ、状況が変化するにつれて、これらのKPIを再検討し、微調整することが重要である。 

パフォーマンス・レビューをダイナミックに維持することで、AIシステムを適切かつ効果的に保つことができます。これらの指標を常に把握することで、業務の改善に役立つ貴重な洞察を得ることができます。プロアクティブなアプローチは、AIの取り組みが真に価値あるものであり、ビジネスを前進させるのに役立つことを保証します！

私たちのコミュニティに参加して、一緒にイノベーションを起こしましょう！GitHubリポジトリで私たちのAIの進歩をご覧ください。先駆的なAI技術で製造業や ヘルスケアなどの業界をどのように再構築しているかをご覧ください。🚀