推論エンジン

推論エンジンの仕組み

推論エンジンは、多くの場合、次のようなフレームワークを使って開発された、事前に訓練されたモデルを利用する。 PyTorchまたは TensorFlowこのモデルは、特定のタスクに必要な知識をカプセル化している。新しいデータ（画像、音声クリップ、テキスト文など）が入力として提供されると、推論エンジンはモデルの計算グラフを通してそれを処理する。これにより、画像内のオブジェクトの識別、音声の書き起こし、感情の分類などの出力が生成されます。 Ultralytics YOLOモデルは、強力なクラウドサーバーからリソースに制約のあるエッジデバイスまで、さまざまなプラットフォームでリアルタイムのオブジェクト検出とセグメンテーションを実現するために、効率的な推論エンジンに依存している。推論エンジンの性能は、アプリケーションの速度と応答性に直接影響し、多くの場合、推論の待ち時間で測定されます。

最適化と主要機能

最新の推論エンジンは、スピードと効率を向上させるために様々な最適化技術を組み込んでおり、様々なハードウェア上でAIの導入を可能にしている。一般的な戦略には以下が含まれる：

• モデルの最適化： モデルの量子化（モデルの重みの精度を下げる）やモデルの刈り込み（冗長なパラメータを削除する）などのテクニックは、モデルのサイズと計算要件を大幅に削減します。モデル最適化とは何かについては、このクイックガイドをご覧ください。
• ハードウェアアクセラレーション：エンジンは、GPUやTPU、あるいはNVIDIA Jetsonプラットフォームのような特定のアクセラレータなど、特殊なハードウェアを活用して計算を高速化することがよくあります。
• フォーマットの互換性： ONNX (Open Neural Network Exchange)のような標準的なモデルフォーマットをサポート、 TensorRTおよび OpenVINOなどの標準的なモデル形式をサポートしているため、1つのフレームワークでトレーニングされたモデルをさまざまなエンジンやハードウェアにデプロイできます。さまざまなモデルデプロイメントオプションをお試しください。

トレーニングフレームワークがモデルの構築とティーチングに重点を置くのに対し、推論エンジンは、予測タスクのためにトレーニングされたモデルを効率的に実行することに特化している。

実世界での応用

推論エンジンは、数え切れないほどのAIアプリケーションの基礎となっている：

1. 自律走行：自動運転車は、カメラ、LiDAR、その他のセンサーからのデータをリアルタイムで処理する推論エンジンに大きく依存している。これらのエンジンは、複雑なコンピュータ・ビジョン・モデルを実行して歩行者、他の車両、車線標識、交通標識を検出し、安全なナビゲーションを可能にします。最適化された推論エンジンによって提供される低遅延は、自動運転車のAIに関する議論に詳述されているように、瞬時の運転判断に不可欠である。
2. 医療画像解析：ヘルスケアでは、推論エンジンはMRIや CTスキャンなどの医療スキャンを分析するために訓練されたモデルを導入している。脳腫瘍の検出や病気の兆候の特定など、潜在的な異常を迅速に強調し、放射線科医の診断を支援します。このアプリケーションは、推論エンジンがいかに速く、より正確な医療画像解析を潜在的にサポートしているかを示している。Ultralytics HUBのようなプラットフォームは、このようなモデルのトレーニングと展開を容易にします。

これらの例は、推論エンジンが、農業AIや 製造業AIを含む様々な産業において、訓練されたAIモデルと実用的で現実的なインパクトとのギャップをどのように埋めているかを示している。