Edge AIとJetson、Triton、TensorRT NVIDIAイノベーションが、コンピュータ・ビジョン・アプリケーションの展開をどのように簡素化しているかをご覧ください。
コンピュータ・ビジョンと人工知能（AI）の最近の進歩により、かつては単なる研究分野であったものが、現在ではさまざまな産業でインパクトのあるアプリケーションを推進している。自動運転車から医療用画像処理、セキュリティに至るまで、コンピュータ・ビジョン・システムは現実の問題を大規模に解決しています。
このようなアプリケーションの多くは、リアルタイムで画像や映像を分析することが必要であり、クラウド・コンピューティングに依存することは、レイテンシー、コスト、プライバシーの懸念のために必ずしも現実的ではない。このような状況では、エッジAIが優れたソリューションとなる。ビジョンAIモデルをエッジ・デバイス上で直接実行することで、企業はデータをより速く、より安価に、より高いセキュリティで処理することができ、リアルタイムAIをより身近なものにすることができる。
Ultralytics主催の年次ハイブリッドイベントであるYOLO Vision 2024（YV24）では、デプロイメントをよりユーザーフレンドリーかつ効率的にすることで、Vision AIを民主化することが中心テーマの1つとなった。NVIDIAシニア・ソリューション・アーキテクトであるガイ・ダハンは、エッジ・コンピューティング・デバイス、推論サーバー、最適化フレームワーク、AIデプロイメントSDKを含むNVIDIAハードウェアおよびソフトウェア・ソリューションが、開発者がエッジでAIを最適化するのをどのように支援しているかについて説明した。
この記事では、ガイ・ダハンのYV24基調講演の主な要点と、NVIDIA最新のイノベーションがVision AIの導入をより迅速かつスケーラブルにする方法を探ります。
ガイ・ダハンはまず、YV24にバーチャルで参加することへの熱意と、Ultralytics Python パッケージとUltralytics YOLO モデルへの興味を示し、次のように話し始めた。それ以前からYOLOv5 、このUltralytics 熱狂的なファンなんです」。
そして、エッジAIのコンセプトを紹介し、データを遠くのクラウドサーバーに送って処理するのではなく、カメラやドローン、産業用機械などのデバイス上で直接AIの計算を実行するものだと説明した。
画像や動画がアップロードされ、分析され、結果が送り返されるのを待つ代わりに、エッジAIはデバイス自体で即座にデータを分析することを可能にする。これにより、Vision AIシステムはより高速で効率的になり、インターネット接続への依存度も低くなる。エッジAIは、自動運転車、監視カメラ、スマート工場など、リアルタイムの意思決定アプリケーションに特に有用である。
ガイ・ダハンは、エッジAIを紹介した後、効率性、コスト削減、データ・セキュリティに焦点を当て、その主な利点を強調した。AIモデルはデバイス上で直接データを処理するため、クラウドに情報を送信して応答を待つ必要がない。
エッジAIはコスト削減と機密データの保護にも役立つ。大量のデータ、特にビデオストリームをクラウドに送信するのはコストがかかる。しかし、ローカルで処理すれば、帯域幅とストレージのコストを削減できる。
もうひとつの重要な利点は、情報が外部サーバーに転送されることなくデバイスに残るため、データのプライバシーが守られることだ。これは、データをローカルで安全に保つことが最優先事項である医療、金融、セキュリティ・アプリケーションにとって特に重要です。
こうした利点を踏まえ、ガイ・ダハンはエッジAIの採用が拡大していることについてコメントした。同氏は、NVIDIA 2014年にJetsonを導入して以来、利用が10倍に増えたと指摘。現在、120万人以上の開発者がJetsonデバイスを使用しています。
ガイ・ダハンは次に、低消費電力で高性能を実現するように設計されたAIエッジコンピューティングデバイスのファミリーであるNVIDIA Jetsonデバイスに焦点を当てた。Jetsonデバイスは、ロボット工学、農業、ヘルスケア、産業オートメーションなどの分野におけるコンピュータビジョンアプリケーションに最適です。「ジェットソンは、AIのために特別に作られたエッジAIデバイスです。元々はコンピュータ・ビジョンのために設計されたものです」とガイ・ダハンは付け加えた。
Jetsonデバイスには3つの階層があり、それぞれ異なるニーズに適している：
また、ガイ・ダハンは、今年発売予定のJetson AGX Thorについて、GPU （グラフィック・プロセッシング・ユニット）性能は8倍、メモリ容量は2倍、CPU （中央演算処理装置）性能は向上すると語った。この製品は、特にヒューマノイド・ロボティクスや高度なエッジAIアプリケーション向けに設計されている。
ガイ・ダハンは次に、エッジAIのソフトウェア面についての議論に移り、強力なハードウェアを使用しても、モデルを効率的に展開することは困難であると説明した。
AI開発者はPyTorch TensorFlowような異なるAIフレームワークで作業することが多いため、最大のハードルのひとつは互換性だ。これらのフレームワーク間の移動は難しく、開発者はすべてが正しく実行されるように環境を作り直す必要がある。
スケーラビリティも重要な課題だ。AIモデルには大きなコンピューティング・パワーが必要であり、ダハンが言うように、"より少ないコンピューティングを望むAI企業は存在しない"。複数のデバイスにAIアプリケーションを拡張すると、すぐにコストがかさみ、最適化が不可欠になる。
また、AIパイプラインは複雑で、多くの場合、さまざまな種類のデータ、リアルタイム処理、システム統合を伴う。開発者は、モデルが既存のソフトウェア・エコシステムとシームレスに相互作用するようにするために多くの労力を費やしている。これらの課題を克服することは、AIの導入をより効率的でスケーラブルなものにするために極めて重要な部分である。
次にガイ・ダハンは、NVIDIA Triton Inference Serverに注目した。彼は、多くの企業や新興企業がモデルの最適化を十分に行わないままAI開発を始めていることを指摘した。AIパイプライン全体をゼロから再設計することは、破壊的で時間のかかることであり、効率的なスケールが難しくなります。
Triton 、システムの完全なオーバーホールを必要とする代わりに、開発者がAIワークフローを徐々に改良・最適化し、既存のセットアップを壊すことなく、より効率的なコンポーネントを統合することを可能にします。TensorFlow、PyTorch、ONNX、TensorRT複数のAIフレームワークをサポートするTriton 、最小限の調整でクラウド環境、データセンター、エッジデバイスへのシームレスな導入を可能にします。
NVIDIA Triton Inference Serverの主な利点は以下の通りです：
さらに高速化を求めているとしよう； NVIDIA TensorRTは、AIモデルを最適化するための興味深い選択肢です。Guy Dahan氏は、TensorRT NVIDIA GPUのために構築された高性能ディープラーニング・オプティマイザーであると詳しく説明した。TensorFlow、PyTorch、ONNX、MXNetのモデルは、TensorRT使用して、非常に効率的なGPUファイルに変換することができます。
TensorRT これほど信頼できるのは、ハードウェアに特化した最適化を行っているからだ。Jetsonデバイス用に最適化されたモデルは、他のGPUでは効率的に動作しません。これは、TensorRT ターゲットハードウェアに基づいてパフォーマンスを微調整するためです。微調整されたコンピュータビジョンモデルは、最適化されていないモデルと比較して、推論速度が最大36倍向上します。
Guy Dahan氏はまた、Ultralytics TensorRTサポートしていることに注目し、AIモデルのデプロイをより迅速かつ効率的にする方法について語った。Ultralytics YOLO モデルは、TensorRT フォーマットに直接エクスポートすることができ、開発者は変更を加えることなく、NVIDIA GPU用に最適化することができます。
ガイ・ダハンは、NVIDIA GPUを使用したビデオ、オーディオ、センサーデータのリアルタイム処理用に設計されたAIフレームワークであるDeepStream 7.0を紹介した。高速なコンピュータ・ビジョン・アプリケーションをサポートするために構築されたこのフレームワークは、自律システム、セキュリティ、産業オートメーション、スマートシティにおける物体検出、追跡、分析を可能にします。エッジデバイス上でAIを直接実行することで、DeepStreamはクラウドへの依存を排除し、待ち時間を短縮して効率を向上させます。
具体的には、DeepStreamはAIを活用した映像処理を最初から最後まで行うことができる。ビデオのデコードや前処理からAIの推論や後処理まで、エンドツーエンドのワークフローをサポートする。
最近、DeepStreamはAI導入を強化するためにいくつかのアップデートを導入し、よりアクセスしやすく、スケーラブルにした。新しいツールは開発を簡素化し、マルチカメラのトラッキングを改善し、AIパイプラインを最適化してパフォーマンスを向上させる。
開発者は現在、Windows環境のサポートを拡大し、複数のソースからのデータを統合するためのセンサー・フュージョン機能を強化し、デプロイメントを加速するためのビルド済みリファレンス・アプリケーションにアクセスできる。これらの改善により、DeepStreamはリアルタイムAIアプリケーションのより柔軟で効率的なソリューションとなり、開発者はインテリジェントなビデオ解析を容易に拡張できるようになります。
YV24でのガイ・ダハンの基調講演にあるように、エッジAIはコンピュータ・ビジョンのアプリケーションを再定義しつつある。ハードウェアとソフトウェアの進歩により、リアルタイム処理はより速く、より効率的で、費用対効果が高くなっている。
より多くの産業がエッジAIを採用する中、断片化や導入の複雑さといった課題に対処することが、その可能性を最大限に引き出す鍵となる。これらのイノベーションを取り入れることで、よりスマートで応答性の高いAIアプリケーションが推進され、コンピュータビジョンの未来が形作られるでしょう。
成長するコミュニティの一員になりませんか！GitHubリポジトリを探索してAIについてもっと学び、Vision AIプロジェクトを開始するためのライセンスオプションをチェックしてください。ヘルスケアにおけるAIや 製造業におけるコンピュータ・ビジョンのようなイノベーションに興味がありますか？ソリューションのページをご覧ください！
