ソニーのIMX500センサーとAITRIOSプラットフォームによる最先端のAI処理におけるブレークスルーを紹介し、Ultralytics YOLO モデルの最適化を支援します。
エッジAIは、スマートフォンや カメラ、ドローンなどのデバイス上で人工知能（AI）モデルを直接操作できるようにする。その主な利点は、クラウドに依存することなく、より迅速でリアルタイムの意思決定をサポートすることだ。実際、エッジプラットフォームでAIを使用することで、業務効率を最大40％向上させることができるという研究結果もある。
エッジAI、特にコンピュータ・ビジョンにおける最近の進歩は、YOLO Vision 2024 (YV24)で中心的なトピックとなった。Ultralytics'ビジョンAIの最新動向を探るため、AI愛好家と専門家が一堂に会する年次ハイブリッド・イベント。このイベントのハイライトのひとつは、ソニーの基調講演で、最先端のAIハードウェアとソフトウェア・ソリューションを紹介した。IMX500センサーとAITRIOSプラットフォームが紹介され、ソニーはこれらのイノベーションが、Ultralytics YOLO11のようなUltralytics YOLO モデルの 展開をいかに簡単かつ効率的にするかを実演した。 Ultralytics YOLOv8オンエッジを実現する。
このセッションは、ソニーのイメージング・ソリューションを担当するビジネス・ディベロップメント・マネージャーのウェイ・タン（Wei Tang）と、エッジ・デバイスへの ディープラーニング・モデルの 導入に精通するエッジ・ディープラーニング・プロダクト・マネージャーのアミール・セルヴィ（Amir Servi）が担当した。
この記事では、YV24でのソニーの講演を再考し、IMX500センサーとAITRIOSプラットフォームが、より高速でリアルタイムのオンエッジAI処理のために、YOLO モデルの使用をどのように最適化するかを探る。始めよう！
ウェイ・タンはセッションの冒頭で、ソニーが数年前に写真撮影を行ったように、エッジAIを身近なものにするという目標について語った。彼女は、ソニーが現在、エッジコンピューティングを通じて、より多くの人々に高度なビジョンAIを提供することに注力していることを強調した。その原動力のひとつは、エッジAIが環境に与えるポジティブな影響だ。巨大なデータセンターに頼るのではなく、デバイス上で直接データを処理することで、エッジコンピューティングはエネルギー使用量を削減し、二酸化炭素排出量を削減するのに役立ちます。これは、よりスマートで環境に優しいアプローチであり、より良く機能するだけでなく、より持続可能な未来の創造に貢献するテクノロジーを構築するというソニーのコミットメントにぴったりです。
ソニーセミコンダクタソリューションズは、ソニーのイメージングとセンシング技術を専門とする部門であり、高度なイメージセンサーを製造している。これらのセンサーはさまざまな機器に使用され、光を電子信号に変換して画像を取り込みます。毎年12億個以上のセンサーが出荷され、世界の携帯電話の半数近くに搭載されている。
ソニーは現在、この専門知識を基に、これらのセンサーを画像キャプチャデバイスから、データをリアルタイムで処理できるスマートツールに変身させ、AIを活用した洞察をデバイス上で直接可能にすることで、さらなる進化を遂げようとしている。ソニーがこのシフトをサポートするために使用しているハードウェアとソフトウェアのソリューションについて説明する前に、これらのイノベーションが解決を目指すエッジAIの課題について理解しよう。
エッジAIソリューションの開発には、特にカメラやセンサーのようなデバイスを扱う場合、いくつかの重要な課題が伴う。これらのデバイスの多くは、パワーと処理能力に限界があり、高度なAIモデルを効率的に実行するのは難しい。
その他の主な制限は以下の通り：
ソニーのIMX500インテリジェント・ビジョン・センサーは、エッジAI処理における画期的なハードウェアです。オンチップAI機能を備えた世界初のインテリジェント・ビジョン・センサーです。このセンサーは、データ処理のボトルネック、プライバシーの懸念、パフォーマンスの制限など、エッジAIにおける多くの課題を克服するのに役立ちます。
他のセンサーが単に画像やフレームを伝えるだけであるのに対し、IMX500は全体のストーリーを伝える。IMX500はセンサー上で直接データを処理するため、デバイスはリアルタイムで洞察を得ることができる。セッションの中でウェイ・タンは、「当社の先進的なイメージセンサー技術を活用することで、日常生活を向上させる新世代のアプリケーションを強化することを目指しています」と述べた。IMX500はこの目標を達成するために設計されており、デバイスがデータを処理するためにクラウドに送信することなく、センサー上で直接データを処理する方法を変革します。
その主な特徴をいくつか紹介しよう：
IMX500は単なるカメラセンサーではなく、デバイスが周囲の世界を認識し、相互作用する方法を変える強力なセンシングツールです。AIをセンサーに直接組み込むことで、ソニーは自動車、ヘルスケア、スマートシティなどの業界にとって、エッジAIをより身近なものにしようとしている。以降のセクションでは、IMX500がUltralytics YOLO モデルとどのように連携し、エッジデバイスの物体検出と データ処理を向上させるかについて、さらに深く掘り下げていきます。
IMX500センサーを紹介した後、ウェイ・タンは、ハードウェアは極めて重要だが、エッジAIの展開に関わる課題の全容に対処するには、それだけでは不十分だと表明した。彼女は、カメラやセンサーのようなデバイスにAIを統合するには、高度なハードウェア以上のものが必要であり、それを管理するスマートなソフトウェアが必要であると語った。ソニーのAITRIOSプラットフォームは、エッジデバイスへのAIの導入をよりシンプルかつ効率的にするために設計された、信頼性の高いソフトウェアソリューションを提供します。
AITRIOSは、複雑なAIモデルとエッジデバイスの限界をつなぐ橋渡し役として機能する。AITRIOSは、事前に訓練されたAIモデルを迅速に展開するためのさまざまなツールを開発者に提供します。さらに重要なのは、AIモデルが実世界の変化に適応し続けられるように、継続的な再トレーニングをサポートすることです。
また、AITRIOSがAIの深い専門知識を持たない人々のためにプロセスを簡素化し、特定のエッジAIユースケース向けにAIモデルをカスタマイズする柔軟性を提供することも強調した。また、メモリの制約や性能低下といった一般的な課題にも取り組むことで、精度や速度を犠牲にすることなく、より小型のデバイスにAIを統合することを容易にしている。
講演の第2部では、マイクがアミールに渡され、ソニーがどのようにIMX500センサーのYOLO モデルを最適化したのか、技術的な側面に切り込んだ。
アミールはまず、「YOLO モデルはエッジが効くし、グレンとチームのおかげで最適化もかなり簡単だ。それは私が納得させますので、ご心配なく"そしてアミールは、一般的にAIモデル自体の最適化に多くの焦点が当てられるが、このアプローチでは重要な懸念事項である後処理のボトルネックが見落とされがちだと説明した。
アミールは、多くの場合、AIモデルがタスクを完了した後、ホスト・デバイス上でデータを転送し、後処理を処理するプロセスが大幅な遅延を引き起こす可能性があると指摘した。デバイスとホスト間のこの往復のデータ転送はレイテンシーをもたらし、最高のパフォーマンスを達成するための大きな障害となり得る。
これに取り組むため、アミールはAIモデルだけに注目するのではなく、エンドツーエンドのシステム全体を見ることの重要性を強調した。IMX500センサーでは、後処理がすべてを遅らせる主なボトルネックであることがわかった。彼は、真のブレークスルーはオンチップの非最大抑制（NMS）を解除することであったと話した。
これにより、後処理をセンサー上で直接行えるようになり、大量のデータをホスト機器に転送する必要がなくなった。NMSをIMX500上で直接実行することで、ソニーはアミールが「ポストプロセッシングのガラスの天井」と呼ぶものを打ち破り、はるかに優れたパフォーマンスとレイテンシーの低減を達成した。
次に、この技術革新が、YOLO のモデル、特にナノをどのように支援したかを見てみよう。 YOLOv8Nanoがエッジ・デバイス上でより効率的に動作し、より小型でリソースに制約のあるハードウェア上でリアルタイムのAI処理を行う新たな機会を創出した。
最後にアミールは、NMSをエッジで実行することにより、YOLOv8 Nanoモデルのパフォーマンスを4倍にすることができたことを実演した。彼は、IMX500 AIセンサーと統合されたRaspberry Pi5上でこれを披露した。アミールは、後処理をホスト・デバイス上で処理した場合とIMX500チップ上で処理した場合のパフォーマンスを比較した。
その結果、処理をオンチップで行うことで、1秒あたりのフレーム数（FPS）と全体的な効率が大きく向上することが明らかになった。この最適化により、物体検出がより高速かつスムーズになり、ラズベリーパイのような小型でリソースに制約のあるデバイスでのリアルタイムAI処理の実用性も実証された。
ソニーのIMX500センサー、AITRIOSプラットフォーム、Ultralytics YOLO モデルは、エッジAI開発を再形成している。オンチップAI処理は、プライバシー、セキュリティ、効率を高めながら、データ転送と待ち時間を短縮します。AIモデルだけでなくシステム全体に焦点を当てることで、これらのイノベーションはエッジAIを開発者やAIの深い専門知識を持たない人々にとってより身近なものにしている。エッジAI技術が進歩し続けることで、よりスマートなデバイス、より迅速な意思決定、より強固なプライバシー保護が、幅広い産業やアプリケーションで実現されることになるだろう。
私たちのコミュニティとつながり、AIについて学び続けましょう！GitHubのリポジトリをチェックして、農業や 製造業など様々な業界でAIを活用して革新的なソリューションを生み出す方法を発見してください。🚀
