DeGirumによるエッジデバイスへの量子化Ultralytics YOLOv8 モデルの展開

マドリードの活気あるGoogle for Startups Campus で開催されたYOLO VISION 2023(YV23) イベントでの洞察に満ちた講演のまとめへようこそ。今回の講演は、DeGirumのチーフ・アーキテクト兼共同設立者であるShashi Chilappagar氏によるものです。量子化と量子化モデルの展開という魅力的な世界を掘り下げ、主要な課題、解決策、将来の可能性を探りました。

量子化入門と量子化モデルの展開

シャシは量子化の包括的な概要を説明し、エッジ・デバイスへのモデル展開の最適化における量子化の重要性を強調した。 UltralyticsYOLO の重要性を強調した。量子化の基本的な議論から、量子化を改善するためのアプローチの探求まで、参加者はモデルの移植と展開の複雑さについて貴重な洞察を得ました。

YOLO モデルの量子化における課題

特にTFLite のYOLO モデルでは、量子化がしばしば課題となります。聴衆は、すべての出力が同じスケール／ゼロ点で量子化された場合に見られる精度の大幅な低下について学び、量子化プロセス中にモデルの精度を維持することの複雑さに光を当てました。

YOLO モデルの量子化の改善

幸いなことに、これらの課題に対処するためのソリューションが存在する。DigiRAMフォークの導入は、出力を分離し、バウンディングボックス・デコーディングを最適化することで、量子化に適したアプローチを提供します。これらの強化により、量子化モデルの精度はベースラインレベルから大幅に改善されます。

量子化に適したモデル・アーキテクチャ

量子化ロスを最小化するためには、新しいモデル・アーキテクチャを探求することが鍵となる。参加者は、CILUを有界Relu6活性化に置き換えることで、量子化ロスを最小限に抑え、量子化モデルの精度を維持するための有望な結果が得られることを発見した。

量子化モデルの展開

Digitimのクラウドプラットフォーム上でモデルを実行するのに必要なコードはわずか5行で、量子化されたモデルの導入はかつてないほど簡単になりました。ライブのコードデモでは、量子化されたモデルでオブジェクトを検出するシンプルさを紹介しました。 Ultralytics YOLOv5量子化モデルを実際のアプリケーションにシームレスに統合できることを強調しました。 

このため、Ultralytics は様々なモデル展開オプションを提供し、エンドユーザーが組み込みデバイスやエッジデバイスにアプリケーションを効果的に展開できるようにしている。様々なエクスポートフォーマット OpenVINO, TorchScript, TensorRT, CoreMLTFlite、およびTFlite EDGETPU があり、汎用性と互換性を提供します。 

このようにサードパーティのアプリケーションと統合して展開することで、ユーザーは実際のシナリオで我々のモデルのパフォーマンスを評価することができる。

異なるハードウェアで異なるモデルを使用する

参加者はまた、さまざまなハードウェア・プラットフォームにさまざまなモデルをデプロイする汎用性について洞察し、単一のコードベースがさまざまなアクセラレータで複数のモデルをサポートできることを示しました。さまざまなハードウェア・プラットフォーム上でさまざまな検出タスクを実行した例は、私たちのアプローチの柔軟性とスケーラビリティを実証しました。

リソースとドキュメント

参加者にさらなる力を与えるために、私たちは包括的なリソースセクションを導入し、クラウドプラットフォーム、サンプル、ドキュメントなどにアクセスできるようにしました。私たちの目標は、誰もが量子化モデルの効果的な展開に成功するために必要なツールやサポートを得られるようにすることです。

まとめ

量子化の分野が発展していく中で、常に情報を入手し、関与していくことは不可欠です。私たちは、皆様がこのエキサイティングな旅をナビゲートできるよう、継続的なサポートとリソースの提供をお約束します。講演の全文はこちらをご覧ください！ 

機械学習と人工知能の最新トレンドとイノベーションを探求し続ける私たちに、ぜひご参加ください。私たちは共にテクノロジーの未来を形作り、世界に前向きな変化をもたらしていきます。

‍