オープンCV

AIと機械学習における関連性

OpenCVは、AIやMLのパイプラインにおいて、特に視覚的な入力を扱う場合に重要な役割を果たす。OpenCVはデータの前処理のための基本的なツールを提供し、画像や動画を機械学習モデルに投入する前の重要なステップとなる。OpenCVが扱う一般的な前処理ステップには、リサイズ、色空間変換（BGRからRGBへの変換など、特定の色次数で学習させたモデルに必要なことが多い）、ガウスぼかしなどのフィルターを使ったノイズ除去、画質の向上や関連する特徴の抽出のためのさまざまな変換の適用などがある。この前処理は、ディープラーニング（DL）モデルの性能に大きな影響を与える。

OpenCVは、以下のような一般的なMLフレームワークと組み合わせて使用されることが多い。 PyTorchや TensorFlowと組み合わせてエンドツーエンドのCVアプリケーションを構築することが多い。これらのフレームワークがニューラルネットワークの構築とトレーニングに重点を置いているのに対し、OpenCVは、以下のようなモデルによって予測されるバウンディングボックスやセグメンテーションマスクの描画のような、視覚データの入出力、操作、そして多くの場合後処理を処理します。 Ultralytics YOLO.リアルタイムのビデオストリームを効率的に処理できるため、物体検出や 姿勢推定のためのリアルタイム推論など、即時の視覚分析を必要とするアプリケーションには不可欠です。

主な特徴と能力

OpenCVは膨大な機能（2500以上のアルゴリズム）を提供し、古典的なコンピュータビジョン技術と最新のディープラーニングの統合の両方をカバーしている。主な機能は以下の通り：

• 画像とビデオの入出力：様々な画像（JPEG、PNG、TIFF）やビデオフォーマット（AVI、MP4）の読み書きが可能。
• 画像処理：リサイズ、トリミング（オブジェクトのトリミングガイドを参照）、回転、色空間変換、フィルタリング、モルフォロジー変換などの基本操作。
• 特徴の検出と説明： SIFT、SURF（独自のアルゴリズムで、最近のバージョンではORBに置き換えられることが多い）、FASTなどのアルゴリズムを実装し、画像のキーポイントを特定する。(OpenCV Feature Detection ドキュメント）．
• 物体検出：モデルそのものをトレーニングするわけではないが、事前にトレーニングされた検出器（顔検出のためのHaarカスケードなど）を実行したり、DLモデルからの出力を処理するためのツールを提供する（例えば、DLモデルからボックスを描画する）。 YOLO11の予測からボックスを描画するなど)。
• ビデオ解析： オプティカルフロー、バックグラウンドサブトラクション、オブジェクトトラッキングアルゴリズム（トラッキングモードを参照）など、動き解析のためのツールが含まれています。
• カメラキャリブレーションと3D再構成：カメラのジオメトリを理解し、3Dシーンを再構築するための機能（カメラキャリブレーションガイド）。
• 機械学習モジュール： サポートベクターマシン(SVM)やK-最近傍(KNN)のような古典的なMLアルゴリズムの実装を含むが、深層学習タスクは通常専用のフレームワークに依存する。また、以下のような形式でエクスポートされたモデルをロードして実行する機能も提供します。 ONNX.(モデル・エクスポート・ドキュメンテーション）。

OpenCVと関連コンセプトの比較

OpenCVを関連用語と区別するのに役立つ：

• コンピュータビジョン（CV）：CVは、機械が視覚情報を解釈できるようにすることに関係する広範な科学分野である。OpenCVはCVアプリケーションを実装するためのツールや ライブラリであり、この分野そのものではない。
• 画像処理：主に画像の操作（コントラストの強調、ノイズの除去など）に重点を置く。OpenCVは広範な画像処理機能を提供するが、物体認識やシーン理解といった、より高度なタスクも含まれており、これらはコンピュータ・ビジョンに分類される。
• MLフレームワーク（PyTorch、TensorFlow）：これらのフレームワークは、主にニューラルネットワークやその他のMLモデルの構築、トレーニング、デプロイのために設計されています。OpenCVは、ビジュアルデータをモデルに取り込む前（前処理）と推論後（可視化、後処理）に処理するための重要なツールを提供することで、これらのフレームワークを補完しています。OpenCVにはMLの機能もあるが、これらの専用フレームワークと比較すると、それが主な焦点ではない。例えば、Ultralytics HUBは、モデルのトレーニングにPyTorch ようなフレームワークを使用し、データ処理に暗黙的または明示的にOpenCVを使用することがある。

実世界での応用

OpenCVは汎用性が高いため、数多くのAI/MLアプリケーションで利用されている：

1. 自律走行車：自動運転車や先進運転支援システム（ADAS）では、OpenCVはカメラやLiDARデータの初期処理によく使われます。タスクには、車線検出、特徴マッチングや輪郭検出による障害物認識、交通標識認識（処理された画像を分類器に送ることが多い）、サラウンドビューシステムの画像ステッチなどがある。例えば、生のカメラフレームは、OpenCVを使用して前処理（歪みの補正、明るさの調整）された後、次のようなディープラーニングモデルに入力される。 YOLOv8のようなディープラーニング・モデルに送り込まれる。(Waymoの技術を探る）。
2. 医療画像解析：OpenCVは、様々な医用画像フォーマット（DICOMのような、しばしば他のライブラリの助けを借りて）の読み込み、異常の可視性を高めるための画像コントラストの強調、閾値や分水嶺アルゴリズムのようなテクニックを使用した関心領域（腫瘍や臓器など）のセグメンテーション、異なる時間や異なるモダリティから撮影された画像の登録を支援します。このように前処理されたデータは、診断や治療計画のために、MLモデルによって分析されることが多い。(AI in Radiology - RSNA）。

その他のアプリケーションとしては、ロボット工学（ロボット工学におけるコンピュータビジョンの統合）、監視（セキュリティアラームシステム）、拡張現実（AR）、製造業における品質管理、農業（作物の健康モニタリングなど）などがあります。Ultralytics ドキュメントには、OpenCVの関数がYOLO モデルと連携して、事前または事後の処理ステップに使用できる多くの例が記載されています。