セマンティック・セグメンテーション

セマンティック・セグメンテーションの仕組み

セマンティックセグメンテーションの主な目的は、画像内の各ピクセルを、あらかじめ定義された一連のカテゴリーに分類することである。たとえば、複数の車、歩行者、樹木を含む画像では、セマンティック・セグメンテーション・モデルは、車を構成するすべてのピクセルを「車」、歩行者を構成するすべてのピクセルを「歩行者」、樹木を構成するすべてのピクセルを「樹木」とラベル付けする。これは、同じオブジェクトクラスのすべてのインスタンスを同じように扱う。

最新のセマンティックセグメンテーションは、ディープラーニング、特に畳み込みニューラルネットワーク（CNN）に大きく依存している。これらのモデルは通常、教師あり学習技法を使用して学習され、詳細なピクセルレベルの注釈を含む大規模なデータセットを必要とする。このプロセスでは、画像をネットワークに入力して、セグメンテーション・マップを出力する。このマップは基本的に、各ピクセルの値（多くの場合、色で表される）が予測されるクラスラベルに対応する画像であり、「道路」、「建物」、「人物」などの異なるカテゴリーを視覚的に分離する。データのラベリングの質は、正確なモデルを学習するために非常に重要である。

他のセグメンテーション・タスクとの主な違い

セマンティック・セグメンテーションを、関連するコンピュータ・ビジョンのタスクと区別することは重要である：

• 画像の分類：画像全体に単一のラベルを割り当てます（例：「この画像には猫が写っています」）。オブジェクトの位置や輪郭は特定しない。
• オブジェクトの検出： バウンディングボックスを使用してオブジェクトを識別し、位置を特定します。オブジェクトの位置はわかりますが、ピクセルレベルでの正確な形状はわかりません。
• インスタンス・セグメンテーション：各ピクセルを分類するだけでなく、同じオブジェクトクラスの異なるインスタンスを区別することで、セマンティックセグメンテーションよりも一歩進んだセグメンテーションを行う。たとえば、シーン内の個々の車に固有の ID とマスクを割り当てます。詳しくはインスタンスセグメンテーションとセマンティックセグメンテーションを比較したガイドを参照。
• パノプティックセグメンテーション：セマンティックセグメンテーションとインスタンスセグメンテーションを組み合わせ、空や道路のような数えられない背景領域（stuff）をグループ化しながら、各ピクセルのカテゴリラベルと、数えられるオブジェクト（「モノ」）の一意のインスタンスIDの両方を提供する。

実世界での応用

セマンティックセグメンテーションによって得られる詳細なシーン理解は、多くの実世界アプリケーションにとって極めて重要である：

• 自律走行：自動運転車は、周囲の状況を正確に理解するためにセマンティック・セグメンテーションを使用する。道路、車線、歩道、歩行者、他の車両、障害物に属するピクセルを分類することで、自律走行システムはより安全なナビゲーション決定を下すことができる。これは、自動車向けソリューションのAIにおける重要な要素である。
• 医療画像解析：ヘルスケアにおいて、セマンティックセグメンテーションはMRIやCTのような医療スキャンを分析するのに役立つ。臓器を自動的に画定し、腫瘍や病変を識別・測定し、ピクセルレベルの精度で異常を強調することができる。例えば、Ultralytics YOLO モデルは腫瘍検出に使用することができ、放射線科医が詳細な医療画像技術に基づいて診断や治療計画を立てる際に役立ちます。
• 衛星画像解析：土地被覆の分類、森林減少の監視、都市計画、農業用途に使用される。NASA地球観測所の例にあるように、衛星写真から森林、水域、田畑、既成市街地を区別することができます。衛星画像の分析にコンピュータ・ビジョンを使用する方法については、こちらをご覧ください。
• ロボティクスシーン内のレイアウトやオブジェクトを理解することで、ロボットがより効果的に環境を認識し、相互作用できるようにします。ロボット工学におけるコンピュータビジョンの統合について学ぶ。

モデルとツール

セマンティックセグメンテーションには、ディープラーニングモデル、特にCNNから派生したアーキテクチャが用いられることが多い。

• アーキテクチャ：初期の一般的なアーキテクチャには、分類ネットワークの完全連結層を畳み込み層に置き換えて空間マップを出力する完全畳み込みネットワーク（FCN）や、接続をスキップするエンコーダ・デコーダ構造を使用するU-Netがあり、特にバイオメディカル画像のセグメンテーションに効果的である。
• 最新のモデル：以下のような最新モデル Ultralytics YOLOv8や最新の YOLO11などの最新モデルも、スピードと精度のバランスを保ちながら、さまざまなセグメンテーション作業に強力な機能を提供している。
• トレーニングプラットフォーム： Ultralytics HUBのようなツールは、広く使用されているCOCO Segmentationデータセットのようなデータセットを管理し、カスタムモデルをトレーニングし、モデル展開オプションを検討するためのプラットフォームを提供します。
• フレームワーク：開発には以下のようなフレームワークがよく使われる。 PyTorchや TensorFlow.モデルのロバスト性を向上させるために、データ増強のようなテクニックがよく使われる。