パノプティック・セグメンテーション

パノプティック・セグメンテーションの仕組み

パノプティック・セグメンテーション・アルゴリズムは、画像を処理して1つの出力マップを生成する。このマップでは、すべてのピクセルに意味ラベルが付与され、数えられるオブジェクト（"thing"）に属する場合は、一意のインスタンスIDが付与される。背景領域（"物"）に属するピクセルは、同じ意味ラベルを共有するが、通常、一意のインスタンスIDを持たない（または、物カテゴリごとに単一のIDを共有する）。最新のアプローチでは、ディープラーニング、特に畳み込みニューラルネットワーク（CNN）やトランスフォーマーに基づくアーキテクチャを活用することが多い。セマンティック・セグメンテーションとインスタンス・セグメンテーションに別々のネットワーク・ブランチを使用し、その結果を融合させる手法もあれば、オリジナルの"Panoptic Segmentation "論文で紹介されているように、パノプティック・タスクのために特別に設計されたエンド・ツー・エンドのモデルを採用する手法もある。これらのモデルのトレーニングには、COCO Panopticデータセットや Cityscapesデータセットのような、詳細なパノプティックアノテーションを持つデータセットが必要である。性能は多くの場合、セグメンテーション品質と認識品質を組み合わせたPanoptic Quality（PQ）メトリクスを用いて測定される。

パノプティック・セグメンテーションと関連タスクの比較

パノプティック・セグメンテーションと関連するコンピュータ・ビジョン・タスクの違いを理解することは非常に重要である：

• 意味的セグメンテーション：各画素にクラスラベル（例：「車」、「人」、「道路」）を割り当てる。これはカテゴリを識別するが、同じカテゴリの異なるインスタンスを区別しない。例えば、出力マスクではすべての車が同じ色で表示される。
• インスタンスのセグメンテーション：個々のオブジェクトのインスタンス（「車1」「車2」「人1」など）を検出し、セグメンテーションする。これは、数えられる「もの」に焦点を当て、通常、空や道路のような無定形の背景「もの」を無視するか、単一の背景クラスとして扱う。 Ultralytics YOLOモデルは堅牢なインスタンスセグメンテーション機能を提供します。インスタンス・セグメンテーションとセマンティック・セグメンテーションの比較については、こちらのガイドを参照してください。
• オブジェクト検出： バウンディングボックスを使用してオブジェクトの存在と位置を特定し、クラスラベルを割り当てる。ピクセルレベルのマスクや背景領域の分割は行わない。YOLOv10や YOLO11YOLO11 YOLOv10の比較など、比較のために利用できる。

パノプティック・セグメンテーションは、セマンティック・セグメンテーションとインスタンス・セグメンテーションの長所を独自に組み合わせ、すべてのピクセルを、クラスラベルの付いた背景領域か、あるいは別個のオブジェクト・インスタンスのいずれかにセグメンテーションする統一的な出力を提供する。

パノプティック・セグメンテーションの用途

パノプティックセグメンテーションが提供する包括的なシーン理解は、さまざまな領域で価値がある：

• 自律走行車：自動運転車は周囲の状況を完全に把握する必要がある。パノプティック・セグメンテーションは、道路、歩道、建物（「物」）を同時に識別し、物体が重なっていても、個々の車、歩行者、自転車（「物」）を区別することを可能にする。この詳細な認識は、安全なナビゲーションと意思決定に不可欠です。Ultralytics 車載ソリューションのAIにどのように貢献しているかをご覧ください。
• 医療画像解析： MRIや CTスキャンなどの医療スキャンを解析する際、汎光セグメンテーションは、さまざまな組織タイプ（「もの」）を区別すると同時に、腫瘍、病変、個々の細胞（「もの」）などの構造の特定のインスタンスを識別し、セグメンテーションすることができる。これは、診断、治療計画、病気の進行のモニタリングに役立つ。腫瘍検出にYOLO11 使用する方法について読む。
• ロボット工学：複雑な環境で動作するロボットは、レイアウト（壁、床、つまり「もの」）と、相互作用する可能性のある個々の物体（道具、部品、人、つまり「もの」）の両方を理解することで恩恵を受ける。これは、ナビゲーション、操作、人間とロボットの相互作用に役立ちます。ロボット工学におけるAIを探求する。
• 拡張現実（AR）：ARアプリケーションは、パノプティックセグメンテーションを使用して、仮想オブジェクトを現実世界のシーンにリアルに配置し、オクルージョンや背景表面および前景オブジェクトの両方との相互作用を正しく処理することができます。AR技術の進歩をご覧ください。
• 衛星画像解析：詳細な土地被覆マッピングに使用され、森林や水域のような広い面積のタイプ（「モノ」）と、建物や車両のような個々の構造物（「コト」）を区別する。衛星画像解析技術について学ぶ。

YOLO11 ようなUltralytics モデルは、オブジェクト検出や インスタンスセグメンテーションのようなタスクで最先端のパフォーマンスを提供しますが、全視野セグメンテーションは、ますます高度化するAIアプリケーションに不可欠な、統合されたシーン理解の次のレベルを表しています。Ultralytics HUBのようなプラットフォームを使って、関連するタスクのモデルを管理し、トレーニングすることができます。