全景细分

全景细分的工作原理

全景分割算法处理图像以生成单一的输出图，其中每个像素都有一个语义标签，如果属于可数对象（"事物"），则有一个唯一的实例 ID。属于背景区域（"事物"）的像素共享相同的语义标签，但通常没有唯一的实例 ID（或每个事物类别共享一个 ID）。现代方法通常利用深度学习，特别是基于卷积神经网络（CNN）或变形器的架构。有些方法使用单独的网络分支进行语义分割和实例分割，然后将结果融合，而另一些方法则采用端到端模型，这些模型是专门为全景任务设计的，如最初的"全景分割 "论文中所介绍的那样。这些模型的训练需要包含详细全景注释的数据集，如COCO 全景数据集或城市景观数据集。通常使用全景质量 (PQ)指标来衡量性能，该指标结合了分割质量和识别质量。

全景细分与相关任务

了解全景分割与相关计算机视觉任务之间的区别至关重要：

• 语义分割：为每个像素指定一个类别标签（如 "车"、"人"、"路"）。它能识别类别，但不能区分同一类别的不同实例。例如，在输出掩码中，所有汽车的颜色可能都是一样的。
• 实例分割：检测并分割单个物体实例（如 "车 1"、"车 2"、"人 1"）。它侧重于可计数的 "事物"，通常会忽略天空或道路等无定形的背景 "事物"，或将它们视为单一的背景类别。 Ultralytics YOLO模型提供了强大的实例分割功能。您可以在实例分割与语义分割指南中了解更多信息。
• 物体检测：使用边界框识别物体的存在和位置，并指定类别标签。它不提供像素级掩码或分割背景区域。许多先进的物体检测模型，如YOLOv10和 YOLO11可用于比较，如YOLO11 vs YOLOv10。

全景分割技术独特地结合了语义分割和实例分割的优势，提供统一的输出结果，将所有像素分割为类别标记的背景区域或不同的对象实例。

泛光分色的应用

全景分割技术提供的全面场景理解在各个领域都非常有价值：

• 自动驾驶汽车：自动驾驶汽车需要全面了解周围环境。全景细分技术使它们能够同时识别道路、人行道、建筑物（"物"），并区分单个汽车、行人、骑自行车的人（"事"），即使物体重叠也不例外。这种细致的感知能力对于安全导航和决策至关重要。了解Ultralytics 如何为汽车解决方案中的人工智能做出贡献。
• 医学图像分析：在分析核磁共振成像或CT 扫描等医学扫描图像时，全景分割技术可以区分各种组织类型（"物"），同时还能识别和分割肿瘤、病变或单个细胞等结构的具体实例（"事"）。这有助于诊断、制定治疗计划和监测疾病进展。了解如何使用YOLO11 进行肿瘤检测。
• 机器人：在复杂环境中运行的机器人既要了解布局（墙壁、地板--"物"），也要了解可能与之交互的单个物体（工具、部件、人--"物"）。这有助于导航、操纵和人机交互。探索机器人技术中的人工智能。
• 增强现实（AR）：AR 应用程序可以使用全景分割技术将虚拟对象逼真地放置到现实世界的场景中，正确处理遮挡以及与背景表面和前景对象的交互。查看AR 技术的进展。
• 卫星图像分析：用于绘制详细的土地覆被图，区分森林或水体等大面积类型（"物"）和建筑物或车辆等单个结构（"物"）。了解卫星图像分析技术。

Ultralytics 模型（如YOLO11 ）在物体检测和实例分割等任务中提供了最先进的性能，而全景分割则代表了更高水平的综合场景理解，对于日益复杂的人工智能应用至关重要。您可以使用Ultralytics HUB 等平台管理和训练相关任务的模型。