语义分割

语义分割的工作原理

语义分割的主要目标是将图像中的每个像素归入一组预定义的类别。例如，在一幅包含多辆汽车、行人和树木的图像中，语义分割模型会将组成汽车的所有像素标记为 "汽车"，将行人的所有像素标记为 "行人"，将树木的所有像素标记为 "树木"。它对同一对象类别的所有实例一视同仁。

现代语义分割在很大程度上依赖于深度学习，尤其是卷积神经网络（CNN）。这些模型通常使用监督学习技术进行训练，需要包含详细像素级注释的大型数据集。这一过程包括将图像输入网络，然后由网络输出分割图。该地图本质上是一幅图像，其中每个像素的值（通常用颜色表示）都对应于其预测的类别标签，从而直观地划分出 "道路"、"建筑"、"人物 "等不同类别。数据标注的质量对于训练精确的模型至关重要。

与其他细分任务的主要区别

必须将语义分割与相关的计算机视觉任务区分开来：

• 图像分类：为整个图像指定一个标签（例如，"此图像包含一只猫"）。它不会定位或勾勒对象。
• 对象检测：使用边界框识别和定位物体。它能告诉你对象的位置，但不能提供像素级的确切形状。
• 实例分割：比语义分割更进一步，不仅对每个像素进行分类，还能区分同一物体类别的不同实例。例如，它会为场景中的每辆汽车分配一个唯一的 ID 和遮罩。更多详情，请参阅本指南，比较实例分割和语义分割。
• 全景分割：将语义分割与实例分割相结合，为每个像素提供一个类别标签，并为可数对象（"事物"）提供唯一的实例 ID，同时将天空或道路等不可数背景区域（"事物"）分组。

实际应用

语义分割所提供的详细场景理解对现实世界的许多应用都至关重要：

• 自动驾驶：自动驾驶汽车利用语义分割技术精确了解周围环境。通过对属于道路、车道、人行道、行人、其他车辆和障碍物的像素进行分类，自动驾驶系统可以做出更安全的导航决策。这是汽车解决方案中人工智能的关键组成部分。
• 医学图像分析：在医疗保健领域，语义分割有助于分析核磁共振成像或 CT 等医学扫描图像。它可以自动划分器官、识别和测量肿瘤或病变，并以像素级的精度突出显示异常。例如，Ultralytics YOLO 模型可用于肿瘤检测，帮助放射科医生根据详细的医学成像技术进行诊断和治疗规划。
• 卫星图像分析：用于土地覆被分类、监测森林砍伐、城市规划和农业应用。如美国国家航空航天局地球观测站（NASA Earth Observatory）提供的示例所示，它可以从卫星照片中区分森林、水体、田地和建筑区。了解更多使用计算机视觉分析卫星图像的信息。
• 机器人通过了解场景中的布局和物体，使机器人能够更有效地感知环境并与之互动。了解如何将计算机视觉融入机器人技术。

模型和工具

语义分割通常采用深度学习模型，特别是源自 CNN 的架构。

• 架构：早期流行的架构包括全卷积网络（FCN）和U-网络（U-Net ），前者用卷积层取代分类网络中的全连接层，以输出空间图；后者使用带有跳转连接的编码器-解码器结构，尤其适用于生物医学图像分割。
• 现代模型：最先进的模型，如 Ultralytics YOLOv8和最新的 YOLO11也为各种细分任务提供了强大的功能，在速度和准确性之间取得了平衡。
• 培训平台： Ultralytics HUB等工具提供了管理数据集（如广泛使用的COCO 细分数据集）、训练自定义模型和探索模型部署选项的平台。
• 框架：开发过程中通常会使用以下框架 PyTorch和 TensorFlow.数据增强等技术通常用于提高模型的稳健性。