Семантическая сегментация

Что такое семантическая сегментация?

Основная цель семантической сегментации - разделить изображение на значимые области, соответствующие различным категориям объектов. Например, на изображении, содержащем несколько автомобилей, пешеходов и деревьев, модель семантической сегментации обозначит все пиксели, составляющие любой автомобиль, как "автомобиль", все пиксели для любого пешехода - как "пешеход", а все пиксели для любого дерева - как "дерево". Она одинаково относится ко всем экземплярам одного и того же класса объектов. Это отличается от классификации изображений, при которой всему изображению присваивается одна метка, и от обнаружения объектов, при котором вокруг обнаруженных объектов рисуются ограничительные рамки, но не очерчивается их точная форма.

Модели семантической сегментации обычно обучаются с помощью методов контролируемого обучения, для чего требуются наборы данных с подробными аннотациями на уровне пикселей. На выходе обычно получается карта сегментации - изображение, в котором значение (или цвет) каждого пикселя соответствует его предсказанной метке класса.

Основные отличия от других задач сегментации

Важно отличать семантическую сегментацию от смежных задач:

• Сегментация экземпляров: В то время как семантическая сегментация помечает все пиксели, принадлежащие к классу "автомобиль", одинаково, сегментация экземпляров идет на шаг дальше. Она идентифицирует и сегментирует каждый экземпляр объекта отдельно. Так, три разных автомобиля на изображении получат уникальную маску сегментации, даже если все они принадлежат к классу "автомобиль". Ты можешь узнать , как использовать Ultralytics YOLO для сегментации экземпляров.
• Паноптикум сегментации: Эта задача сочетает в себе семантическую сегментацию и сегментацию экземпляров. Она присваивает каждому пикселю метку класса (как семантическая сегментация), а также однозначно идентифицирует каждый экземпляр объекта (как сегментация экземпляров), обеспечивая единое понимание сцены.

Области применения семантической сегментации

Детальное понимание сцены, обеспечиваемое семантической сегментацией, имеет решающее значение для многих реальных приложений:

1. Автономное вождение: Самоуправляемые автомобили в значительной степени полагаются на семантическую сегментацию, чтобы понять свое окружение. Классифицируя пиксели по таким категориям, как "дорога", "тротуар", "пешеход", "транспортное средство" и "препятствие", система автономного вождения может принимать обоснованные решения о навигации и безопасности.
2. Анализ медицинских изображений: В здравоохранении семантическая сегментация помогает анализировать медицинские снимки, такие как МРТ или КТ. Она может точно очертить органы, ткани или аномалии, такие как опухоли, помогая врачам в диагностике, планировании лечения и наблюдении за развитием болезни. Например, моделиUltralytics YOLO можно использовать для обнаружения опухолей.
3. Анализ спутниковых снимков: Используется для классификации типов почвенного покрова (например, леса, воды, городских территорий), мониторинга вырубки лесов, составления карты разрастания городов или оценки состояния посевов в точном земледелии. Vision AI предлагает множество преимуществ для сельского хозяйства.
4. Робототехника: Позволяет роботам воспринимать окружающую среду с большей детализацией, что необходимо для таких задач, как манипулирование объектами и навигация в сложных условиях. Узнай больше об интеграции компьютерного зрения в робототехнику.

Модели и инструменты

При семантической сегментации часто используются модели глубокого обучения, в частности конволюционные нейронные сети (CNN). Популярностью пользуются такие архитектуры, как Fully Convolutional Networks (FCN) и U-Net. Современные модели, такие как Ultralytics YOLOv8 также предоставляют мощные возможности для решения задач сегментации. Такие инструменты, как Ultralytics HUB, предлагают платформы для обучения, управления наборами данных, такими как COCO, и эффективного развертывания моделей сегментации.