Сегментация экземпляров

Как работает сегментация экземпляров

Модели сегментации объектов анализируют изображение, чтобы сначала найти потенциальные объекты, а затем, для каждого обнаруженного объекта, предсказать, какие пиксели принадлежат конкретному экземпляру. Традиционные подходы, такие как влиятельная архитектура Mask R-CNN, часто используют двухэтапный процесс: во-первых, они выполняют обнаружение объектов, чтобы сгенерировать предложения ограничивающих рамок, а во-вторых, они генерируют маску сегментации внутри каждой предложенной рамки. Несмотря на свою эффективность, эти методы могут быть требовательны к вычислительным ресурсам.

Более современные подходы, включая такие модели, как Ultralytics YOLOчасто используют одноступенчатые конвейеры. Эти модели одновременно предсказывают ограничительные рамки, метки классов и маски экземпляров за один проход через нейронную сеть (НС), что приводит к значительному увеличению скорости, делая их пригодными для выводов в реальном времени. Для обучения этих моделей требуются большие наборы данных с аннотациями на уровне пикселей, такие как широко используемый набор данных COCO, в частности его аннотации сегментации. В этом процессе обычно используются методы глубокого обучения (DL), использующие конволюционные нейронные сети (CNN) для изучения сложных визуальных характеристик.

Сегментация экземпляров и смежные задачи

Важно отличать сегментацию экземпляров от других задач по сегментации изображений:

• Обнаружение объектов: Определяет наличие и расположение объектов с помощью ограничительных рамок, но не предоставляет информацию о форме. Сегментация объектов идет дальше, очерчивая точные пиксели каждого объекта.
• Семантическая сегментация: Присваивает каждому пикселю изображения метку класса (например, "автомобиль", "человек", "дорога"). Однако она не делает различий между разными экземплярами одного и того же класса. Например, все автомобили будут входить в один сегмент "автомобиль". Подробнее ты можешь прочитать в этом руководстве по сегментации экземпляров против семантической сегментации.
• Паноптическое сегментирование: Сочетает в себе семантическую сегментацию и сегментацию по экземплярам. Она присваивает каждому пикселю метку класса (как семантическая сегментация), а также уникально идентифицирует каждый экземпляр объекта (как сегментация экземпляров).

Сегментация объектов фокусируется на обнаружении и выделении отдельных экземпляров объектов, обеспечивая высокую точность определения границ и разделения объектов.

Области применения сегментации экземпляров

Способность точно идентифицировать и изолировать отдельные объекты делает сегментацию экземпляров неоценимой во многих областях:

• Автономное вождение: Самоуправляемые автомобили полагаются на сегментацию объектов для точного восприятия окружающей обстановки. Различение отдельных автомобилей, пешеходов, велосипедистов и препятствий, даже в загроможденных или перекрывающихся сценах, очень важно для безопасной навигации и принятия решений. Такие компании, как Waymo, активно используют подобные техники.
• Анализ медицинских изображений: В радиологии и патологии сегментация экземпляров помогает выделить на снимках(КТ, МРТ и т. д.) конкретные структуры, такие как опухоли, органы или клетки. Такая точность на уровне пикселей помогает в диагностике, измерении размера опухоли, планировании операций и отслеживании прогрессирования заболевания. Например, использование YOLO11 для обнаружения опухолей демонстрирует это применение в более широком контексте ИИ в здравоохранении.
• Робототехника: Роботам, выполняющим такие задачи, как хватание или манипулирование в неструктурированной среде, необходимо точно идентифицировать и определять местоположение отдельных объектов. Сегментация экземпляров позволяет роботам понять точную форму и границы предметов для успешного взаимодействия, что подробнее рассматривается в AI in Robotics.
• Анализ спутниковых снимков: Используется для детального картографирования почвенно-растительного покрова, мониторинга разрастания городов путем идентификации отдельных зданий или отслеживания специфических объектов, таких как корабли или автомобили. Такой уровень детализации способствует мониторингу окружающей среды, управлению ресурсами и сбору разведданных. Изучи общие методы анализа спутниковых снимков.
• Сельскохозяйственный мониторинг: Помогает подсчитывать отдельные растения или плоды, оценивать состояние урожая по каждому растению или выявлять конкретные виды сорняков для целенаправленного вмешательства, способствуя развитию точного земледелия.

Сегментация инстансов с помощью Ultralytics YOLO

Ultralytics предоставляет современные модели, способные выполнять эффективную сегментацию экземпляров. Такие модели, как YOLOv8 и YOLO11 разработаны для обеспечения высокой производительности в различных задачах компьютерного зрения, включая сегментацию экземпляров(см. подробности задачи сегментации). Пользователи могут использовать предварительно обученные модели или проводить тонкую настройку на пользовательских наборах данных с помощью таких инструментов, как платформа Ultralytics HUB, которая упрощает рабочий процесс машинного обучения (ML) от управления данными до развертывания модели. Для практического применения доступны такие ресурсы, как учебники по сегментации с помощью предварительно обученных моделей Ultralytics YOLOv8 или руководства по выделению объектов сегментации. Также ты можешь узнать , как использовать Ultralytics YOLO11 для сегментации экземпляров. Популярные фреймворки, такие как PyTorch и TensorFlow обычно используются для разработки и развертывания этих моделей.