Сегментация экземпляров

Экземпляры против семантики и обнаружения объектов

Важно отличать сегментацию экземпляров от других смежных задач компьютерного зрения.

• Обнаружение объектов: Эта задача определяет наличие и местоположение объектов, обычно рисуя вокруг них прямоугольные ограничительные рамки и присваивая метку класса. Она отвечает на вопрос "Что и где находится на изображении?", но не предоставляет информацию о форме.
• Семантическая сегментация: Эта задача позволяет отнести каждый пиксель на изображении к определенной категории. Например, все пиксели, относящиеся к автомобилям, будут обозначены как "автомобиль", но при этом не будут различаться два разных автомобиля на изображении. Она отвечает на вопрос "К какой категории относится каждый пиксель?".
• Сегментация объектов: Объединяет возможности обнаружения объектов и семантической сегментации. Он обнаруживает каждый экземпляр объекта и генерирует для него уникальную маску сегментации. На изображении с тремя автомобилями сегментация по экземплярам выдаст три отдельные маски, каждая из которых будет соответствовать определенному автомобилю.
• Паноптическая сегментация: Это наиболее комплексная из задач сегментации, объединяющая семантическую сегментацию и сегментацию экземпляров. Она присваивает каждому пикселю метку класса и уникальный идентификатор экземпляра, обеспечивая полное, единое понимание сцены.

Как работает сегментация экземпляров

Модели сегментации объектов обычно выполняют две основные функции: во-первых, они обнаруживают все объекты на изображении, а во-вторых, генерируют маску сегментации для каждого обнаруженного объекта. Этот процесс был популяризирован такими архитектурами, как Mask R-CNN, которая расширяет детекторы объектов типа Faster R-CNN, добавляя параллельную ветвь, предсказывающую бинарную маску для каждой области интереса. Современные модели еще больше усовершенствовали этот процесс для повышения скорости и точности, что позволяет делать выводы в реальном времени во многих приложениях. При разработке часто используются мощные фреймворки глубокого обучения, такие как PyTorch и TensorFlow.

Применение в реальном мире

Детальные контуры объектов, которые дает сегментация экземпляров, ценны во многих областях.

• Автономные транспортные средства: Самоуправляемые автомобили полагаются на сегментацию объектов для точного определения формы и местоположения отдельных пешеходов, автомобилей и велосипедистов. Такая детализация очень важна для безопасной навигации и планирования маршрута, особенно в сложных городских условиях с множеством пересекающихся объектов. Такие наборы данных, как Cityscapes, сыграли важную роль в развитии этой области.
• Анализ медицинских изображений: В радиологии сегментация экземпляров используется для высокоточного определения границ опухолей, повреждений и органов на снимках КТ или МРТ. Это помогает врачам определять размер опухоли, планировать операции и отслеживать эффективность лечения. Подробнее об этом вы можете узнать из нашей статьи в блоге об использовании YOLO11 для обнаружения опухолей.
• Робототехника: Роботы используют сегментацию экземпляров для понимания окружающей среды, определения конкретных объектов для захвата и более точного обхода препятствий. Это очень важно для задач в сфере производства и логистики.
• Анализ спутниковых снимков: Этот метод используется для подсчета отдельных деревьев в лесу, составления карты зданий в городе или отслеживания изменений в землепользовании с течением времени с помощью данных, полученных от таких организаций, как NASA.
• Сельское хозяйство: С его помощью можно идентифицировать и подсчитывать отдельные фрукты для оценки урожайности или обнаруживать конкретные сорняки для целенаправленного применения гербицидов, что является ключевой частью точного земледелия.

Сегментация экземпляров с помощью Ultralytics YOLO

Ultralytics предлагает самые современные модели, способные эффективно выполнять сегментацию объектов. Такие модели, как YOLOv8 и новейшая YOLO11, разработаны для обеспечения высокой производительности при решении различных задач зрения, включая сегментацию экземпляров. Более подробную информацию вы можете найти в нашей документации по задаче сегментации. Пользователи могут использовать предварительно обученные модели или выполнять тонкую настройку на пользовательских наборах данных, таких как COCO, с помощью таких инструментов, как платформа Ultralytics HUB, которая упрощает рабочий процесс машинного обучения (ML) от управления данными до развертывания модели. Для практического применения доступны такие ресурсы, как наш учебник по сегментации с предварительно обученными моделями Ultralytics YOLOv8 или руководство по выделению объектов сегментации. Вы также можете узнать , как использовать Ultralytics YOLO11 для сегментации экземпляров.