Двухступенчатые детекторы объектов

Как работают двухступенчатые детекторы

Работа двухступенчатого детектора включает в себя последовательный конвейер, обычно использующий глубокие нейронные сети (ГНС), в частности конволюционные нейронные сети (КНС), для извлечения признаков.

1. Этап 1: Предложение регионов: Первый этап направлен на создание управляемого набора регионов-кандидатов (Regions of Interest, или RoIs), в которых, скорее всего, будут находиться объекты. Ранние модели, такие как R-CNN, использовали внешние методы вроде селективного поиска, а более поздние, в частности архитектура Faster R-CNN, интегрировали этот этап в саму нейронную сеть с помощью сети предложения регионов (RPN). RPN эффективно сканирует карты признаков, созданные опорной сетью, и предсказывает потенциальное местоположение и размеры объектов.
2. Этап 2: классификация и уточнение: Предложенные регионы, полученные на первом этапе, передаются на второй этап. Для каждого RoI из общей карты признаков извлекаются характеристики (с использованием таких техник, как RoIPooling или RoIAlign, для обработки различных размеров регионов). Эти признаки поступают в головку обнаружения, которая выполняет две задачи: классифицирует объект в пределах RoI (например, "автомобиль", "человек", "фон") и уточняет координаты ограничительного поля, чтобы более точно подогнать объект.

Основные характеристики

Двухступенчатые детекторы характеризуются в первую очередь:

• Высокая точность: Разделение генерации предложений и классификации/уточнения позволяет на втором этапе сосредоточить свои ресурсы на меньшем наборе перспективных регионов, что часто приводит к более высокой точности локализации и классификации. Как правило, они хорошо работают с маленькими объектами и в переполненных сценах. Производительность часто измеряется с помощью таких метрик, как средняя точность (mAP) и пересечение над объединением (IoU).
• Более низкая скорость умозаключений: Обработка изображения в два этапа, особенно с учетом необходимости генерировать и отдельно обрабатывать множество предложений по регионам, делает эти детекторы более интенсивными в вычислительном плане и в целом более медленными, чем одноэтапные детекторы объектов. Это может ограничить их использование в приложениях, требующих строгого вывода в реальном времени.

Сравнение с одноступенчатыми детекторами

Основное различие заключается в операционном трубопроводе. Одноступенчатые детекторы, такие как Ultralytics YOLO (включая такие модели, как YOLO11 и YOLOv8) и SSD (Single Shot MultiBox Detector), напрямую предсказывают ограничительные рамки и вероятности классов по полному изображению за один прямой проход через сеть. Они рассматривают обнаружение объектов как проблему регрессии. Такой унифицированный подход дает значительные преимущества в скорости, что делает их подходящими для приложений реального времени. Однако исторически они сталкивались с проблемами, сравнимыми с точностью двухэтапных детекторов, особенно для мелких объектов, хотя этот разрыв значительно сократился благодаря современным достижениям. Более подробно ты можешь изучить сравнение различных моделей обнаружения объектов.

Примечательные архитектуры

Эволюция двухступенчатых детекторов включает в себя несколько влиятельных моделей:

• R-CNN (регионы с функциями CNN): Пионерская работа, которая объединила предложения регионов с функциями CNN, но была медленной из-за независимой обработки каждого региона.
• Быстрая R-CNN: Повышение скорости за счет разделения вычислений между предложениями с помощью RoIPooling на общей конволюционной карте признаков.(статья Fast R-CNN)
• Более быстрая R-CNN: Еще больше увеличил скорость и элегантность, интегрировав шаг предложения региона в сеть через RPN, создав практически сквозную обучаемую систему.
• Масочный R-CNN: Расширение Faster R-CNN для выполнения сегментации экземпляров путем добавления ветви для предсказания масок сегментации для каждого обнаруженного объекта.(Mask R-CNN Paper).

Применение в реальном мире

Высокая точность двухступенчатых детекторов делает их ценными в сценариях, где точность имеет первостепенное значение:

• Анализ медицинских изображений: Обнаружение тонких аномалий, таких как небольшие опухоли, повреждения или полипы, на медицинских снимках (КТ, МРТ) требует высокой точности для облегчения диагностики. Точная локализация крайне важна для планирования лечения. Подробнее об искусственном интеллекте в здравоохранении и исследованиях в таких журналах, как Radiology: Artificial Intelligence. Ты можешь изучить такие наборы данных, как Brain Tumor dataset, для решения смежных задач.
• Автономное вождение: Точное обнаружение и локализация пешеходов, велосипедистов, других транспортных средств и дорожных знаков, особенно маленьких или частично закрытых, крайне важны для систем безопасности самоуправляемых автомобилей. Такие компании, как Waymo, во многом полагаются на надежные системы восприятия.
• Детальное понимание сцены: Приложения, требующие тонкого понимания взаимодействия объектов или точного подсчета, выигрывают от более высокой точности.
• Контроль качества в производстве: Выявление мелких дефектов или проверка расположения компонентов в сложных узлах часто требует высокой точности. Узнай больше об искусственном интеллекте в производстве.

Обучение этих моделей обычно предполагает использование больших наборов данных с метками, таких как набор данных COCO, и тщательную настройку. Ultralytics предоставляет ресурсы для обучения моделей и понимания метрик производительности. Хотя Ultralytics фокусируется на эффективных одноступенчатых моделях, таких как Ultralytics YOLO, понимание двухступенчатых детекторов обеспечивает ценный контекст в более широкой области обнаружения объектов.