Полуавтоматическое обучение

Полунадзорное обучение (SSL) — это стратегическая парадигма в машинном обучении (ML), которая служит мостом между двумя традиционными методами обучения. В то время как надзорное обучение полностью полагается на полностью аннотированные наборы данных, а ненадзорное обучение пытается найти закономерности в данных без каких-либо меток, SSL работает путем объединения небольшого количества меченых данных со значительно большим пулом немеченых данных. Этот подход особенно ценен в реальных сценариях компьютерного зрения (CV), где сбор исходных изображений, таких как видеозаписи с камер безопасности или спутников, является относительно недорогим, но процесс маркировки данных человеческими экспертами является дорогостоящим, медленным и трудоемким. Эффективно используя структуру, скрытую в немеченых примерах, SSL может значительно повысить точность и обобщаемость модели без необходимости в исчерпывающем бюджете на аннотацию.

Основные механизмы полунадзорного обучения

Основная цель SSL — распространить информацию, содержащуюся в небольшом наборе помеченных примеров, на более крупный непомеченный набор. Это позволяет нейронной сети обучаться границам принятия решений, которые проходят через области данных с низкой плотностью, что приводит к более надежной классификации или обнаружению.

Две популярные техники лежат в основе большинства полуконтролируемых рабочих процессов:

• Псевдомаркировка: в этом методе модель сначала обучается на ограниченных маркированных данных. Затем она используется для выполнения вывода по немаркированным данным. Прогнозы, превышающие определенный порог достоверности, рассматриваются как «псевдомаркировки» или эталонные данные. Эти достоверные прогнозы добавляются к обучающим данным, и модель переобучается, итеративно улучшая свою производительность.
• Регуляризация согласованности: этот метод основан на увеличении объема данных. Идея заключается в том, что модель должна выдавать схожие прогнозы для изображения и слегка измененной (увеличенной) версии того же изображения. Минимизируя разницу в прогнозах между исходной и увеличенной версией, модель учится фокусироваться на основных характеристиках объекта, а не на шуме, улучшая свою способность справляться с переобучением.

Практическая реализация с YOLO

Следующий Python демонстрирует простой рабочий процесс псевдомаркировки с использованием ultralytics . Здесь мы обучаем модель YOLO26 на небольшом наборе данных, а затем используем ее для генерации меток для каталога немеченых изображений.

from ultralytics import YOLO

# Load the latest YOLO26 model
model = YOLO("yolo26n.pt")

# Train initially on a small available labeled dataset
model.train(data="coco8.yaml", epochs=10)

# Run inference on unlabeled data to generate pseudo-labels
# Setting save_txt=True saves the detections as text files for future training
results = model.predict(source="./unlabeled_images", save_txt=True, conf=0.85)

Применение в реальном мире

Полунадзорное обучение преобразует отрасли, в которых данных много, но экспертных знаний мало.

• Медицинская визуализация: в медицинском искусственном интеллекте получение сканов (рентгеновских снимков, МРТ) является стандартной процедурой, но привлечение сертифицированного радиолога для аннотирования каждого пикселя с целью обнаружения опухолей является чрезмерно дорогостоящим. SSL позволяет исследователям обучать высокопроизводительные модели, используя лишь небольшую часть аннотированных экспертами случаев, и используя тысячи архивированных сканов для уточнения понимания моделью биологических структур.
• Автономное вождение: компании, производящие самоуправляемые автомобили, ежедневно собирают петабайты видеоданных с автомобилей своего автопарка. Маркировать каждый кадр для обнаружения объектов и семантической сегментации невозможно. Благодаря SSL система может учиться на основе подавляющего большинства немаркированных часов вождения, чтобы лучше понимать сложные дорожные условия, погодные условия и редкие крайние случаи.

Различение смежных понятий

Для эффективного внедрения решений на основе искусственного интеллекта крайне важно понимать, чем SSL отличается от аналогичных стратегий:

• vs. Активное обучение: Хотя оба метода работают с немаркированными данными, их подход к маркировке различается. SSL автоматически присваивает метки на основе прогнозов модели . В отличие от этого, активное обучение выявляет наиболее «запутанные» или неопределенные точки данных и явно запрашивает человека-оператора для их маркировки, оптимизируя время человека, а не удаляя их полностью.
• vs. Перенос обучения: Перенос обучения предполагает использование модели, предварительно обученной на огромном внешнем наборе данных (таком как ImageNet) и ее донастройку под конкретную задачу. SSL, однако, фокусируется на использовании немеченых частей конкретного набора данных в процессе обучения.
• vs. Самоконтролируемое обучение: Хотя названия похожи, самоконтролируемое обучение часто относится к «предполагаемым задачам» (таким как решение головоломки из фрагментов изображений), где данные генерируют свои собственные сигналы контроля без каких-либо внешних меток. SSL конкретно подразумевает использование меньшего набора проверенных меток для управления процессом.

Инструменты и перспективы на будущее

По мере увеличения размера моделей глубокого обучения (DL) эффективность использования данных становится первостепенной задачей. Современные фреймворки, такие как PyTorch и TensorFlow предоставляют вычислительный бэкэнд для этих сложных циклов обучения . Кроме того, такие инструменты, как Ultralytics , упрощают жизненный цикл управления наборами данных. Используя такие функции, как автоматическая аннотация, команды могут проще внедрять полуконтролируемые рабочие процессы, быстро превращая необработанные данные в готовые к производству веса моделей. Эта эволюция в MLOps гарантирует, что барьер для входа в создание высокоточных систем видения продолжает снижаться.