Предварительная обработка данных

Предварительная обработка данных — это важный первый шаг в процессе машинного обучения, при котором необработанные данные преобразуются в чистый и понятный для алгоритмов формат. В реальном мире данные часто бывают неполными, несогласованными и не содержат конкретных моделей поведения или тенденций, что делает их «грязными» или «шумными» для компьютера. Предварительная обработка устраняет разрыв между необработанной информацией и структурированными входными данными, необходимыми для нейронных сетей, что значительно влияет на точность и эффективность конечной модели. Путем стандартизации и очистки наборов данных инженеры гарантируют, что сложные архитектуры, такие как YOLO26, могут обучаться значимым паттернам, а не шуму.

Почему предварительная обработка данных важна?

Модели машинного обучения, особенно те, которые используются в компьютерном зрении, чувствительны к качеству и масштабу входных данных. Без надлежащей предварительной обработки модель может испытывать трудности с конвергенцией во время обучения или давать ненадежные прогнозы. Например, если изображения в наборе данных имеют разное разрешение или цветовую шкалу, модель должна затрачивать дополнительные ресурсы на обучение для устранения этих несоответствий, вместо того чтобы сосредоточиться на фактической задаче обнаружения объектов.

Методы предварительной обработки, как правило, направлены на:

• Улучшение качества данных: удаление ошибок, выбросов и дубликатов для обеспечения точности представления задачи в наборе данных .
• Стандартизация входных данных: пересчет характеристик (таких как значения пикселей) в единый диапазон, часто от 0 до 1, чтобы помочь алгоритмам оптимизации, таким как функция градиентного спуска, работать более плавно.
• Снижение сложности: упрощение представления данных с помощью таких методов, как снижение размерности, что ускоряет процесс обучения.

Ключевые методы предварительной обработки

Для подготовки данных к обучению используется несколько стандартных методов, каждый из которых служит определенной цели в конвейере обработки данных.

• Очистка данных: это включает в себя обработку отсутствующих значений (импутация), исправление несогласованных меток и фильтрацию поврежденных файлов. В контексте искусственного интеллекта в области зрения это может означать удаление размытых изображений или исправление неверных координат ограничивающих рамок
• Нормализация и масштабирование: поскольку интенсивность пикселей может сильно варьироваться, нормализация изображений гарантирует, что пиксели с высоким значением не будут доминировать в процессе обучения. Обычные методы включают масштабирование Min-Max и нормализацию Z-score.
• Кодирование: категориальные данные, такие как метки классов (например, «кошка», «собака»), должны быть преобразованы в числовые форматы. Стандартной практикой являются такие методы, как кодирование «один-к-одному» или кодирование меток.
• Изменение размера и форматирование: Модели глубокого обучения обычно ожидают входные данные фиксированного размера. Конвейеры предварительной обработки автоматически изменяют размер разнородных изображений до стандартных размеров, например 640x640 пикселей, что часто используется для вывода в реальном времени.

Применение в реальном мире

Предварительная обработка данных широко распространена во всех отраслях промышленности и обеспечивает преобразование необработанных данных в полезную информацию.

Медицинская визуальная диагностика

В области искусственного интеллекта в здравоохранении предварительная обработка имеет жизненно важное значение для анализа рентгеновских снимков или МРТ-сканов. Необработанные медицинские изображения часто содержат шумы от датчиков или вариации освещения и контрастности в зависимости от используемого оборудования. Такие этапы предварительной обработки, как выравнивание гистограммы, улучшают контрастность, делая опухоли или переломы более заметными, а фильтры подавления шумов проясняют структуру изображения. Эта подготовка позволяет моделям выполнять обнаружение опухолей с более высокой точностью, что потенциально спасает жизни за счет уменьшения количества ложноотрицательных результатов.

Автономное вождение

Автомобили с автономным управлением полагаются на данные, поступающие от нескольких датчиков, включая LiDAR, радар и камеры. Эти датчики генерируют данные с разной скоростью и в разных масштабах. Предварительная обработка синхронизирует эти потоки и отфильтровывает шумы окружающей среды, такие как дождь или блики, перед объединением данных. Для автономных транспортных средств это гарантирует, что система восприятия получает когерентное представление дороги, что обеспечивает безопасную навигацию и надежное обнаружение пешеходов в реальных условиях.

Связанные понятия

Важно отличать предварительную обработку данных от других терминов, которые встречаются в процессе машинного обучения.

• vs. Аугментация данных: в то время как предварительная обработка подготавливает данные для технического использования в модели (например, изменение размера), аугментация генерирует новые вариации существующих данных (например, поворот или отражение изображений) для увеличения разнообразия набора данных . Более подробную информацию см. в нашем руководстве по аугментацииYOLO .
• vs. Инжиниринг признаков: Предварительная обработка заключается в очистке и форматировании. Инжиниринг признаков включает в себя создание новых значимых переменных из данных для улучшения производительности модели, например, расчет «индекса массы тела» из столбцов роста и веса.
• vs. Маркировка данных: Маркировка — это процесс определения исходных данных, например, рисование ограничительных рамок вокруг объектов. Предварительная обработка происходит после сбора и маркировки данных, но до их ввода в нейронную сеть.

Практический пример

В Ultralytics предварительная обработка часто выполняется автоматически во время обучения. Однако вы также можете вручную выполнить предварительную обработку изображений с помощью библиотек, таких как OpenCV. В следующем фрагменте кода показано, как загрузить изображение, изменить его размер до стандартного для модели, такой как YOLO26, и нормализовать значения пикселей.

import cv2
import numpy as np

# Load an image using OpenCV
image = cv2.imread("bus.jpg")

# Resize the image to 640x640, a standard YOLO input size
resized_image = cv2.resize(image, (640, 640))

# Normalize pixel values from 0-255 to 0-1 for model stability
normalized_image = resized_image / 255.0

# Add a batch dimension (H, W, C) -> (1, H, W, C) for inference
input_tensor = np.expand_dims(normalized_image, axis=0)

print(f"Processed shape: {input_tensor.shape}")

Для крупномасштабных проектов использование таких инструментов, как Ultralytics , может оптимизировать эти рабочие процессы. Платформа упрощает управление наборами данных, автоматизируя многие задачи предварительной обработки и аннотирования, чтобы ускорить переход от необработанных данных к развернутой модели.