Кросс-валидация

Как работает кросс-валидация

Наиболее распространенным методом кросс-валидации является K-Fold Cross-Validation. Этот процесс предполагает разбиение одного набора данных на несколько частей:

1. Разделение данных: Весь набор обучающих данных случайным образом разбивается на "k" равных по размеру подмножеств, или "складок".
2. Итеративное обучение и проверка: Модель обучается k раз. На каждой итерации одна из складок остается в качестве валидационного набора, а модель обучается на оставшихся k-1 складках.
3. Оценка производительности: Производительность модели оценивается на удержанной складке. Ключевые показатели, такие как точность или средняя точность (mAP), записываются для каждой итерации.
4. Усреднение результатов: После завершения всех "k" итераций показатели эффективности усредняются, чтобы получить единую, более стабильную оценку эффективности модели.

Такой подход гарантирует, что каждая точка данных попадет в валидационный набор ровно один раз, а в обучающий набор - k-1 раз. Подробное руководство по применению можно найти в руководстве Ultralytics K-Fold Cross-Validation.

Перекрестная валидация по сравнению с простой валидацией

В типичном ML-проекте данные делятся на обучающие, проверочные и тестовые наборы.

• Валидационные данные: Используются на этапе обучения для настройки гиперпараметров и принятия решений об архитектуре модели.
• Тестовые данные: Используются только после завершения обучения и настройки, чтобы дать окончательную, непредвзятую оценку способности модели к обобщению.

Простое разделение на обучение и проверку иногда может ввести в заблуждение, если в наборе для проверки случайно окажутся особенно легкие или трудные образцы. Кросс-валидация решает эту проблему, используя все части набора данных как для обучения, так и для проверки, что позволяет получить более надежную оценку способности модели к обобщению. Это делает ее особенно полезной, когда количество доступных данных ограничено. Популярные фреймворки, такие как Scikit-learn, обеспечивают надежную реализацию методов кросс-валидации.

Применение в реальном мире

Кросс-валидация незаменима при создании надежных систем искусственного интеллекта в различных областях:

1. Анализ медицинских изображений: При разработке конволюционной нейронной сети (CNN) для анализа медицинских изображений, например для обнаружения опухолей на снимках мозга с использованием таких наборов данных, как Brain Tumor dataset, CV используется для строгой оценки диагностической точности и обобщения модели на различных данных о пациентах. Такая тщательная оценка крайне важна перед началом клинических испытаний или получения разрешения от таких органов, как FDA.
2. Автономные транспортные средства: Для моделей обнаружения объектов, таких как Ultralytics YOLO, используемых в автономных транспортных средствах, CV помогает обеспечить надежную работу по обнаружению пешеходов, велосипедистов и других транспортных средств в различных условиях окружающей среды. Эта проверка на сложных наборах данных, таких как Argoverse, очень важна перед развертыванием модели в системах, критически важных для безопасности, таких как решения AI in Automotive.

Среди других применений - оценка моделей для сегментации изображений, задач обработки естественного языка (NLP), таких как анализ настроения, и оценка рисков в финансовом моделировании. Платформы, подобные Ultralytics HUB, помогают управлять экспериментами и артефактами, полученными в ходе таких методов оценки, упрощая жизненный цикл разработки.