Узнай, какую роль играют валидационные данные в ML, как предотвратить чрезмерную подгонку, точно настроить модели и обеспечить надежную производительность в приложениях.
Валидационные данные - важнейший компонент разработки моделей машинного обучения (ML), используемый для оценки и тонкой настройки работы модели в процессе обучения. Они служат в качестве независимого набора данных, который модель не видела на начальном этапе обучения, обеспечивая непредвзятую оценку того, насколько хорошо модель обобщает новые, невидимые данные. Основная цель валидационных данных - предотвратить чрезмерную подгонку, распространенную проблему, когда модель работает исключительно хорошо на обучающих данных, но плохо на новых данных, потому что она, по сути, запомнила обучающий набор, а не изучила основные закономерности.
Во время обучения модели машинного обучения набор данных обычно разбивается на три отдельных подмножества: обучающие данные, данные для проверки и тестовые данные. Обучающие данные используются для того, чтобы научить модель закономерностям и взаимосвязям внутри данных. Тестовые данные откладываются в сторону и используются только в самом конце, чтобы дать окончательную, непредвзятую оценку эффективности модели. Валидационные данные, с другой стороны, играют важнейшую роль в итерационном процессе настройки модели.
После каждой эпохи обучения или заданного количества итераций производительность модели оценивается по данным валидации. Для оценки того, насколько хорошо модель обобщает, вычисляются такие показатели, как точность, прецизионность, отзыв и F1-score. Эти результаты позволяют корректировать гиперпараметры, такие как скорость обучения или размер партии, чтобы улучшить работу модели на невидимых данных.
Хотя все три набора данных необходимы, они служат разным целям. Тренировочные данные используются для обучения модели, валидационные - для настройки модели и предотвращения перебора, а тестовые - для окончательной, непредвзятой оценки эффективности. Ключевое различие заключается в том, что данные проверки влияют на развитие модели во время обучения, а тестовые данные - нет.
Важно отметить, что если тестовый набор неоднократно используется для выбора лучшей модели или для настройки модели, то он, по сути, становится частью процесса обучения и теряет способность давать объективную оценку производительности на новых данных. В этом случае он будет считаться валидационным набором.
В медицинской диагностике очень важны точные и надежные модели. Например, рассмотрим обучение модели Ultralytics YOLO для обнаружения опухолей на медицинских изображениях. Обучающие данные будут состоять из изображений, помеченных наличием или отсутствием опухолей. Валидационные данные, отдельный набор помеченных изображений, будут использоваться для оценки работы модели во время обучения. Контролируя такие показатели, как точность и отзыв, на валидационном наборе, разработчики могут точно настроить модель, чтобы она точно определяла опухоли и при этом минимизировала количество ложных срабатываний. Этот процесс гарантирует, что модель будет прочной и надежной для реального клинического использования. Узнай больше о Vision AI в здравоохранении на сайте Ultralytics .
При разработке самоуправляемых автомобилей данные проверки играют важную роль в обеспечении безопасности и надежности. Например, модель может быть обучена обнаруживать пешеходов, другие транспортные средства и дорожные знаки с помощью большого набора помеченных изображений и видео. Валидационные данные, состоящие из новых, невиданных сценариев вождения, затем используются для оценки способности модели к обобщению для различных сред, погодных условий и ситуаций с освещением. Постоянно тестируя модель на проверочных данных и корректируя ее параметры, разработчики могут повысить ее точность и устойчивость, что в конечном итоге сделает автономные автомобили более безопасными для использования в реальных условиях. Узнай больше о Vision AI в самодвижущихся автомобилях на сайте Ultralytics .
Эффективность проверочных данных зависит от их качества и репрезентативности. Они должны точно отражать реальные данные, с которыми столкнется модель при внедрении. Необъективные или нерепрезентативные данные для проверки могут привести к тому, что модель будет хорошо работать во время тестирования, но не справится с реальными сценариями. Поэтому необходимо тщательно подходить к сбору и подготовке валидационных данных. Такие техники, как увеличение данных, могут быть использованы для увеличения разнообразия и размера валидационного набора, что еще больше улучшит способность модели к обобщению.
Помимо базового разделения тренировка-валидация-тестирование, для дальнейшего обеспечения надежности модели используются более продвинутые техники, такие как кросс-валидация k-fold. При k-кратной кросс-валидации обучающие данные делятся на k подмножеств, или складок. Модель обучается на k-1 складках и проверяется на оставшихся складках, и этот процесс повторяется k раз, причем каждая складка служит в качестве валидационного набора один раз. Этот метод позволяет получить более полную оценку эффективности модели на разных подмножествах данных, снижая риск чрезмерной подгонки под конкретный валидационный набор. Узнай, как реализовать K-Fold Cross Validation для наборов данных по обнаружению объектов с помощью Ultralytics YOLO .
Чтобы узнать больше о концепциях машинного обучения и лучших практиках, посети страницу Ultralytics Глоссарий. Также ты можешь изучить различные области применения ИИ и компьютерного зрения в блогеUltralytics . Чтобы обучить свои собственные модели, посети Ultralytics HUB.
%25202.png)
%202.png)
