오버피팅

과적합 이해

머신 러닝 모델은 학습 데이터의 오류를 최소화하는 것을 목표로 하기 때문에 과적합이 발생합니다. 그러나 모델이 지나치게 복잡하면 훈련 세트에 존재하는 노이즈까지 적합시킬 수 있습니다. 이러한 노이즈는 실제 패턴을 나타내지 않으며 새로운 데이터 세트에 따라 달라집니다. 특정 날짜에 한 사람의 정확한 치수에 딱 맞는 정장을 맞춤 제작한다고 생각하면, 그 사람의 체중이 변동하거나 다른 사람이 입어보면 잘 맞지 않을 수 있습니다. 머신 러닝에서 학습 데이터에 대한 이러한 '완벽한 맞춤'은 실제 데이터에 대한 유연성과 성능 저하로 이어집니다.

과적합과 반대되는 개념은 과소적합으로, 모델이 너무 단순하여 데이터의 기본 구조를 포착하지 못하는 경우입니다. 과소적합 모델은 학습이 충분하지 않기 때문에 학습 데이터와 새로운 데이터 모두에서 성능이 저하됩니다. 목표는 흔히 편향성-편차 트레이드오프라고 하는 균형을 찾아 잘 일반화되는 모델을 만드는 것입니다.

과적합의 실제 사례

1. 의료 이미지 분석: 질병 감지를 위한 의료 이미지 분석에서 과적합 모델은 학습된 특정 이미지 세트에서 질병을 매우 잘 식별할 수 있으며, 심지어 해당 데이터 세트에만 존재하는 고유한 아티팩트나 노이즈까지 인식할 수 있습니다. 그러나 다른 기계나 환자 집단에서 촬영한 새로운 의료 이미지를 제시하면 모델이 일반화에 실패하여 실제 임상 환경에서 부정확한 진단을 내릴 수 있습니다. 예를 들어, MRI 스캔을 사용하여 종양을 감지하도록 훈련된 모델은 특정 MRI 스캐너의 특성에 과도하게 적합하여 근본적인 병리가 동일하더라도 다른 스캐너의 스캔에서는 제대로 작동하지 않을 수 있습니다.

2. 감성 분석: 고객 리뷰를 긍정 또는 부정으로 분류하도록 학습된 감성 분석 모델을 생각해 보세요. 모델이 과도하게 적합하면 학습 리뷰 데이터 세트에서 널리 사용되는 특정 단어나 문구에 지나치게 민감해질 수 있습니다. 예를 들어, 학습 데이터에 특정 제품 기능을 언급하는 리뷰가 많은 경우, 새 리뷰의 문맥이 다르더라도 모델이 해당 기능의 존재만으로 긍정적인 감정을 잘못 연관시킬 수 있습니다. 이는 비슷한 언어를 사용하지만 다른 의견을 표현하는 새로운 고객 피드백을 잘못 분류하는 결과로 이어질 수 있습니다.

과적합 방지

몇 가지 기술을 통해 과적합을 완화할 수 있습니다:

• 학습 데이터 늘리기: 보다 다양하고 대표적인 학습 데이터를 제공하면 모델이 보다 강력한 패턴을 학습하고 노이즈에 대한 의존도를 줄일 수 있습니다. Ultralytics YOLO 데이터 증강에 사용된 것과 같은 데이터 증강 기술을 사용하면 훈련 세트의 크기와 가변성을 인위적으로 늘릴 수 있습니다.
• 모델을 단순화하세요: 신경망의 레이어 또는 매개변수 수를 줄이는 등 모델 복잡성을 줄이면 노이즈를 기억하는 것을 방지할 수 있습니다. 모델 가지 치기와 같은 기술을 사용하면 학습된 네트워크에서 덜 중요한 연결을 체계적으로 제거하여 단순화할 수 있습니다.
• 정규화: 정규화 기법은 학습 과정에 제약 조건을 추가하여 지나치게 복잡한 모델에 불이익을 줍니다. 일반적인 방법으로는 L1 및 L2 정규화, 드롭아웃, 배치 정규화 등이 있습니다.
• 교차 검증: K-Fold 교차 검증과 같은 기술을 사용하면 데이터의 여러 하위 집합에 대해 모델을 학습하고 평가하여 보이지 않는 데이터에 대해 모델이 얼마나 잘 일반화되는지 평가할 수 있습니다.
• 조기 중지: 훈련 중에 유효성 검사 세트에 대한 모델의 성능을 모니터링하고 유효성 검사 성능이 저하되기 시작하면 훈련을 조기에 중지하면 과적합을 방지할 수 있습니다. 이렇게 하면 모델이 학습 데이터에서 노이즈를 계속 학습하는 것을 방지할 수 있습니다.

과적합을 이해하고 해결함으로써 개발자는 다양한 애플리케이션을 위한 보다 안정적이고 효과적인 AI 모델을 구축하여 학습 환경을 넘어 실제 시나리오에서도 잘 작동하도록 보장할 수 있습니다. Ultralytics HUB와 같은 도구는 실험 추적 및 모델 평가를 지원하여 모델 개발 과정에서 과적합을 감지하고 완화하는 데 도움을 줄 수 있습니다.