정규화는 과적합이라는 일반적인 문제를 방지하기 위해 머신러닝(ML) 에서 사용되는 기술 모음입니다. 과적합은 모델이 노이즈와 무작위 변동을 포함하여 학습 데이터의 세부 사항을 너무 정확하게 학습할 때 발생합니다. 학습 데이터에 지나치게 집중하면 보이지 않는 새로운 데이터에 대해 잘 작동하는 모델의 능력, 즉 일반화 기능을 방해합니다. 정규화 방법은 모델의 복잡성과 관련된 페널티를 추가하여 광범위하게 적용될 가능성이 높은 더 단순한 패턴을 학습하도록 유도하는 방식으로 작동합니다. 이는 특히 컴퓨터 비전(CV) 및 자연어 처리(NLP)와 같은 분야에서 강력한 AI 모델을 개발하는 데 필수적입니다.
머신 러닝의 중요성
정규화는 신뢰할 수 있는 ML 모델, 특히 딥러닝(DL) 모델과 신경망(NN)과 같은 복잡한 모델을 훈련하는 데 필수적입니다. 정규화가 없으면 이러한 모델은 기본 패턴을 학습하는 대신 훈련 예제를 단순히 암기할 수 있습니다. 그 결과 훈련 세트의 정확도는 높지만 검증 데이터로 평가하거나 실제 시나리오에 배포할 때 성능이 저하될 수 있습니다. 정규화는 손실 함수에 페널티 항을 통합하거나 훈련 프로세스를 수정함으로써 모델 가중치의 크기를 관리하는 데 도움이 됩니다. 이를 통해 모델을 효과적으로 단순화하고 일반화 기능을 향상시킬 수 있습니다. 데이터를 잘 맞추는 것과 모델의 단순성을 유지하는 것 사이의 신중한 균형은 편향성-편차 트레이드 오프의 핵심 측면입니다. 다음과 같은 모델의 경우 Ultralytics YOLO와 같은 모델의 경우 정규화 기법을 적용하면 실시간 객체 감지와 같은 까다로운 작업에서 높은 성능을 달성하는 데 크게 기여합니다.
일반적인 정규화 기법
몇 가지 정규화 기법이 널리 사용되고 있습니다:
- L1 정규화(올가미): 모델 가중치의 절대값에 비례하는 페널티를 추가합니다. 이렇게 하면 일부 가중치가 정확히 0이 될 수 있는 희소성을 장려하여 특징 선택을 효과적으로 수행할 수 있습니다. 올가미 회귀에 대해 자세히 알아보세요.
- L2 정규화(리지): 모델 가중치의 제곱에 비례하는 페널티를 추가합니다. 이렇게 하면 가중치가 0을 향해 축소되는 경향이 있지만 정확히 0이 되는 경우는 드물기 때문에 다중공선성 같은 문제를 방지하는 데 도움이 됩니다. 릿지 회귀에 대해 자세히 알아보세요.
- 드롭아웃 레이어: 학습 중에 각 업데이트 단계에서 일부 뉴런의 출력을 임의로 0으로 설정합니다. 이렇게 하면 네트워크가 특정 뉴런에 지나치게 의존하는 것을 방지하여 보다 강력한 기능을 학습할 수 있습니다. 자세한 내용은 드롭아웃 백서 원본을 참조하세요. 실제 적용을 위한 모델 훈련 팁을 참조하세요.
- 조기 중지: 학습 중에 별도의 검증 데이터 세트에서 모델의 성능을 모니터링하고 이 세트의 성능이 개선되지 않거나 악화되기 시작하면 프로세스를 중지하여 모델이 학습 데이터에 과적합하는 것을 방지합니다. 이는 딥러닝 워크플로우에서 흔히 사용되는 방식입니다.
- 데이터 증강: 기존 데이터의 수정된 복사본을 생성하여(예: 이미지 회전, 자르기, 색상 변경) 학습 데이터 세트의 크기와 다양성을 인위적으로 늘립니다. 이는 모델을 더 넓은 범위의 변형에 노출시켜 더 나은 일반화를 돕는 정규화 역할을 합니다. 다양한 데이터 증강 기법을 살펴보고 Ultralytics 데이터 세트에서 예제를 찾아보세요.
실제 애플리케이션
정규화 기술은 다양한 AI 도메인에 적용됩니다:
- 의료 이미지 분석:뇌종양과 같은 데이터 세트를 사용해 MRI 스캔에서 종양을 감지하도록 컨볼루션 신경망(CNN)을 훈련하는 것과 같은 의료 이미지 분석에서는 데이터 세트가 제한되는 경우가 많습니다. L2 정규화 및 드롭아웃과 같은 기술은 모델이 훈련 세트의 특정 환자 스캔에 과적합하는 것을 방지하여 새로운 환자에 대한 보다 안정적인 진단을 내리는 데 도움이 됩니다. 이는 의료 분야의 AI 애플리케이션에 매우 중요합니다.
- 자율주행 차량: 자율주행 차량의 인식 시스템은 보행자, 차량, 장애물을 감지하기 위해 YOLO11 같은 모델에 의존합니다. 정규화는 이러한 모델이 다양하고 예측할 수 없는 실제 주행 조건(다양한 조명, 날씨, 물체 모양)에 잘 일반화되도록 보장하며, 이는 안전에 매우 중요합니다. 자동차 솔루션의 AI를 살펴보세요.
- 재무 예측: 주식 시장 동향을 예측하거나 신용 위험을 평가하기 위한 모델을 구축할 때 L1 정규화를 사용할 수 있습니다. 덜 중요한 특징의 가중치를 0으로 축소하여 가장 영향력 있는 경제 지표를 선택하는 데 도움이 되며, 그 결과 금융 분야의 AI에 사용되는 예측 모델이 더 간단하고 해석 가능하며 잠재적으로 더 강력해질 수 있습니다.
관련 개념과의 차이점
정규화를 다른 관련 ML 개념과 구별하는 것이 중요합니다:
- 최적화 알고리즘: 경사 하강, 확률적 경사 하강(SGD) 또는 아담 최적화 도구와 같은 최적화 알고리즘은 학습 중에 손실 함수를 최소화하고 최적의 모델 파라미터 집합을 찾는 데 사용되는 절차입니다. 반면 정규화는 훈련 오류를 최소화하는 동시에 일반화의 우선순위를 정하기 위해 목표(손실 함수 자체 또는 훈련 절차)를 수정합니다. 최적화는 해결책을 찾지만 정규화는 보이지 않는 데이터에 대한 좋은 해결책이 되도록 도와줍니다.
- 하이퍼파라미터 튜닝: 학습 프로세스를 시작하기 전에 모델 또는 학습 알고리즘에 대한 최적의 구성 설정을 선택하는 프로세스입니다. 하이퍼파라미터라고 하는 이러한 설정에는 학습 속도, 신경망의 레이어 수 또는 정규화 페널티의 강도 (예: L1/L2의 람다 값) 등이 포함됩니다. 정규화는 학습 중에 적용되는 기법이며, 하이퍼파라미터 튜닝은 해당 기법 및 기타 기법을 제어하는 파라미터를 최적화합니다. Ultralytics HUB 플랫폼과 같은 도구는 자동화된 하이퍼파라미터 튜닝을 위한 기능을 제공합니다.