정규화

머신 러닝의 중요성

정규화는 신뢰할 수 있는 ML 모델, 특히 딥러닝(DL) 모델과 신경망(NN)과 같은 복잡한 모델을 훈련하는 데 필수적인 요소입니다. 정규화가 없으면 이러한 모델은 기본 패턴을 학습하는 대신 학습 데이터를 쉽게 암기할 수 있습니다. 이로 인해 학습 세트의 정확도는 높지만 검증 데이터나 실제 입력에 대한 성능은 떨어지게 됩니다. 정규화는 손실 함수에 페널티 항을 추가함으로써 모델 가중치의 크기를 제어하여 모델을 효과적으로 단순화하고 일반화 능력을 향상시키는 데 도움이 됩니다. 데이터 적합성과 단순성 유지 사이의 이러한 균형은 종종 편향성-편차 트레이드 오프의 맥락에서 논의됩니다. 다음과 같은 모델의 경우 Ultralytics YOLO와 같은 모델의 경우 정규화는 실시간 객체 감지와 같은 까다로운 작업에서 높은 정확도를 달성하는 데 기여합니다.

일반적인 정규화 기법

몇 가지 정규화 기법이 널리 사용됩니다:

• L1 정규화(올가미): 계수 크기의 절대값과 동일한 페널티를 추가합니다. 이렇게 하면 일부 가중치가 정확히 0이 되어 기능 선택을 효과적으로 수행할 수 있습니다. 올가미 회귀에 대해 자세히 알아보세요.
• L2 정규화(리지): 계수 크기의 제곱에 해당하는 페널티를 추가합니다. 가중치를 0을 향해 축소하지만 정확히 0으로 만드는 경우는 거의 없습니다. 릿지 회귀에 대해 자세히 알아보세요.
• 드롭아웃 레이어: 주로 신경망에 사용되는 드롭아웃은 훈련 중에 뉴런 출력의 일부를 임의로 0으로 설정합니다. 이렇게 하면 뉴런이 과도하게 공동 적응하는 것을 방지하고 네트워크가 더 강력한 기능을 학습하도록 할 수 있습니다. 자세한 내용은 드롭아웃 백서 원본을 참조하세요.
• 조기 중지: 훈련 중에 유효성 검사 세트에서 모델의 성능을 모니터링하고 성능 개선이 멈추면 훈련 프로세스를 중지하여 훈련이 진행됨에 따라 모델이 과적합되는 것을 방지합니다. 이는 모델 훈련 팁에서 설명하는 일반적인 방법입니다.
• 데이터 증강: 기존 데이터에 무작위 변환(회전, 크기 조정, 자르기 등)을 적용하여 학습 데이터의 다양성을 높입니다. 이렇게 하면 모델이 이러한 변형에 더 잘 적응할 수 있습니다. 데이터 증강 기법에 대해 알아보세요.

관련 개념과의 차이점

정규화는 다른 중요한 ML 개념과 구별됩니다:

• 최적화 알고리즘: 경사 하강 또는 아담 최적화 도구와 같은 알고리즘은 학습 중에 손실 함수를 최소화하고 모델 매개변수를 업데이트하는 데 사용됩니다. 정규화는 페널티 항을 추가하여 이 손실 함수를 수정하여 최적화 프로세스를 더 단순한 모델로 안내하지만 최적화 알고리즘 자체는 아닙니다.
• 하이퍼파라미터 조정: 여기에는 모델에 대한 최적의 하이퍼파라미터(예: 학습 속도, 레이어 수)를 찾는 작업이 포함되며, 종종 그리드 검색이나 Ultralytics HUB와 같은 플랫폼에서 제공되는 자동화된 방법과 같은 기술을 사용합니다. 정규화의 강도(예: L1/L2의 페널티 계수)는 그 자체로 튜닝이 필요한 하이퍼파라미터이지만, 정규화는 적용되는 기술이고 하이퍼파라미터 튜닝은 다른 파라미터와 함께 그 강도를 설정하는 프로세스입니다.

실제 애플리케이션

정규화 기술은 많은 AI 애플리케이션의 실질적인 성공을 위해 필수적입니다: