일반화를 개선하고 과신을 줄이는 검증된 기술인 라벨 평활화로 AI 모델의 정확도와 견고성을 향상하세요.
라벨 평활화는 머신 러닝, 특히 분류 작업에서 모델 일반화 및 보정을 개선하기 위해 사용되는 정규화 기법입니다. 이는 학습 중에 사용되는 대상 레이블을 수정하여 딱딱하게 인코딩된 레이블을 부드럽게 만들어 예측에 대한 과도한 신뢰를 줄이고 모델의 분류에 대한 확신을 낮추는 방식으로 작동합니다.
기존의 분류 작업에서 대상 레이블은 종종 원핫 인코딩을 사용해 표현됩니다. 예를 들어 이미지가 '고양이' 클래스에 속하는 경우 레이블은 다음과 같습니다. [0, 1, 0, 0] 의 네 가지 클래스(개, 고양이, 새, 물고기)에 대해 '고양이' 클래스는 최대 신뢰도(1.0)를 나타내고 다른 모든 클래스는 0.0의 신뢰도를 나타냅니다. 라벨 평활화는 올바른 클래스에서 잘못된 클래스로 소량의 확률 질량을 분배하여 이를 변경합니다. 대상 대신 [0, 1, 0, 0]레이블 평활화를 사용하면 다음과 같이 변경될 수 있습니다. [0.01, 0.9, 0.03, 0.06]. 이 조정된 타겟은 이미지가 실제로 '고양이'이지만 다른 것일 가능성이 약간 있음을 나타냅니다.
사소해 보이는 이 조정은 모델의 학습 방식에 큰 영향을 미칩니다. 라벨 평활화는 학습 중에 모델이 단일 클래스에 대해 지나치게 확신하는 것을 방지함으로써 보다 강력하고 일반화 가능한 특징을 학습하도록 장려합니다. 기본적으로 모델에 학습 데이터에도 불확실성이나 노이즈가 있을 수 있으며, 학습 데이터를 너무 완벽하게 맞추면 과적합으로 이어질 수 있음을 알려줍니다.
라벨 평활화의 주요 이점은 향상된 모델 일반화입니다. 표준 원핫 인코딩으로 훈련된 모델은 특히 훈련 데이터에 대한 예측을 지나치게 확신하게 될 수 있습니다. 이러한 과신은 모델이 불확실성이나 입력의 미세한 변화를 처리하는 방법을 학습하지 않았기 때문에 보이지 않는 데이터에 대한 성능 저하로 이어질 수 있습니다.
라벨 평활화는 과신한 예측에 불이익을 주는 일종의 정규화 역할을 합니다. 이는 모델의 변별력을 낮추고 보정을 강화하여 예측 확률이 실제 클래스가 맞을 가능성을 더 잘 반영하도록 유도합니다. 이는 특히 데이터가 훈련 데이터 세트보다 노이즈가 많고 완벽하지 않은 경우가 많은 실제 애플리케이션에서 정확도와 신뢰도를 향상시키는 결과를 가져옵니다.
또한, 라벨 평활화는 모델이 학습 데이터를 암기하는 것을 방지하고 대신 더 의미 있는 표현을 학습하는 데 도움이 될 수 있습니다. 이를 통해 데이터 세트의 노이즈가 많은 레이블에 덜 민감하고 보다 안정적으로 학습 프로세스를 진행할 수 있습니다.
라벨 평활화는 AI와 머신러닝의 다양한 영역에 성공적으로 적용되었습니다. 다음은 몇 가지 예시입니다:
이미지 분류: Ultralytics YOLO 모델을 사용한 이미지 분류에서 라벨 평활화는 분류기의 견고성을 향상시키는 데 사용할 수 있습니다. 예를 들어, ImageNet에서 모델을 훈련할 때 라벨 평활화를 적용하면 유효성 검사 정확도가 작지만 크게 향상될 수 있습니다. 이는 진단을 위해 정확하고 잘 보정된 확률 추정치가 중요한 의료 이미지 분석과 같은 시나리오에서 특히 유용합니다.
자연어 처리(NLP): 레이블 평활화는 기계 번역 및 언어 모델링과 같은 NLP 작업에도 유용합니다. 예를 들어, GPT-3 또는 GPT-4와 같은 대규모 언어 모델을 학습할 때 레이블 평활화는 새로운 문장과 문맥으로 일반화하는 모델의 능력을 향상시킬 수 있습니다. 또한 모델이 지나치게 결정론적인 단어 예측을 하지 않도록 함으로써 생성된 텍스트의 유창성과 일관성을 향상시킬 수 있습니다. 프롬프트 엔지니어링과 같은 기술은 라벨 평활화를 통한 향상된 보정을 더욱 활용하여 보다 신뢰할 수 있고 문맥을 인식하는 텍스트 출력을 생성할 수 있습니다.
레이블 평활화를 학습 프로세스에 통합함으로써 개발자는 특히 다음과 같은 강력한 모델을 사용할 때 실제 시나리오에서 더 나은 성능을 발휘하는 보다 안정적이고 강력한 AI 모델을 구축할 수 있습니다. Ultralytics YOLOv8 과 같은 강력한 모델을 사용할 때 특히 그렇습니다.
