소프트맥스

소프트맥스 작동 방식

소프트맥스 함수는 신경망의 이전 레이어에서 생성된 실수값 점수 벡터에서 작동합니다. 먼저 각 점수를 지수화하여 모든 값을 양수로 만듭니다. 그런 다음 각 점수를 벡터의 모든 지수화된 점수의 합으로 나누어 지수화된 점수를 정규화합니다. 이 정규화 단계를 통해 결과 출력 값이 총체적으로 유효한 확률 분포를 형성하며, 각 값은 입력이 특정 클래스에 속할 확률을 나타내고 모든 확률의 합이 1이 되도록 합니다. 이렇게 하면 의사 결정을 위해 모델의 출력을 쉽게 해석할 수 있습니다.

소프트맥스의 애플리케이션

소프트맥스는 상호 배타적인 여러 카테고리 중 하나에 입력을 할당해야 하는 시나리오에서 없어서는 안 될 필수 요소입니다. 다음은 몇 가지 대표적인 활용 사례입니다:

• 이미지 분류: 다음과 같은 모델에서 Ultralytics YOLO 와 같은 모델에서 분류를 위해 구성된 경우, Softmax는 최종 레이어에서 이미지가 '고양이', '개' 또는 '자동차'와 같은 사전 정의된 클래스에 속할 확률을 결정하기 위해 사용됩니다. 예를 들어, 이미지가 주어졌을 때 Softmax 출력은 ['개', '고양이', '새'] 클래스에 대해 [0.85, 0.10, 0.05]로 이미지에 개가 포함될 확률이 85%임을 나타낼 수 있습니다. 이러한 모델을 훈련하는 데 사용되는 다양한 이미지 분류 데이터 세트를 살펴보세요.
• 자연어 처리(NLP): Softmax는 NLP 작업에 널리 사용됩니다. 감성 분석에서는'긍정', '부정' 또는 '중립'과 같은 감정에 대한 확률을 출력할 수 있습니다. 기계 번역이나 언어 모델링에서는 시퀀스의 다음 단어에 대한 전체 어휘에 대한 확률 분포를 예측합니다. Allen Institute for AI(AI2) 와 같은 리소스는 종종 NLP의 발전에 기여합니다.

소프트맥스와 다른 활성화 기능 비교

소프트맥스를 신경망에 사용되는 다른 활성화 함수와 차별화하는 것이 중요합니다:

• ReLU(정류 선형 단위): ReLU와 그 변형(예: 누수 ReLU)은 주로 네트워크의 숨겨진 계층에 비선형성을 도입하여 모델이 복잡한 패턴을 학습하도록 돕는 데 사용됩니다. 확률 분포를 생성하지 않습니다.
• 시그모이드: 시그모이드 함수는 0과 1 사이의 값을 출력하며, 종종 확률로 해석됩니다. 일반적으로 이진 분류 문제(하나의 출력 노드) 또는 다중 레이블 분류 문제(여러 개의 출력 노드가 각각 독립적으로 처리됨)에 사용됩니다. 소프트맥스와 달리 여러 클래스에 대한 시그모이드 출력은 반드시 1로 합산되지 않습니다.
• 탄(쌍곡탄젠트): 탄은 시그모이드와 유사하지만 -1에서 1 사이의 값을 출력하며, 숨겨진 레이어에서도 비선형성을 도입하는 데 사용됩니다.

모델 평가에서의 역할

Softmax에서 생성된 확률 출력은 분류 모델의 성능을 평가하는 데 필수적입니다. 이러한 확률은 정확도, 정밀도, 리콜 및 F1 점수와 같은 중요한 지표를 계산하는 데 사용됩니다. 이러한 메트릭은 모델의 성능에 대한 인사이트를 제공하여 하이퍼파라미터 튜닝 및 전반적인 모델 평가와 같은 프로세스를 안내합니다. 다음과 같은 프레임워크 PyTorch 와 TensorFlow 와 같은 프레임워크는 Softmax 기능을 효율적으로 구현합니다.

요약하자면, Softmax는 다중 클래스 분류 모델 아키텍처의 핵심 구성 요소로, 컴퓨터 비전에서 NLP에 이르기까지 다양한 AI 분야에서 해석 가능한 확률적 결과를 얻을 수 있게 해줍니다. Softmax를 사용하는 모델의 수명 주기를 관리하기 위해 Ultralytics HUB와 같은 플랫폼은 훈련, 배포 및 모니터링을 위한 도구를 제공합니다.