자기 주의

셀프 어텐션의 작동 방식

자기 주의의 핵심 아이디어는 맥락을 고려하면서 정보의 특정 부분에 집중하는 인간의 능력을 모방하는 것입니다. 예를 들어, 문장을 읽을 때 한 단어의 의미는 그 주변의 단어에 따라 달라지는 경우가 많습니다. 자기 주의는 AI 모델이 입력 시퀀스 내의 모든 요소(예: 단어 또는 이미지 패치) 간의 관계를 평가할 수 있게 해줍니다. 이 모델은 시퀀스의 다른 모든 요소와 비교하여 각 요소에 대한 '주의 점수'를 계산합니다. 이 점수는 특정 요소에 대한 출력 표현을 생성할 때 각 요소가 받아야 할 '주의' 또는 가중치를 결정하여 모델이 컨텍스트와 장거리 의존성을 이해하기 위해 입력의 가장 관련성이 높은 부분에 효과적으로 집중할 수 있도록 합니다. 이 프로세스에는 각 입력 요소에 대한 쿼리, 키 및 값 표현을 생성하는 작업이 포함되며, 종종 입력 임베딩에서 파생됩니다.

주요 이점

셀프 어텐션은 기존 시퀀스 처리 기술에 비해 몇 가지 장점이 있습니다:

• 장거리 종속성 캡처: 로컬 피처에 초점을 맞추는 컨볼루션 신경망(CNN) 이나 사라지는 기울기와 같은 문제로 인해 긴 시퀀스에서 어려움을 겪을 수 있는 순환 신경망(RNN) 과 달리, 자기 주의는 시퀀스에서 멀리 떨어져 있는 요소 간의 관계를 직접 모델링할 수 있습니다.
• 병렬화: 서로 다른 요소에 대한 자체 주의 계산을 병렬로 수행할 수 있어, RNN의 본질적인 순차적 특성에 비해 훈련 및 추론 속도가 크게 빨라집니다. 이러한 효율성은 이미지넷과 같은 대규모 데이터 세트에서 대규모 모델을 훈련하는 데 매우 중요합니다.
• 문맥 이해력 향상: 입력의 모든 부분의 관련성을 평가함으로써 모델은 보다 맥락적으로 풍부한 표현을 생성하여 복잡한 작업의 성능을 향상시킬 수 있습니다.

자기 주의력 대 전통적인 주의력

둘 다 주의 메커니즘의 범주에 속하지만, 자기 주의는 기존의 주의와는 크게 다릅니다. 전통적인 주의는 일반적으로 기계 번역 시 소스 문장의 단어와 목표 문장의 단어의 관계와 같이 서로 다른 두 시퀀스의 요소 간에 주의 점수를 계산합니다. 그러나 자체 주의는 단일 시퀀스 내에서 주의 점수를 계산하여 입력의 요소를 동일한 입력의 다른 요소와 연관시킵니다. 이러한 내부 집중은 입력의 구조와 문맥에 대한 깊은 이해가 필요한 작업에서 효과적인 핵심 요소입니다.

AI 응용 분야

자기 주의는 다양한 영역에 걸친 많은 최첨단 모델의 기본입니다:

• 자연어 처리(NLP): 기계 번역(예: 문장 앞의 전치사를 기반으로 대명사를 올바르게 번역), 텍스트 요약 (가장 중요한 문장 식별), 질문 답변 등의 작업을 위해 BERT 및 GPT-4와 같은 모델을 강화합니다.
• 컴퓨터 비전: 비전 트랜스포머(ViT) 가 글로벌 이미지 컨텍스트를 이해하여 이미지 분류에서 최고의 성능을 달성할 수 있도록 지원합니다. 또한 다음과 같은 물체 감지 모델에도 사용됩니다. RT-DETR 과 같은 객체 감지 모델과 Ultralytics YOLO 제품군(예: YOLO12의 영역 관심)에서도 관련 이미지 영역에 처리를 집중하는 데 사용됩니다. 다른 애플리케이션으로는 이미지 분할 및 의료 이미지 분석이 있습니다.
• 음성 인식: 오디오 시퀀스의 관련 부분에 집중하여 모델의 음성 언어 이해 능력을 향상시킵니다.

향후 방향

플래시어텐션과 희소주의 변형과 같은 방법 등 계산 효율성과 폭넓은 적용 가능성을 목표로 자기 주의 메커니즘을 개선하는 연구가 계속되고 있습니다. AI 모델이 점점 더 복잡해짐에 따라, 자기 주의는 전문 AI 애플리케이션부터 인공 일반 지능(AGI) 추구에 이르기까지 다양한 분야에서 발전을 주도하는 초석 기술로 남을 것으로 예상됩니다. Ultralytics HUB와 같은 도구와 플랫폼은 이러한 고급 기술을 통합한 모델의 훈련과 배포를 용이하게 합니다.