용어집

자기 주의

문맥을 인식하는 정확성으로 NLP, 컴퓨터 비전 및 음성 인식에 혁신을 가져오는 AI의 셀프 어텐션 기능을 알아보세요.

YOLO 모델을 Ultralytics HUB로 간단히
훈련

자세히 알아보기

자기 주의는 현대 인공 지능(AI)의 중추적인 메커니즘으로, 특히 영향력 있는 논문'주의만 있으면 된다'에서 소개된 트랜스포머 아키텍처에서 두드러지게 나타납니다. 이를 통해 모델은 정보를 처리할 때 단일 입력 시퀀스의 여러 부분의 중요도를 평가하여 데이터 자체의 맥락과 관계를 더 깊이 이해할 수 있습니다. 이는 주로 서로 다른 입력 및 출력 시퀀스의 연관성에 초점을 맞추던 이전의 주의 집중 방법과는 대조적입니다. 자연어 처리(NLP) 에 혁신적인 변화를 가져왔으며 컴퓨터 비전(CV)에서도 그 영향력이 점점 더 커지고 있습니다.

셀프 어텐션의 작동 방식

자기 주의의 핵심 아이디어는 맥락을 고려하면서 정보의 특정 부분에 집중하는 인간의 능력을 모방하는 것입니다. 예를 들어, 문장을 읽을 때 한 단어의 의미는 그 주변의 단어에 따라 달라지는 경우가 많습니다. 자기 주의는 AI 모델이 입력 시퀀스 내의 모든 요소(예: 단어 또는 이미지 패치) 간의 관계를 평가할 수 있게 해줍니다. 이 모델은 시퀀스의 다른 모든 요소와 비교하여 각 요소에 대한 '주의 점수'를 계산합니다. 이 점수는 특정 요소에 대한 출력 표현을 생성할 때 각 요소가 받아야 할 '주의' 또는 가중치를 결정하여 모델이 컨텍스트와 장거리 의존성을 이해하기 위해 입력의 가장 관련성이 높은 부분에 효과적으로 집중할 수 있도록 합니다. 이 프로세스에는 각 입력 요소에 대한 쿼리, 키 및 값 표현을 생성하는 작업이 포함되며, 종종 다음과 같은 프레임워크를 사용하여 입력 임베딩에서 파생됩니다. PyTorch 또는 TensorFlow.

주요 이점

자기 주의는 순환 신경망(RNN)컨볼루션 신경망(CNN)의 일부 측면과 같은 오래된 시퀀스 처리 기술에 비해 몇 가지 이점을 제공합니다:

  • 장거리 종속성 포착: 시퀀스에서 멀리 떨어져 있는 요소를 연관시키는 데 탁월하며, RNN에서 흔히 볼 수 있는 소실 그라데이션과 같은 한계를 극복합니다.
  • 병렬화: 모든 요소 쌍 간의 주의도 점수를 동시에 계산할 수 있으므로 GPU와 같은 하드웨어에서 병렬 처리에 매우 적합하며 모델 학습 속도를 크게 높일 수 있습니다.
  • 해석 가능성: 관심도 가중치를 분석하면 모델의 의사 결정 프로세스에 대한 인사이트를 제공하여 설명 가능한 AI(XAI)에 기여할 수 있습니다.
  • 문맥 이해도 향상: 모든 입력 부분의 관련성을 평가함으로써 모델은 문맥을 더 풍부하게 이해하여 추론 중 복잡한 작업에서 더 나은 성능을 발휘할 수 있습니다. 이는 ImageNet과 같은 대규모 데이터 세트에서 평가되는 작업에 매우 중요합니다.

자기 주의력 대 전통적인 주의력

둘 다 주의 메커니즘의 범주에 속하지만, 자기 주의는 기존의 주의와는 크게 다릅니다. 전통적인 주의는 일반적으로 기계 번역 시 소스 문장의 단어와 목표 문장의 단어의 관계(예: English 프랑스어)와 같이 서로 다른 두 시퀀스의 요소 간에 주의 점수를 계산합니다. 그러나 자체 주의는 입력의 요소를 동일한 입력의 다른 요소와 연관시켜 단일 시퀀스 내에서 주의 점수를 계산합니다. 이러한 내부적 초점은 컨볼루션을 통해 로컬 특징에만 초점을 맞추는 방법과 달리 입력의 구조와 문맥에 대한 깊은 이해가 필요한 작업에서 효과적일 수 있는 핵심 요소입니다.

AI 응용 분야

자기 주의는 다양한 영역에 걸친 많은 최첨단 모델의 기본입니다:

  • 자연어 처리(NLP): 다음과 같은 모델을 지원합니다. BERTGPT-4 다음과 같은 조직에서 OpenAI.
    • 예 1(텍스트 요약): 긴 문서를 요약할 때 스스로 주의를 기울이면 모델이 가장 중요한 문장을 식별하고 텍스트의 여러 부분이 주요 주제와 어떤 관련이 있는지 이해하여 SummarizeBot과 같은 도구에서 사용하는 보다 일관되고 유익한 요약을 작성하는 데 도움이 됩니다.
    • 예 2(기계 번역): "고양이는 매트 위에 앉았다. 푹신푹신했다."를 번역할 때 자가 주의를 기울이면 모델이 '매트'가 아닌 '고양이'와 '그것'을 올바르게 연결하여 Google 번역과 같은 서비스에서 볼 수 있듯이 정확한 번역을 보장할 수 있습니다. 이는 언어 모델링에 매우 중요합니다.
  • 컴퓨터 비전: 다음과 같은 아키텍처 비전 트랜스포머(ViT) 이미지 패치에 자체 주의를 적용합니다.
  • 기타 분야: 이미지 분할, 의료 이미지 분석, 음성 인식에도 적용됩니다.

향후 방향

플래시어텐션과 희소주의 변형과 같은 방법 등 계산 효율성과 폭넓은 적용 가능성을 목표로 자기 주의 메커니즘을 개선하는 연구가 계속되고 있습니다. AI 모델이 점점 더 복잡해짐에 따라, 자기 주의는 로봇 공학 같은 전문 AI 애플리케이션부터 인공 일반 지능(AGI) 추구에 이르기까지 다양한 분야에서 발전을 주도하는 초석 기술로 남을 것으로 예상됩니다. 이러한 고급 기술을 통합한 모델의 훈련과 배포를 용이하게 하는 도구와 플랫폼은 다음과 같은 리포지토리를 통해 이용할 수 있는 Ultralytics HUB와 같은 도구와 플랫폼입니다. Hugging Face.

모두 보기