자기 주의는 인공 지능(AI)의 메커니즘으로, 모델이 예측을 할 때 입력 시퀀스의 여러 부분의 중요도를 평가할 수 있게 해줍니다. 데이터를 순차적으로 처리하는 기존 방식과 달리 자기 주의를 통해 모델은 전체 입력을 한 번에 고려할 수 있으며, 시퀀스에서 서로의 거리에 관계없이 모든 요소 간의 관계를 파악할 수 있습니다. 이 기능은 자연어 처리(NLP) 및 점점 더 많은 컴퓨터 비전 작업에서 모델의 성능을 크게 향상시켰습니다. 이를 통해 AI 모델은 문맥을 더 효과적으로 이해할 수 있어 기계 번역, 텍스트 요약, 이미지 인식과 같은 작업의 개선으로 이어집니다.
자기 주의는 입력 시퀀스의 각 요소를 자신을 포함한 다른 모든 요소와 비교하여 관계를 결정하는 방식으로 작동합니다. 이 과정에는 각 요소와 서로의 관련성을 나타내는 주의력 점수를 계산하는 작업이 포함됩니다. 그런 다음 이 점수를 사용하여 입력의 가중치 표현을 생성하고, 각 요소는 시퀀스의 모든 요소의 조합으로 표현되며, 관심도 점수에 따라 가중치가 조정됩니다. 이 메커니즘을 통해 모델은 각 요소를 처리할 때 입력의 가장 관련성이 높은 부분에 집중할 수 있으므로 데이터의 복잡한 패턴을 이해하고 생성하는 능력이 크게 향상됩니다. 주의 메커니즘의 작동 방식에 대해 더 자세히 알아보려면 주의 메커니즘 용어집 페이지를 참조하세요.
특히 이 메커니즘에 크게 의존하는 트랜스포머 모델의 등장으로 자기 주의는 현대 AI의 초석이 되었습니다. Vaswani 등의 논문'주의만 있으면 충분하다'에서 소개된 트랜스포머 아키텍처는 모델이 전체 시퀀스를 병렬로 처리할 수 있게 하여 학습 효율과 성능을 크게 향상시킴으로써 NLP에 혁신을 일으켰습니다. 셀프 어텐션은 장거리 종속성을 포착할 수 있기 때문에 대규모 입력 공간에서 컨텍스트를 이해해야 하는 작업에 특히 유용합니다. 이는 데이터를 순차적으로 처리하고 종종 장기적인 종속성으로 인해 어려움을 겪는 순환 신경망(RNN)과 같은 기존 모델에 비해 상당한 이점입니다.
NLP에서 자기 주의는 다양한 작업에서 새로운 벤치마크를 설정한 BERT(Bidirectional Encoder Representations from Transformers ) 및 GPT(Generative Pre-trained Transformer)와 같은 고급 모델을 개발하는 데 중요한 역할을 해왔습니다. 예를 들어, 기계 번역에서 자기 주의를 기울이면 모델이 각 단어를 번역할 때 전체 원문을 고려하여 보다 정확하고 문맥에 적합한 번역을 할 수 있습니다. 마찬가지로, 텍스트 요약에서는 모델이 문서에서 가장 중요한 문장이나 구를 식별하고 집중할 수 있도록 도와줍니다. 자연어 처리(NLP)에 대해 자세히 알아보세요.
처음에는 NLP에서 대중화되었지만, 셀프 어텐션은 컴퓨터 비전 분야에서도 크게 발전하고 있습니다. 이미지 패치를 시퀀스 요소로 취급하는 자기주의 메커니즘은 모델이 이미지의 여러 부분 간의 관계를 포착하여 이미지 분류 및 객체 감지와 같은 작업의 성능을 향상시킬 수 있게 해줍니다. 예를 들어, 객체 감지에서 셀프 어텐션은 모델이 더 넓은 장면 내에서 객체의 맥락을 이해하는 데 도움을 주어 더 정확한 감지로 이어질 수 있습니다. Ultralytics YOLO 객체 감지의 효율성과 정확성으로 잘 알려진 모델은 기능을 더욱 향상시키기 위해 셀프 어텐션 메커니즘의 통합을 모색하고 있습니다. 컴퓨터 비전(CV)에 대해 자세히 알아보세요.
일반적으로 입력 시퀀스와 출력 시퀀스 사이의 관계에 초점을 맞추는 기존의 주의 메커니즘에 비해, 자기 주의는 입력 시퀀스 자체 내의 관계에 초점을 맞춥니다. 이러한 차이는 입력의 내부 구조와 맥락을 이해하는 것이 필수적인 작업에 매우 중요합니다. 또한 RNN 및 CNN(Convolutional Neural Network)과 달리 자기 주의는 입력의 모든 요소를 병렬로 처리할 수 있으므로 훈련 시간이 단축되고 긴 시퀀스를 더 효과적으로 처리할 수 있습니다.
자기 주의 메커니즘의 개발과 개선은 AI 분야에서 계속해서 활발히 연구되고 있는 분야입니다. 이 분야의 혁신은 AI 모델의 기능을 더욱 향상시켜 기존 애플리케이션의 개선과 새로운 애플리케이션의 개발로 이어질 것으로 기대됩니다. 기술이 성숙함에 따라 물체 감지를 위해 Ultralytics YOLO 에 사용된 모델을 포함하여 더 광범위한 AI 모델에 자기 주의를 통합하면 이 분야에서 상당한 발전을 가져올 것으로 예상됩니다. Ultralytics 블로그에서 AI의 최신 동향과 발전에 대한 최신 정보를 확인할 수 있습니다.
이러한 고급 모델이 어떻게 학습되고 배포되는지 자세히 알아보려면 원활한 모델 학습 및 배포를 위한 도구와 리소스를 제공하는 Ultralytics HUB 페이지를 방문하세요.
%25202.png)
%202.png)
