딥 러닝에서 자기 주의(self-attention)의 기본 원리를 탐구하세요. 쿼리(Query), 키(Key), 값(Value) 벡터가 트랜스포머(Transformers)와 Ultralytics (Ultralytics YOLO26)을 어떻게 구동하여 우수한 AI 성능을 구현하는지 알아보세요.
자기 주의(Self-attention)는 딥 러닝의 기초 메커니즘으로, 모델이 입력 시퀀스 내 서로 다른 요소들의 상대적 중요도를 가중치 부여할 수 있게 합니다. 데이터를 순차적으로 처리하거나 국소적 영역에만 집중하는 기존 아키텍처와 달리, 자기 주의는 신경망이 전체 문맥을 동시에 검토할 수 있도록 합니다. 이러한 능력은 시스템이 문장 내 단어 간, 이미지 내 서로 다른 영역 간과 같이 데이터의 멀리 떨어진 부분들 사이의 복잡한 관계를 식별하는 데 도움을 줍니다. 이는 생성형 AI와 현대적 인지 시스템 분야에서 엄청난 발전을 주도한 트랜스포머 아키텍처의 핵심 구성 요소 역할을 합니다.
이 메커니즘은 각 입력 특징에 가중치(흔히 "주의 점수"라 함)를 할당함으로써 인지적 집중을 모방합니다. 이러한 점수를 계산하기 위해 모델은 입력 데이터(일반적으로 임베딩으로표현됨)를 세 가지 별개의 벡터로 변환합니다: 쿼리( Query), 키( Key), 값( Value).
이 모델은 하나의 요소에 대한 쿼리를 다른 모든 요소의 키와 비교하여 호환성을 판단합니다. 이러한 호환성 점수는 소프트맥스 함수를 사용하여 정규화되어 확률과 유사한 가중치를 생성합니다. 이 가중치는 값에 적용되어 풍부한 맥락을 지닌 표현을 생성합니다. 이 프로세스를 통해 대규모 언어 모델(LLM) 과 비전 시스템은 중요한 정보를 우선순위로 처리하면서 잡음을 걸러낼 수 있습니다.
자기 주의의 다용도성은 인공지능(AI)의 다양한 영역에 걸쳐 그것이 널리 채택되도록 이끌었습니다.
비슷한 개념들과 함께 논의되곤 하지만, 이 용어들은 각각 명확한 기술적 정의를 지닙니다:
다음 Python 코드 Python 사용 방법을 보여줍니다. RTDETR, 트랜스포머 기반 객체 탐지기로서 포함된
in the ultralytics 패키지. 표준 컨볼루션 네트워크와 달리, 이 모델은 시각적 특징 처리에
자기 주의(self-attention)에 크게 의존합니다.
from ultralytics import RTDETR
# Load the RT-DETR model which utilizes self-attention for detection
model = RTDETR("rtdetr-l.pt")
# Perform inference on an image to detect objects with global context
# Self-attention helps the model understand relationships between distant objects
results = model("https://ultralytics.com/images/bus.jpg")
# Print the number of objects detected
print(f"Detected {len(results[0].boxes)} objects using Transformer attention.")
자기 주의 메커니즘은 기존 재귀 신경망(RNN)의 성장을 저해하던 소실 기울기 문제를 효과적으로 해결하여 대규모 기초 모델 훈련을 가능케 했습니다. 표준 자기 주의는 매우 효과적이지만, 계산 비용이 시퀀스 길이에 따라 이차적으로 증가합니다. 이를 해결하기 위해 현재 연구는 효율적인 선형 주의 메커니즘에 집중하고 있습니다.
Ultralytics 이러한 발전을 YOLO26과 같은 최첨단 모델에 Ultralytics . 이 모델은 CNN의 속도와 어텐션의 문맥적 능력을 결합하여 우수한 실시간 추론을 제공합니다. 이러한 최적화된 모델은 Ultralytics 통해 쉽게 훈련 및 배포될 수 있어, 차세대 지능형 애플리케이션을 구축하는 개발자의 워크플로를 간소화합니다.
.webp)