컨텍스트 창

자연어 처리(NLP)의 컨텍스트 창

컨텍스트 창은 자연어 처리(NLP)의 기본 개념입니다. BERT 및 GPT와 같은 아키텍처의 기반이 되는 트랜스포머와 같은 모델은 컨텍스트 윈도우에 크게 의존합니다. 이러한 모델에서 컨텍스트 창은 특정 토큰을 처리할 때 고려되는 선행 토큰 (단어 또는 하위 단어)의 수를 결정합니다. 컨텍스트 창이 클수록 모델은 텍스트에서 더 긴 범위의 종속성을 이해할 수 있으므로 OpenAI의 GPT-4와 같은 고급 모델에서 볼 수 있듯이 보다 일관성 있고 맥락을 인식하는 출력을 얻을 수 있습니다. 그러나 창이 크면 학습 및 추론 중에 계산 부하와 메모리 사용량도 증가합니다.

비전 AI의 컨텍스트 창

컨텍스트 윈도우의 개념은 NLP에서 가장 많이 논의되지만, 특히 비디오 스트림이나 이미지 시퀀스를 분석할 때 컴퓨터 비전(CV)에도 적용할 수 있습니다. 예를 들어, 객체 추적에서 모델은 여러 프레임의 연속된 컨텍스트 창을 사용하여 객체의 궤적을 더 잘 예측하고 오클루전을 처리할 수 있습니다. 이러한 시간적 컨텍스트는 추적 일관성을 유지하는 데 도움이 됩니다. 주로 실시간 객체 감지로 알려진 Ultralytics YOLO 모델을 비디오 분석과 같은 작업에 컨텍스트 창을 활용하는 시스템에 통합하여 단일 프레임 처리 이상의 기능을 향상시킬 수 있습니다. 고급 비전 애플리케이션의 예는 Ultralytics 솔루션을 살펴보세요.

실제 AI/ML 애플리케이션의 컨텍스트 창 예시

• 챗봇 및 가상 비서: 챗봇과 가상 비서와 같은 시스템은 컨텍스트 창을 사용하여 대화의 마지막 몇 차례를 기억합니다. 이를 통해 후속 질문을 이해하고 관련 답변을 제공함으로써 보다 자연스러운 상호작용을 만들어낼 수 있습니다. 충분한 컨텍스트가 없으면 어시스턴트가 각 쿼리를 독립적으로 처리하여 대화가 단절될 수 있습니다. AI 모델 구축 및 배포를 위해 Ultralytics HUB와 같은 플랫폼을 살펴볼 수 있습니다.
• 예측 텍스트 및 자동 완성: 휴대폰에 입력하거나 검색 엔진을 사용하면 예측 텍스트 알고리즘이 최근에 입력한 단어의 문맥 창을 분석하여 다음 단어를 제안하거나 구문을 완성합니다. 이는 방대한 양의 텍스트 데이터에서 학습한 통계 패턴을 기반으로 하며, 바로 앞의 문맥을 고려하여 연속될 가능성이 높은 단어를 제안합니다. 다음과 같은 프레임워크 PyTorch 및 TensorFlow 와 같은 프레임워크가 이러한 모델을 구축하는 데 자주 사용됩니다.

컨텍스트 창과 기타 관련 용어

• 컨텍스트 창과 시퀀스 길이 비교: 시퀀스 길이는 모델에 제공된 전체 입력 시퀀스의 총 토큰 수를 나타냅니다. 그러나 컨텍스트 윈도우는 모델이 특정 요소에 대한 예측을 하기 위해 적극적으로 사용하는 시퀀스의 특정 부분(종종 더 작은 부분)입니다. 예를 들어, 문서의 시퀀스 길이가 1000토큰일 수 있지만 모델은 대상 단어 주변에 128토큰의 컨텍스트 창만 사용할 수 있습니다. Hugging Face 트랜스포머 라이브러리는 시퀀스 및 컨텍스트 창을 처리하기 위한 도구를 제공합니다.
• 컨텍스트 창과 수용 필드 비교: 컨볼루션 신경망(CNN)에서 수용 필드는 특정 뉴런의 활성화에 영향을 미치는 입력 이미지의 공간적 범위를 설명합니다. 두 용어 모두 고려되는 입력 범위와 관련이 있지만, 수용 필드는 CNN의 공간 영역에 한정된 반면, 컨텍스트 창은 일반적으로 순환 신경망(RNN) 및 트랜스포머를 비롯한 다양한 모델 아키텍처에서 시간 또는 텍스트 위치와 같은 순차적 영역을 나타냅니다. 모델 아키텍처에 대한 자세한 내용은 Ultralytics 모델 설명서를 참조하세요.