언어 모델링

언어 모델링의 작동 방식

언어 모델의 핵심은 일련의 단어에 확률을 할당하는 것입니다. 초기 접근 방식은 앞의 'n-1' 단어를 기반으로 한 단어의 확률을 계산하는 n-그램과 같은 통계적 방법에 의존했습니다. 이러한 모델은 간단하지만 텍스트의 장거리 종속성을 포착하는 데 어려움을 겪습니다. 최신 언어 모델링은 신경망(NN), 특히 순환 신경망(RNN) 및 최근에는 트랜스포머와 같은 아키텍처를 많이 활용합니다. "주의만 있으면 됩니다 " 백서에서 소개된 트랜스포머는 자기 주의와 같은 메커니즘을 사용하여 거리에 관계없이 시퀀스 내 여러 단어의 중요도를 평가하여 문맥을 훨씬 더 잘 이해할 수 있도록 합니다. 이러한 모델을 훈련하려면 대규모 텍스트 코퍼스를 처리하고, 토큰화를 통해 텍스트를 세분화하고, 이러한 토큰에 대한 표현(임베딩)을 학습해야 합니다.

관련성 및 응용 분야

언어 모델링은 인간의 언어와 상호 작용하는 많은 AI 애플리케이션을 구동하는 초석 기술입니다. 단어 시퀀스를 예측하고 이해하는 능력은 다양한 영역에서 매우 유용합니다.

실제 애플리케이션에는 다음이 포함됩니다:

• 예측 텍스트 및 자동 완성: 검색 엔진, 이메일 클라이언트, 스마트폰 키보드에서 다음 단어를 제안하거나 문장을 완성하는 기능입니다.
• 기계 번역: Google 번역과 같은 서비스가 대상 언어에서 가장 가능성이 높은 단어 순서를 예측하여 서로 다른 언어 간의 텍스트를 번역할 수 있도록 합니다.
• 음성 인식: 음향 신호를 기반으로 가능한 단어 시퀀스를 예측하여 음성 언어를 텍스트로 변환하는 데 도움을 줍니다.
• 텍스트 생성: 창의적인 글쓰기 도구, 요약, 대화 시스템, OpenAI의 ChatGPT 같은 챗봇의 기초를 형성합니다.
• 감정 분석: 단어 선택과 문맥을 분석하여 텍스트의 기본 감정(긍정, 부정, 중립)을 이해하는 데 도움을 줍니다.
• 문법 교정: 텍스트의 문법 오류를 식별하고 수정을 제안합니다.

관련 개념

언어 모델링을 이해하려면 관련 용어에 익숙해져야 합니다:

• 자연어 처리(NLP): 언어 모델링은 광범위한 NLP 영역의 하위 분야로, NER(Named Entity Recognition), 품사 태깅, 질문 답변과 같은 다양한 작업을 포괄합니다. 많은 NLP 작업이 언어 모델을 활용합니다.
• 대규모 언어 모델(LLM): GPT-4와 같은 고급 언어 모델로, 방대한 크기(수십억 개의 매개변수)와 방대한 데이터 세트(빅 데이터)에 대한 학습이 특징입니다. LLM은 복잡한 작업을 위해 사람과 유사한 텍스트를 이해하고 생성하는 데 뛰어난 능력을 발휘합니다. 다음과 같은 플랫폼을 통해 사전 훈련된 많은 LLM을 사용할 수 있습니다. Hugging Face.
• 텍스트 생성: 텍스트 생성은 언어 모델링과 밀접한 관련이 있지만, 언어 모델링의 응용 분야입니다. 언어 모델은 단어 시퀀스에 대한 확률을 제공하며, 생성 프로세스는 이러한 확률을 사용하여(종종 샘플링 전략과 함께) 새로운 텍스트를 생성합니다.
• 다중 모달 모델: 이러한 모델은 언어 이해를 컴퓨터 비전(CV)의 이미지와 같은 다른 데이터 유형과 통합합니다. CLIP과 같은 모델은 텍스트와 이미지의 공동 표현을 학습하여 이미지 캡션이나 시각적 질문에 대한 답변과 같은 작업을 가능하게 합니다. 잠재적으로 언어 기능을 통합하는 모델을 포함하여 다양한 AI 모델을 관리하고 배포할 수 있는 도구는 Ultralytics HUB를 살펴보세요.