검색 증강 생성(RAG)은 대규모 언어 모델(LLM)이 생성하는 응답의 품질과 신뢰성을 향상시키기 위해 고안된 인공 지능(AI) 의 고급 기술입니다. 이는 LLM의 생성 기능과 정보 검색 시스템을 결합하여 작동합니다. RAG 시스템은 응답을 생성하기 전에 먼저 사전 정의된 지식 소스(예: 회사의 내부 문서, 특정 데이터베이스 또는 웹)에서 관련 정보 스니펫을 검색합니다. 이렇게 검색된 컨텍스트는 원래 사용자 쿼리와 함께 LLM에 제공되어 모델이 보다 정확하고 최신이며 사실 데이터에 기반한 답변을 생성할 수 있도록 함으로써 환각과 같은 문제를 완화할 수 있습니다.
검색 증강 생성의 작동 방식
RAG 프로세스에는 일반적으로 두 가지 주요 단계가 포함됩니다:
- 검색: 사용자가 프롬프트 또는 쿼리를 제공하면 시스템은 먼저 이 입력을 사용하여 대규모 문서 모음 또는 벡터 데이터베이스를 검색합니다. 이 검색은 검색어와 관련된 정보가 포함된 텍스트 세그먼트나 문서를 찾는 것을 목표로 합니다. 시맨틱 검색과 같은 기술은 키워드 일치뿐만 아니라 문맥적으로 유사한 정보를 찾기 위해 자주 사용됩니다.
- 생성: 첫 번째 단계에서 검색된 관련 정보가 원래의 사용자 프롬프트와 결합됩니다. 이제 특정 컨텍스트가 추가된 이 증강된 프롬프트는 LLM으로 전달됩니다. LLM은 원래 쿼리와 제공된 컨텍스트를 모두 사용하여 사실에 근거한 종합적인 답변을 합성합니다. 이 프로세스는 지식 집약적 NLP 작업을 위한 검색 증강 생성에 관한 논문과 같은 연구에서 공식적으로 소개되었습니다.
혜택 및 활용
RAG는 표준 LLM만 사용하는 것보다 몇 가지 장점이 있습니다:
- 정확도 향상: RAG는 외부 데이터에 응답의 근거를 둠으로써 LLM이 부정확하거나 조작된 정보를 생성할 가능성을 줄입니다.
- 최신 정보에 액세스: RAG 시스템은 지식 기반에 저장된 최신 정보에 액세스할 수 있어 마지막 교육 시점에 지식이 고정되어 있는 LLM의 한계를 극복할 수 있습니다.
- 도메인별 지식: LLM은 특정 기술 문서나 데이터베이스에서 정보를 검색하여 전문 도메인에서 전문가 수준의 답변을 제공할 수 있습니다.
- 투명성과 신뢰: RAG 시스템은 종종 생성에 사용된 출처를 인용할 수 있어 사용자의 신뢰를 높이고 AI 윤리에 중요한 사실 확인을 가능하게 합니다.
실제 사례:
- 기업 지식 관리: 기업에서는 RAG를 사용하여 내부 정책, 기술 매뉴얼, SharePoint 또는 전용 지식 베이스와 같은 플랫폼에 저장된 보고서에서 정보를 검색하여 직원의 질문에 정확하게 답변할 수 있는 내부 챗봇을 구축할 수 있습니다.
- 고객 지원 자동화: 고객 서비스 플랫폼은 RAG를 활용하여 FAQ, 제품 설명서 및 과거 지원 티켓의 관련 정보를 지원 상담원이나 챗봇에게 제공함으로써 보다 빠르고 정확하게 고객 문의를 해결할 수 있습니다. Zendesk와 같은 툴이 이러한 기능을 통합하고 있습니다.
RAG와 관련 개념
- RAG와 표준 LLM 비교: 표준 LLM은 학습 중에 학습한 패턴만을 기반으로 응답을 생성합니다. RAG는 추론 시 외부 정보를 동적으로 통합하여 이를 개선하여 보다 사실적이고 맥락에 맞는 결과를 도출합니다.
- RAG 대 미세 조정: 미세 조정은 더 작고 전문화된 데이터 세트에서 학습 프로세스를 계속 진행하여 사전 학습된 모델을 특정 작업이나 도메인에 맞게 조정하는 것입니다. 효과적이기는 하지만 지식을 업데이트하려면 상당한 계산 리소스와 재교육이 필요합니다. RAG를 사용하면 LLM을 재학습하지 않고도 외부 데이터 소스를 간단히 수정하여 지식을 업데이트할 수 있으므로 빠르게 변화하는 정보에 더욱 유연하게 대응할 수 있습니다. RAG와 미세 조정을 함께 사용할 수도 있습니다.
- RAG 대 프롬프트 엔지니어링: 프롬프트 엔지니어링은 LLM의 응답을 유도하기 위해 입력 프롬프트를 신중하게 제작하는 작업을 포함합니다. RAG는 외부 소스에서 관련 컨텍스트를 검색하여 프롬프트 내에서 관련 컨텍스트를 제공하는 프로세스를 자동화합니다. LangChain 및 LlamaIndex와 같은 프레임워크는 RAG 파이프라인을 구축하기 위한 도구를 제공합니다.
RAG는 LLM의 방대한 생성 능력과 사실 정확도에 대한 필요성 사이의 간극을 메워 보다 지식이 풍부하고 신뢰할 수 있는 AI 시스템을 만들기 위한 중요한 발걸음을 내디뎠습니다. 이 개념은 종종 텍스트와 연관되어 있지만, 잠재적으로 다음과 같은 모델을 증강하는 데까지 확장될 수 있습니다. Ultralytics YOLO 와 같은 모델을 증강하는 데까지 확장될 수 있지만, 이는 아직 컴퓨터 비전 분야에서 새롭게 떠오르는 연구 분야입니다. Ultralytics HUB와 같은 플랫폼은 미래의 멀티모달 RAG 애플리케이션에서 잠재적으로 지식 소스로 사용될 수 있는 모델과 데이터 세트를 쉽게 관리할 수 있게 해줍니다. 사용 가능한 데이터 세트를 탐색하면 유용할 수 있는 구조화된 정보에 대한 인사이트를 얻을 수 있습니다.
KO
EN
ZH
JA
RU
DE
FR
ES
PT
IT
AR
TR
VI
