환각(LLM에서)

환각이 발생하는 이유

트랜스포머와 같은 아키텍처를 기반으로 구축되는 LLM은 근본적으로 확률론적 모델입니다. 학습 과정에서 방대한 양의 텍스트 데이터에서 패턴과 관계를 학습합니다. 하지만 진정한 이해나 의식이 부족합니다. 환각은 여러 가지 요인으로 인해 발생할 수 있습니다:

• 학습 데이터의 한계: 모델이 노이즈가 많거나 편향되거나 불완전한 데이터로 학습되어 그럴듯해 보이지만 잘못된 진술을 생성할 수 있습니다. 학습 데이터의 품질은 출력 신뢰도에 큰 영향을 미칩니다.
• 모델 아키텍처: 시퀀스 예측의 고유한 특성으로 인해 모델은 사실의 정확성보다 유창성을 우선시하게 되고, 때로는 패턴을 완성하기 위해 세부 사항을 '발명'할 수도 있습니다.
• 디코딩 전략: 생성 중 다음 토큰을 선택하는 데 사용되는 방법(예: 욕심 검색 대 빔 검색)은 환각 가능성에 영향을 줄 수 있습니다.
• 근거 부족: 모델은 검색 증강 생성(RAG)과 같은 시스템으로 특별히 설계되지 않는 한 실시간의 검증 가능한 정보에 직접 액세스하거나 외부 지식 기반에서 진술의 근거를 마련하는 메커니즘이 부족한 경우가 많습니다.
• 프롬프트 모호성: 모호하거나 잘못 구성된 프롬프트는 모델을 의도하지 않은 생성 경로로 이끌 수 있습니다. 효과적인 프롬프트 엔지니어링이 핵심입니다.

실제 사례 및 영향

환각은 다양한 방식으로 나타날 수 있으며, 잘못된 정보를 퍼뜨리거나 사용자 신뢰를 약화시키는 등의 위험을 초래할 수 있습니다.

1. 허구의 법적 인용: 널리 보도된 사건에서 변호사는 법률 조사에 챗봇을 사용하여 완전히 조작된 판례 인용을 생성하여 법원 제출 서류에 제출했습니다. 이 사건은 중요한 정보를 검증 없이 법률 지식에 의존하는 것의 위험성을 강조합니다.
2. 발명된 전기: 잘 알려지지 않은 개인의 약력을 작성해 달라는 요청을 받은 LLM은 실제 사실과 그럴듯하지만 사실이 아닌 내용을 섞어 그 사람의 삶, 교육 또는 업적에 대한 세부 사항을 지어낼 수 있습니다. 이는 저널리즘이나 학술 연구와 같은 분야에서 특히 문제가 될 수 있습니다.

이러한 영향은 단순한 오류를 넘어 검색 엔진, 가상 비서, 콘텐츠 제작 도구에 통합되는 AI 시스템의 신뢰성에까지 영향을 미칩니다. 이러한 문제를 해결하는 것이 AI 윤리 및 안전의 핵심 과제입니다.

환각 구별하기

환각을 다른 유형의 오류와 구별하는 것이 중요합니다:

• 편향: 환각은 학습 데이터에서 학습된 체계적인 편향(예: 고정관념의 지속)을 반영하는 AI의 편향과는 구별됩니다. 환각은 더 무작위적이고 무의미한 조작인 경우가 많습니다.
• 단순 오류: 모델이 학습 세트의 오래된 정보를 기반으로 사실 오류를 일으킬 수 있습니다. 그러나 환각은 학습 데이터에 존재하지 않았던 정보를 생성하는 것을 포함합니다.
• 과적합: 과적합은 모델이 학습 데이터를 너무 잘 학습하여 일반화에 실패하는 반면, 환각은 새롭고 잘못된 콘텐츠를 생성하는 데 더 가깝습니다.

완화 전략

연구자와 엔지니어들은 LLM 환각을 줄이기 위한 방법을 적극적으로 개발하고 있습니다:

• 학습 데이터 개선: 고품질의 다양하고 사실적으로 정확한 데이터 세트 큐레이션.
• 검색 증강 세대(RAG): 외부 지식 소스를 통합하여 검증 가능한 사실에 근거한 응답을 제공합니다. LangChain과 같은 도구를 통해 RAG가 실제로 어떻게 작동하는지 알아보세요.
• 미세 조정: 미세 조정: 미세 조정 또는 매개변수 효율적 미세 조정(PEFT)과 같은 기술을 사용하여 특정 고품질 데이터 세트에 사전 학습된 모델을 적용합니다.
• 프롬프트 엔지니어링: 모델이 사실적이고 상황에 맞는 답변을 찾도록 안내하는 프롬프트를 디자인합니다.
• 사실 확인 계층: 신뢰할 수 있는 출처에 대해 생성된 클레임을 검증하는 사후 처리 단계를 구현합니다.
• 신뢰도 점수: 모델의 진술에 대한 신뢰 수준을 출력하도록 모델을 훈련시키는 것인데, 이는 여전히 어려운 작업입니다. 설명 가능한 AI(XAI) 와 관련된 기술은 모델의 확실성을 이해하는 데 도움이 될 수 있습니다.

간단한 챗봇부터 머신러닝 워크플로와 자연어 처리(NLP) 작업에 사용되는 복잡한 도구에 이르기까지 다양한 애플리케이션에 안전하게 통합할 수 있는 신뢰할 수 있는 AI 시스템을 구축하려면 환각을 이해하고 완화하는 것이 필수적입니다. 이러한 지속적인 노력에는 모델 관리 및 평가를 용이하게 하는 Ultralytics HUB와 같은 플랫폼을 포함한 지속적인 연구와 개발이 필수적입니다.