프롬프트 튜닝은 특정 작업에 맞게 사전 학습된 모델을 조정하고 최적화하는 데 사용되는 기술로, 주로 작업별 프롬프트와 관련된 작은 매개변수 세트만 미세 조정합니다. 이 접근 방식은 전체 모델을 재학습하는 기존의 미세 조정 방법에 비해 계산 비용과 스토리지 요구 사항을 줄여줍니다. 프롬프트 튜닝은 자연어 처리(NLP) 및 컴퓨터 비전(CV)과 같은 영역에서 특히 효과적이며, 사용자는 다양한 애플리케이션에 대해 사전 학습된 대규모 모델의 성능을 활용할 수 있습니다.
프롬프트 튜닝은 모델의 핵심 아키텍처나 가중치를 변경하는 대신 사전 학습된 모델에 제공되는 입력 프롬프트나 임베딩을 수정합니다. 입력 데이터에 작업별 정보나 매개변수를 추가함으로써 모델이 새로운 작업에 맞게 예측을 조정하도록 안내할 수 있습니다. 이 방법은 전체 네트워크를 재학습하는 데 계산 비용이 많이 드는 GPT-4나 비전 트랜스포머(ViT)와 같은 대규모 모델로 작업할 때 특히 유용합니다.
관련 기술에 대해 자세히 알아보려면 프롬프트 튜닝과 유사하지만 어댑터 및 낮은 순위 적응과 같은 더 광범위한 전략을 포함하는 매개변수 효율적 미세 조정(PEFT)을 살펴보세요.
프롬프트 튜닝은 다양한 산업 분야에서 도메인별 문제를 해결하기 위해 성공적으로 적용되어 왔습니다. 다음은 주목할 만한 두 가지 예입니다:
업무별 프롬프트를 통해 GPT와 같은 대규모 언어 모델을 미세 조정함으로써 기업은 리뷰나 소셜 미디어 게시물에서 고객의 감정을 분석할 수 있습니다. 예를 들어, 모델에 피드백을 긍정, 중립, 부정으로 분류하라는 메시지를 표시하여 고객 서비스 워크플로를 개선할 수 있습니다.
의료 영상에서 프롬프트 튜닝은 종양 감지 또는 장기 분할과 같은 특정 작업에 대해 Segment Anything Model(SAM )과 같이 사전 학습된 모델을 조정하는 데 도움이 될 수 있습니다. 의료진은 작업별 프롬프트만 사용자 지정하면 전체 모델을 다시 학습시키지 않고도 정확한 결과를 얻을 수 있습니다.
프롬프트 튜닝은 미세 조정 및 제로 샷 학습과 같은 다른 방법과 유사하지만, 고유한 이점을 제공합니다:
여러 프레임워크가 NLP 및 CV 작업에 대한 신속한 튜닝을 지원하므로 연구자와 개발자가 액세스할 수 있습니다:
프롬프트 튜닝은 모델이 점점 더 커지고 복잡해짐에 따라 관련성이 더욱 높아질 것입니다. 멀티모달 학습과 기초 모델이 부상함에 따라 프롬프트 튜닝은 작업별 적응을 위한 확장 가능한 솔루션을 제공합니다. 또한, 특히 의료 및 제조와 같은 분야의 실제 애플리케이션에서 AI의 접근성과 효율성을 높이려는 업계의 변화와도 맞닿아 있습니다.
관련 개념과 애플리케이션에 대해 자세히 알아보려면 AI 및 컴퓨터 비전 용어집을 참조하세요.
