Google의 새로운 비전 언어 모델을 자세히 살펴보세요: 팔리젬마 2. 이 모델은 이미지와 텍스트를 모두 이해하고 분석하는 데 도움이 될 수 있습니다.
2024년 12월 5일, Google 은 최첨단 시각 언어 모델(VLM)의 최신 버전인 PaliGemma 2를 출시했습니다. 팔리젬마 2는 캡션 생성, 시각적 질문에 대한 답변, 영상 속 물체 감지 등 이미지와 텍스트가 결합된 작업을 처리하도록 설계되었습니다.
다국어 캡션 및 객체 인식을 위한 강력한 도구였던 기존 PaliGemma를 기반으로 개발된 PaliGemma 2는 몇 가지 주요 개선 사항을 제공합니다. 여기에는 더 커진 모델 크기, 고해상도 이미지 지원, 복잡한 시각적 작업의 성능 향상 등이 포함됩니다. 이러한 업그레이드를 통해 다양한 용도로 더욱 유연하고 효과적으로 사용할 수 있습니다.
이 글에서는 팔리젬마 2의 작동 방식과 주요 기능, 그리고 팔리젬마 2가 빛을 발하는 애플리케이션에 대해 자세히 살펴보겠습니다. 시작해 보겠습니다!
팔리젬마 2는 두 가지 핵심 기술인 SigLIP 비전 인코더와 젬마 2 언어 모델을 기반으로 구축되었습니다. SigLIP 인코더는 이미지나 동영상과 같은 시각적 데이터를 처리하여 모델이 분석할 수 있는 기능으로 분류합니다. 한편 Gemma 2는 텍스트를 처리하여 모델이 다국어 언어를 이해하고 생성할 수 있도록 지원합니다. 이 두 가지가 함께 시각적 정보와 텍스트 정보를 원활하게 해석하고 연결하도록 설계된 VLM을 구성합니다.
팔리젬마 2의 가장 큰 특징은 확장성과 다용도성입니다. 원래 버전과 달리 PaliGemma 2는 30억 개(3B), 100억 개(10B), 280억 개(28B) 매개변수의 세 가지 크기로 제공됩니다. 이러한 파라미터는 모델의 내부 설정과 같아서 데이터를 효과적으로 학습하고 처리하는 데 도움이 됩니다. 또한 다양한 이미지 해상도(예: 빠른 작업을 위한 224 x 224픽셀, 세부 분석을 위한 896 x 896)를 지원하므로 다양한 애플리케이션에 적용할 수 있습니다.
젬마 2의 고급 언어 기능과 시그립의 이미지 처리 기능을 통합하면 팔리젬마 2는 훨씬 더 지능적으로 작동합니다. 다음과 같은 작업을 처리할 수 있습니다:
팔리젬마 2는 이미지와 텍스트를 개별적으로 처리하는 것을 넘어 의미 있는 방식으로 결합합니다. 예를 들어 "고양이가 테이블 위에 앉아 있다"는 것을 인식하는 것처럼 장면의 관계를 이해하거나, 유명한 랜드마크를 인식하는 것처럼 맥락을 추가하면서 사물을 식별할 수 있습니다.
다음으로, 아래 이미지에 표시된 그래프를 사용한 예제를 통해 PaliGemma 2가 시각 및 텍스트 데이터를 처리하는 방법을 더 잘 이해할 수 있도록 하겠습니다. 이 그래프를 업로드하고 모델에 "이 그래프는 무엇을 나타내나요?"라고 질문한다고 가정해 보겠습니다.
이 프로세스는 이미지를 분석하고 주요 특징을 추출하기 위해 PaliGemma 2의 SigLIP 비전 인코더로 시작됩니다. 그래프의 경우 여기에는 축, 데이터 포인트, 레이블과 같은 요소 식별이 포함됩니다. 이 인코더는 광범위한 패턴과 미세한 디테일을 모두 캡처하도록 훈련되었습니다. 또한 광학 문자 인식(OCR) 을 사용하여 이미지에 포함된 모든 텍스트를 감지하고 처리합니다. 이러한 시각적 특징은 모델이 처리할 수 있는 숫자 표현인 토큰으로 변환됩니다. 그런 다음 이러한 토큰은 텍스트 데이터와 원활하게 결합할 수 있도록 하는 기술인 선형 투영 레이어를 사용하여 조정됩니다.
동시에 Gemma 2 언어 모델은 함께 제공되는 쿼리를 처리하여 그 의미와 의도를 파악합니다. 쿼리의 텍스트는 토큰으로 변환되고, 이 토큰은 SigLIP의 시각적 토큰과 결합되어 시각 및 텍스트 데이터를 연결하는 통합 형식인 멀티모달 표현을 생성합니다.
이 통합 표현을 사용하여 PaliGemma 2는 모델이 이미 처리한 문맥을 기반으로 한 번에 한 부분씩 답변의 일부를 예측하는 방법인 자동 회귀 디코딩을 통해 단계별로 답변을 생성합니다.
이제 작동 원리를 이해했으니, 신뢰할 수 있는 시각 언어 모델인 PaliGemma 2의 주요 기능을 살펴보겠습니다:
PaliGemma의 첫 번째 버전의 아키텍처를 살펴보는 것은 PaliGemma 2의 향상된 기능을 확인하는 좋은 방법입니다. 가장 눈에 띄는 변화 중 하나는 기존 Gemma 언어 모델이 성능과 효율성 모두에서 상당한 개선을 가져온 Gemma 2로 대체되었다는 점입니다.
9B 및 27B 매개변수 크기로 제공되는 Gemma 2는 배포 비용을 절감하면서 동급 최고의 정확도와 속도를 제공하도록 설계되었습니다. 강력한 GPU부터 보다 접근하기 쉬운 구성에 이르기까지 다양한 하드웨어 설정에서 추론 효율성에 최적화된 재설계된 아키텍처를 통해 이를 달성합니다.
그 결과, 팔리젬마 2는 매우 정확한 모델입니다. 팔리젬마 2의 10B 버전은 원래 모델의 34.3점보다 낮은 20.3점의 NES(Non-Entailment Sentence) 점수를 달성하여 출력 결과에서 사실 오류가 적습니다. 이러한 발전 덕분에 PaliGemma 2는 더욱 확장 가능하고 정확하며 상세한 캡션부터 시각적 질문에 대한 답변까지 다양한 애플리케이션에 적용할 수 있게 되었습니다.
팔리젬마 2는 시각과 언어 이해를 매끄럽게 결합하여 산업을 재정의할 수 있는 잠재력을 가지고 있습니다. 예를 들어 접근성과 관련하여 사물, 장면 및 공간 관계에 대한 상세한 설명을 생성하여 시각 장애인에게 중요한 도움을 제공할 수 있습니다. 이 기능은 사용자가 주변 환경을 더 잘 이해할 수 있도록 도와주며, 일상적인 작업에서 독립성을 높일 수 있도록 지원합니다.
팔리젬마 2는 접근성 외에도 다음과 같은 다양한 산업 분야에서 영향력을 발휘하고 있습니다:
팔리젬마 2를 사용해 보시려면 Hugging Face의 대화형 데모로 시작하세요. 이미지 캡션 및 시각적 질문 답변과 같은 작업에서 기능을 살펴볼 수 있습니다. 이미지를 업로드하고 모델에게 질문을 하거나 장면에 대한 설명을 요청하기만 하면 됩니다.
더 자세히 알아보고 싶다면 직접 체험해 볼 수 있는 방법을 소개합니다:
팔리젬마 2를 시작하는 방법을 이해했으니 이제 이 모델을 사용할 때 염두에 두어야 할 주요 장점과 단점을 자세히 살펴 보겠습니다.
팔리젬마 2가 비전 언어 모델로서 돋보이는 이유는 다음과 같습니다:
한편, 팔리젬마 2에서 제한이 발생할 수 있는 몇 가지 영역은 다음과 같습니다:
팔리젬마 2는 시각 언어 모델링의 놀라운 발전으로 확장성, 미세 조정 유연성, 정확성이 향상되었습니다. 접근성 솔루션과 이커머스부터 의료 진단 및 교육에 이르기까지 다양한 애플리케이션에 유용한 도구로 활용될 수 있습니다.
계산 요구 사항과 고품질 데이터에 대한 의존성 등의 한계가 있지만, 시각적 데이터와 텍스트 데이터를 통합하는 복잡한 작업을 처리하는 데 실용적인 선택이 될 수 있는 강점이 있습니다. 팔리젬마 2는 연구자와 개발자가 멀티모달 애플리케이션에서 AI의 잠재력을 탐구하고 확장할 수 있는 강력한 기반을 제공할 수 있습니다.
GitHub 리포지토리와 커뮤니티를 확인하여 AI 대화의 일부가 되어보세요. AI가 농업과 의료 분야에서 어떻게 발전하고 있는지 알아보세요! 🚀
