LoRA가 YOLO와 같은 대규모 AI 모델을 효율적으로 미세 조정하여 비용을 절감하고 최소한의 리소스로 엣지 배포를 가능하게 하는 방법을 알아보세요.
LoRA(낮은 순위 적응)는 전체 모델을 재학습할 필요 없이 미리 학습된 대규모 머신 러닝(ML) 모델을 특정 작업에 맞게 조정하는 데 사용되는 매우 효율적인 기법입니다. 원래 Microsoft 연구원의 논문에 자세히 설명되어 있는 LoRA는 매개 변수 효율적인 미세 조정(PEFT)의 초석이 되었습니다. 대규모 언어 모델(LLM) 및 기타 기초 모델과 같은 대규모 모델 사용자 지정과 관련된 계산 비용 및 스토리지 요구 사항을 획기적으로 줄여줍니다.
LoRA는 사전 학습된 모델에서 수십억 개의 모델 가중치를 업데이트하는 대신 모든 가중치를 동결합니다. 그런 다음 로우랭크 어댑터라고 하는 한 쌍의 훈련 가능한 작은 행렬을 모델의 특정 레이어에 주입하며, 주로 트랜스포머 아키텍처의 주의 메커니즘 내에 있습니다. 훈련 과정에서 훨씬 작은 새 행렬의 매개변수만 업데이트됩니다. 핵심 아이디어는 모델을 새로운 작업에 적용하는 데 필요한 변경 사항을 원래 모델에 포함된 것보다 훨씬 적은 수의 파라미터로 표현할 수 있다는 것입니다. 이는 차원 축소와 유사한 원리를 활용하여 적응에 필요한 필수 정보를 간결한 형태로 캡처합니다. 학습이 완료되면 소형 어댑터를 원래 가중치와 병합하거나 모듈식 작업 전환을 위해 별도로 보관할 수 있습니다.
LoRA는 효율성이 뛰어나 다양한 애플리케이션, 특히 여러 개의 맞춤형 모델이 필요한 경우에 이상적입니다.
LoRA를 다른 모델 적응 기법과 구별하는 것이 도움이 됩니다:
요약하자면, LoRA는 자연어 처리(NLP) 와 컴퓨터 비전 모두에서 광범위한 특정 작업을 위해 사전 학습된 대규모 기초 모델을 사용자 지정할 수 있는 강력하고 리소스 효율적인 방법을 제공하여 고급 AI를 보다 실용적이고 쉽게 이용할 수 있게 해줍니다. 이 접근 방식을 사용하면 많은 특수 모델을 쉽게 관리하고 배포할 수 있으며, 모델 수명 주기를 관리하기 위한 Ultralytics HUB와 같은 플랫폼으로 프로세스가 간소화됩니다.
KO
EN
ZH
JA
RU
DE
FR
ES
PT
IT
TR
VI
AR
.webp)
