Parametre Verimli İnce Ayar (PEFT)

Parametre Verimli İnce Ayar (PEFT), makine öğreniminde önceden eğitilmiş modelleri belirli alt görevlere verimli bir şekilde uyarlamak için tasarlanmış bir dizi tekniktir ve yalnızca az sayıda model parametresine ince ayar yapar. Bu yaklaşım, tam ince ayarın hesaplama açısından pahalı ve kaynak yoğun olabileceği büyük dil modelleri (LLM'ler) ve diğer büyük ölçekli yapay zeka modelleri çağında özellikle önemlidir. PEFT yöntemleri, hesaplama ve depolama maliyetlerini önemli ölçüde azaltarak bu büyük modellerin daha geniş bir uygulama yelpazesi için özelleştirilmesini ve kaynak kısıtlı ortamlarda kullanılmasını mümkün kılar.

Uygunluk ve Uygulamalar

Parameter-Efficient Fine-Tuning'in önemi, güçlü, önceden eğitilmiş modellere erişimi demokratikleştirme yeteneğinden kaynaklanmaktadır. PEFT, büyük bir modeli sıfırdan eğitmek veya her yeni görev için tüm parametrelerine ince ayar yapmak yerine, geliştiricilerin ve araştırmacıların orijinal parametrelerin yalnızca bir kısmını ayarlayarak karşılaştırılabilir performans elde etmelerini sağlar. Bu verimliliğin birkaç önemli faydası ve uygulaması vardır:

• Azaltılmış Hesaplama Maliyeti: Büyük modellerin geleneksel ince ayarı, önemli hesaplama kaynakları ve zaman gerektirir. PEFT teknikleri bu gereksinimleri büyük ölçüde azaltarak daha hızlı deneme ve dağıtım sağlar ve yapay zekayı sınırlı kaynaklara sahip bireyler ve kuruluşlar için daha erişilebilir hale getirir. Bu, özellikle verimli eğitimin doğrudan maliyet tasarrufu ve daha hızlı yineleme döngüleri anlamına geldiği Ultralytics HUB Cloud Training gibi platformlar kullanıldığında faydalıdır.
• Daha Düşük Depolama Gereksinimleri: Büyük bir modelin tüm parametrelerine ince ayar yapmak, her görev için birden fazla tam boyutlu kopyayla sonuçlanır. PEFT yöntemleri, yalnızca küçük bir parametre alt kümesini değiştirerek, önemli ölçüde daha küçük ince ayarlı modellere yol açar. Bu, uç cihazlarda veya depolamanın sınırlı olduğu senaryolarda model dağıtımı için çok önemlidir.
• Aşırı Uyumu Önleme: Küçük veri kümeleri üzerinde büyük modellere ince ayar yaparken, modelin eğitim verilerinde iyi performans göstermeyi öğrendiği ancak yeni, görülmeyen verilere zayıf genelleme yaptığı aşırı uyum riski vardır. PEFT yöntemleri, modelin adaptasyonunu kısıtlayarak potansiyel olarak daha iyi genellemeye yol açtığı için bir tür düzenlileştirme işlevi görebilir.

PEFT'in gerçek dünyadaki uygulamaları çeşitlidir ve hızla genişlemektedir. Örneğin, Doğal Dil İşleme (NLP) alanında PEFT, GPT-3 veya GPT-4 gibi temel modelleri duygu analizi, metin özetleme veya soru cevaplama gibi belirli görevlere uyarlamak için kullanılır. Bilgisayarla görmede PEFT, tıbbi görüntü analizi veya üretimdeki kusurları tespit etme veya vahşi yaşamı korumada farklı türleri tanımlama gibi belirli alanlardaki nesne tespiti gibi görevler için uzmanlaştırmak üzere önceden eğitilmiş görüntü modellerine uygulanabilir.

Anahtar Kavramlar

PEFT, transfer öğrenimi ve ince ayar ilkeleri üzerine kuruludur. Transfer öğrenimi, bir problemin çözümünden elde edilen bilginin farklı ancak ilgili bir probleme uygulanmasını içerir. Bu bağlamda ince ayar, önceden eğitilmiş bir modeli alıp yeni, göreve özgü bir veri kümesi üzerinde daha fazla eğitme sürecidir.

Bununla birlikte, geleneksel ince ayar genellikle önceden eğitilmiş model parametrelerinin tamamının veya önemli bir kısmının güncellenmesini içerir. PEFT, bu parametrelerin yalnızca küçük bir bölümünü değiştiren teknikler sunarak kendini farklılaştırır. Yaygın PEFT teknikleri şunları içerir:

• Adaptör Modülleri: Önceden eğitilmiş modele küçük, yeni katmanlar (adaptörler) eklemek ve orijinal model ağırlıklarını dondurulmuş halde tutarken yalnızca bu adaptör katmanlarını eğitmek.
• Önek Ayarlama: Modelin girdisine, yeni görev için modelin davranışını yönlendiren eğitilebilir öneklerin eklenmesi.
• Düşük Sıralı Adaptasyon (LoRA): Ağırlık matrislerinin düşük rütbeli matrislere ayrıştırılması ve yalnızca bu daha küçük, düşük rütbeli matrislerin eğitilmesi.

Bu yöntemler, tüm model parametrelerini güncelleyen tam ince ayar ve daha az önemli bağlantıları kaldırarak model boyutunu azaltan model budama ile tezat oluşturmaktadır. PEFT, boyut küçültme veya tam yeniden eğitim yerine verimli adaptasyona odaklanır.

Özetle, Parametre Verimli İnce Ayar, büyük YZ modellerini daha pratik ve erişilebilir hale getirmede çok önemli bir gelişmedir. PEFT, yüksek performansı korurken hesaplama ve depolama ek yükünü önemli ölçüde azaltarak, aşağıdaki gibi modellerle elde edilebilenler de dahil olmak üzere, çeşitli ve özel uygulamalar için son teknoloji YZ'nin gücünden yararlanmak için daha geniş bir topluluğu güçlendirir Ultralytics YOLO11.