Quantization-Aware Training (QAT) ile uç cihazlar için yapay zeka modellerini optimize ederek kaynakların sınırlı olduğu ortamlarda yüksek doğruluk ve verimlilik sağlayın.
Quantization-Aware Training (QAT), makine öğreniminde yüksek doğruluklu yapay zeka modelleri ile bunların kaynak sınırlı cihazlara verimli bir şekilde dağıtılması arasındaki boşluğu dolduran önemli bir optimizasyon tekniğidir. YZ uygulamaları akıllı telefonlar, IoT sensörleri ve gömülü sistemler gibi uç cihazlara doğru genişledikçe, hem doğru hem de hesaplama açısından verimli modellere duyulan ihtiyaç çok önemli hale gelmektedir. QAT, model eğitimi aşamasında kuantizasyonun etkilerini simüle ederek bu zorluğun üstesinden gelir ve düşük hassasiyetli donanım için sağlam ve optimize edilmiş modellere yol açar.
Niceleme Farkında Eğitim, dağıtım ortamlarının doğasında bulunan azaltılmış sayısal hassasiyeti tolere etmek için sinir ağlarını iyileştirir. Bir model tamamen eğitildikten sonra uygulanan eğitim sonrası nicelemenin aksine, QAT nicelemeyi eğitim döngüsünün kendisine entegre eder. Bu, ileri ve geri geçişler sırasında niceleme sürecini simüle ederek (ağırlıkların ve aktivasyonların sayısal hassasiyetini azaltarak) elde edilir. Bunu yaparak, model hassasiyet kaybını telafi etmeyi öğrenir, bu da dağıtım için gerçekten nicelleştirildiğinde daha yüksek doğruluğu koruyan bir modelle sonuçlanır. Bu yöntem, int8 gibi düşük hassasiyetli aritmetiği taklit eden 'sahte niceleme' işlemlerini kullanırken, gradyan hesaplamalarını ve ağırlık güncellemelerini tam hassasiyette gerçekleştirmeyi içerir. Bu yaklaşım, modelin uyum sağlamasına ve niceleme etkilerine daha az duyarlı hale gelmesine olanak tanıyarak nicelenmiş çıkarımda daha iyi performans elde edilmesini sağlar.
Optimizasyon teknikleri hakkında daha geniş bir anlayış için, model verimliliğini artırmaya yönelik yöntemlere hızlı bir genel bakış sağlayan model optimizasyonu kılavuzuna bakın.
Hem QAT hem de model niceleme model hassasiyetini azaltmayı amaçlasa da yaklaşımları ve sonuçları önemli ölçüde farklılık gösterir. Model niceleme tipik olarak, model boyutunu azaltmak ve çıkarımı hızlandırmak için eğitilmiş, tam hassasiyetli bir modeli daha düşük hassasiyetli bir biçime (INT8 gibi) dönüştüren bir eğitim sonrası işlemdir. Bu yöntem basittir ancak özellikle karmaşık modeller için bazen doğrulukta önemli bir düşüşe yol açabilir. Buna karşın QAT, eğitim sırasında modeli proaktif olarak niceleme için hazırlar, böylece doğruluk kaybını azaltır ve genellikle düşük hassasiyetli ortamlarda üstün performans elde eder.
Karışık hassasiyetli eğitim, eğitim sürecini hızlandırmaya ve eğitim sırasında bellek ayak izini azaltmaya odaklanan bir başka optimizasyon tekniğidir. Ağ içinde hem 16 bit hem de 32 bit kayan noktalı sayıların kullanılmasını içerir. Karışık hassasiyet öncelikle eğitim verimliliğini hedeflerken, QAT özellikle niceleme sonrası modellerin performansını artırmak için tasarlanmıştır ve düşük hassasiyetli dağıtım senaryolarında çıkarım verimliliği ve doğruluğuna odaklanır.
Niceleme Farkında Eğitim, kaynak verimliliğinin kritik önem taşıdığı gerçek dünya uygulamalarında yapay zeka modellerini dağıtmak için gereklidir. İşte birkaç örnek:
Akıllı telefonlar ve IoT cihazları gibi akıllı cihazlarda hesaplama kaynakları ve güç sınırlıdır. QAT, uç yapay zeka uygulamalarına yönelik modelleri optimize etmek için yaygın olarak kullanılmakta ve doğrudan cihaz üzerinde gerçek zamanlı işleme olanağı sağlamaktadır. Örneğin, son teknoloji ürünü bir nesne algılama modeli olan Ultralytics YOLO , akıllı ev güvenlik sistemleri veya yapay zeka destekli kameralar gibi uygulamalarda verimli gerçek zamanlı nesne algılama sağlamak için QAT kullanılarak optimize edilebilir. QAT, model boyutunu ve hesaplama taleplerini azaltarak karmaşık yapay zeka görevlerinin sınırlı işlem kapasitesine sahip cihazlarda çalıştırılmasını mümkün kılar.
Otonom araçlar ve robotik, katı gecikme süresi ve güç kısıtlamaları altında hızlı kararlar verebilen yapay zeka sistemlerine ihtiyaç duyar. QAT, bu uygulamalar dahilinde gömülü sistemlerde kullanılmak üzere modellerin optimize edilmesinde hayati bir rol oynamaktadır. Örneğin, QAT'yi aşağıdakilere uygulamak Ultralytics YOLOv8 modelleri, otonom sürüşte gerçek zamanlı karar verme için çok önemli olan araç algılama ve yaya izleme sistemlerinin verimliliğini önemli ölçüde artırabilir. Bu optimizasyon, yapay zekanın araç donanımının güç ve hesaplama sınırlamaları dahilinde etkili bir şekilde çalışabilmesini sağlar.
Ultralytics çözümlerinin çeşitli sektörlerde nasıl uygulandığını keşfetmek için Ultralytics Solutions adresini ziyaret edin.
