Gerçek zamanlı çıkarım, eğitimli bir makine öğrenimi (ML) modelinin yeni veriler geldiğinde hemen tahminlerde bulunduğu veya kararlar aldığı süreci ifade eder. Zaman içinde toplanan verileri gruplar halinde işleyen toplu çıkarımın aksine, gerçek zamanlı çıkarım düşük gecikme süresine ve anlık yanıtlara öncelik verir. Bu özellik, canlı veri akışlarına dayalı olarak anında geri bildirim veya eylem gerektiren uygulamalar için gereklidir ve sistemlerin değişen koşullara dinamik olarak tepki vermesini sağlar.
Gerçek Zamanlı Çıkarsamayı Anlama
Pratikte, gerçek zamanlı çıkarım, bir makine öğrenimi modelinin, örneğin Ultralytics YOLOBilgisayarla görme için model, böylece bireysel veri girdilerini (video kareleri veya sensör okumaları gibi) analiz edebilir ve minimum gecikmeyle çıktılar üretebilir. Temel performans ölçütü, bir girdinin alınmasından bir tahminin oluşturulmasına kadar geçen süre olan çıkarım gecikmesidir. Düşük gecikme süresine ulaşmak genellikle birkaç strateji içerir:
- Model Optimizasyonu: Model nicelleştirme (model ağırlıklarının hassasiyetini azaltma) ve model budama (daha az önemli model parametrelerini kaldırma) gibi teknikler daha küçük, daha hızlı modeller oluşturmak için kullanılır.
- Donanım Hızlandırma: Uç cihazlarda GPU'lar, TPU'lar veya özel yapay zeka hızlandırıcıları (ör. NVIDIA Jetson, Google Coral Edge TPU) gibi özel donanımların kullanılması hesaplamaları önemli ölçüde hızlandırır.
- Verimli Yazılım: Optimize edilmiş çıkarım motorları ve çalışma zamanları kullanarak TensorRT, OpenVINOveya ONNX Runtime, hedef donanımda performansı en üst düzeye çıkarmaya yardımcı olur. Gibi çerçeveler PyTorch ayrıca verimli çıkarımı destekleyen özellikler sunar.
Gerçek Zamanlı Çıkarım ve Toplu Çıkarım
Temel fark, verilerin nasıl işlendiği ve ilgili gecikme gereksinimlerinde yatmaktadır:
- Gerçek Zamanlı Çıkarım: Tek veri noktalarını veya küçük mini partileri geldiklerinde işler. Anında sonuçlar için gecikmeyi en aza indirmeye odaklanır. Etkileşimli sistemler veya canlı olaylara tepki veren uygulamalar için idealdir.
- Toplu Çıkarım: Zaman içinde biriken büyük hacimli verileri işler. Bireysel tahminler için gecikmeyi en aza indirmek yerine verimi en üst düzeye çıkarmaya (büyük miktarda veriyi verimli bir şekilde işlemeye) odaklanır. Google Cloud'un toplu tahmine genel bakışında açıklandığı gibi, çevrimdışı analiz, raporlama veya anlık sonuçların kritik olmadığı görevler için uygundur.
Gerçek Zamanlı Çıkarım Uygulamaları
Gerçek zamanlı çıkarım, anlık karar vermenin çok önemli olduğu birçok modern yapay zeka uygulamasına güç verir:
- Otonom Sistemler: Kendi kendine giden arabalar, nesne algılama (yayaları, araçları, engelleri tanımlama) ve navigasyon için gerçek zamanlı çıkarıma büyük ölçüde güvenir ve aracın çevresine anında tepki vermesini sağlar. Ultralytics modeller genellikle sürücüsüz otomobiller için yapay zeka geliştirmede kullanılır.
- Güvenlik ve Gözetim: Yapay zeka destekli güvenlik sistemleri, izinsiz girişleri tespit etmek, şüpheli faaliyetleri belirlemek veya canlı video akışlarındaki kalabalıkları izlemek için gerçek zamanlı çıkarımlar kullanarak anında uyarılara ve yanıtlara olanak tanır.
- Sağlık Hizmetlerinde Teşhis: Tıbbi görüntü analizinde, gerçek zamanlı çıkarım, anında geri bildirim sağlayarak veya ultrason gibi canlı görüntülemedeki anormallikleri vurgulayarak prosedürler sırasında doktorlara yardımcı olabilir ve potansiyel olarak teşhis doğruluğunu artırabilir.
- Endüstriyel Otomasyon: Gerçek zamanlı çıkarım, üretim hatlarındaki kusurları anında tespit ederek veya hassas görevler için robotik kolları yönlendirerek üretimde otomatik kalite kontrolü sağlar.
Ultralytics HUB gibi platformlar, modelleri eğitmek, optimize etmek ve dağıtmak için araçlar sağlayarak çeşitli dağıtım seçeneklerinde gerçek zamanlı çıkarım çözümlerinin uygulanmasını kolaylaştırır.
TR
EN
ZH
KO
JA
RU
DE
FR
ES
PT
IT
AR
VI
