Gerçek Zamanlı Çıkarım

Gerçek zamanlı çıkarım, eğitilmiş bir makine öğrenimi (ML) modelinin canlı girdi verilerini kabul edip neredeyse anında tahminler üretme sürecini ifade eder. Verilerin daha sonra toplu olarak toplanıp analiz edildiği çevrimdışı işlemeden farklı olarak, gerçek zamanlı çıkarım anında gerçekleşir ve sistemlerin çevrelerine hızlı ve çevik bir şekilde tepki vermesini sağlar. Bu yetenek, modern Yapay Zeka (AI) uygulamalarının kalbini oluşturur ve cihazların verileri milisaniyeler içinde algılamasına, yorumlamasına ve buna göre hareket etmesine olanak tanır.

Düşük Gecikmenin Önemi

Gerçek zamanlı performansı değerlendirmek için birincil ölçüt çıkarım gecikmesidir. Bu, verilerin modele girildiği an (örneğin, bir video kameradan gelen bir kare) ile modelin sınırlayıcı kutu veya sınıflandırma etiketi gibi bir çıktı ürettiği an arasındaki zaman gecikmesini ölçer. Bir uygulamanın "gerçek zamanlı" olarak kabul edilebilmesi için gecikme, gelen veri akışının hızına uyacak kadar düşük olmalıdır.

Örneğin, saniyede 30 kare (FPS) hızında çalışan video anlama görevlerinde sistem, her kareyi işlemek için yaklaşık 33 milisaniyelik sıkı bir zaman bütçesine sahiptir . Çıkarım daha uzun sürerse, sistem gecikmeye neden olur ve bu da kare düşüşlerine veya gecikmeli yanıtlara yol açabilir. Bunu başarmak için genellikle GPU'lar veya NVIDIA gibi özel Edge AI cihazları kullanılarak donanım hızlandırması gerekir .

Gerçek Zamanlı Çıkarım ve Toplu Çıkarım

Gerçek zamanlı iş akışlarını toplu işleme işlemlerinden ayırmak faydalıdır. Her ikisi de tahminler üretmeyi içerse de, amaçları ve mimarileri önemli ölçüde farklıdır:

• Gerçek Zamanlı Çıkarım: Düşük gecikmeyi önceliklendirir. Tekil veri noktalarını (veya çok küçük partileri) geldikleri anda işler. Bu, otonom araçlar gibi etkileşimli uygulamalar için gereklidir. Bu tür araçlarda, bir araba detect zamanında fren yapabilmelidir.
• Toplu Çıkarım: Yüksek verimi önceliklendirir. Büyük hacimli verileri toplar ve hepsini bir kerede işler. Bu, gece envanter raporları oluşturmak veya geçmiş büyük veri eğilimlerini analiz etmek gibi acil olmayan görevler için uygundur .

Gerçek Dünya Uygulamaları

Anlık kararlar alma yeteneği, dinamik ortamlarda otomasyonu mümkün kılarak çeşitli endüstrileri dönüştürmüştür. ortamlarda.

• Akıllı Üretim: Üretimde yapay zeka, konveyör bantların üzerine yerleştirilen kameralar gerçek zamanlı çıkarım kullanarak otomatik kalite kontrolü gerçekleştirir. Bir nesne algılama modeli, yüksek hızda hareket eden ürünlerdeki kusurları veya yabancı nesneleri anında tespit edebilir. Bir anormallik tespit edildiğinde, sistem bir robotik kolu tetikleyerek ürünü hemen kaldırır ve sadece yüksek kaliteli ürünlerin paketlenmesini sağlar.
• Gözetim ve Güvenlik: Modern güvenlik sistemleri, çevreyi izlemek için bilgisayar görüşüne dayanır. Sadece görüntü kaydetmek yerine, bu kameralar gerçek zamanlı kişi algılama veya yüz tanıma özelliğini kullanarak, yetkisiz erişim gerçekleştiği anda güvenlik personelini uyarır.
• Robotik: Robotikteki yapay zeka alanında, robotlar karmaşık fiziksel alanlarda gezinmek için poz tahminini kullanır. Bir depo robotu, yolunu güvenli ve verimli bir şekilde planlamak için engellerin ve insan işçilerin konumunu sürekli olarak tahmin etmelidir .

Optimizasyon ve Dağıtım

Gerçek zamanlı uygulamalar için modellerin dağıtılması, hedef donanımda verimli bir şekilde çalışmasını sağlamak için genellikle optimizasyon gerektirir. Model niceleme gibi teknikler, model ağırlıklarının hassasiyetini (örneğin, float32'den int8'e) azaltarak bellek kullanımını düşürür ve doğruluk üzerinde minimum etkiyle çıkarım hızını artırır.

Geliştiriciler, Ultralytics kullanarak bu süreci kolaylaştırabilirler. Platform, eğitimi basitleştirir ve kullanıcıların modelleri TensorRT gibi optimize edilmiş formatlara aktarmalarına olanak tanır. TensorRTNVIDIA , OpenVINOIntel veya TFLite mobil dağıtım için.

Kod Örneği

Aşağıdaki Python , ultralytics kütüphane. Şu kütüphaneyi kullanır: YOLO26 Nano modeli, kenar cihazlarda yüksek hızlı performans için özel olarak tasarlanmıştır.

from ultralytics import YOLO

# Load the YOLO26 Nano model, optimized for speed and real-time tasks
model = YOLO("yolo26n.pt")

# Run inference on the default webcam (source="0")
# 'stream=True' returns a generator for memory-efficient processing
# 'show=True' displays the video feed with bounding boxes in real-time
results = model.predict(source="0", stream=True, show=True)

# Iterate through the generator to process frames as they arrive
for result in results:
    # Example: Print the number of objects detected in the current frame
    print(f"Detected {len(result.boxes)} objects")