NVIDIA GPU'larda daha hızlı ve verimli çıkarım için TensorRT ile derin öğrenme modellerini optimize edin. YOLO ve yapay zeka uygulamaları ile gerçek zamanlı performans elde edin.
TensorRT , yüksek performanslı bir derin öğrenme çıkarım iyileştiricisi ve çalışma zamanı kütüphanesidir. NVIDIA. Çeşitli optimizasyon teknikleri uygulayarak NVIDIA Grafik İşleme Birimleri (GPU'lar) üzerindeki derin öğrenme modellerini hızlandırır. TensorRT 'nin birincil amacı, üretim ortamlarında dağıtılan modeller için mümkün olan en düşük çıkarım gecikmesini ve en yüksek verimi elde etmektir, bu da onu gerçek zamanlı çıkarım uygulamaları için çok önemli hale getirir.
TensorRT , genellikle aşağıdaki gibi çerçevelerden dışa aktarılan eğitimli bir sinir ağını alır PyTorch veya TensorFlowve hedef NVIDIA GPU için özel olarak optimize eder. Temel optimizasyon adımları şunları içerir:
Bu optimizasyonlar, belirli model ve donanım için uyarlanmış yüksek verimli bir çalışma zamanı çıkarım motoru ile sonuçlanır.
TensorRT , Ultralytics YOLO modelleri için önemli bir dağıtım hedefidir. Kullanıcılar, NVIDIA Jetson gibi uç cihazlar da dahil olmak üzere NVIDIA donanımlarında önemli hız artışları elde etmek için eğitilmiş Ultralytics YOLO modellerini TensorRT formatına aktarabilir. Bu, çeşitli alanlarda yüksek performanslı uygulamalara olanak tanır. YOLOv5 vs RT-DETR karşılaştırması gibi model karşılaştırma sayfaları, genellikle TensorRT optimizasyonu kullanılarak elde edilen çıkarım hızlarını gösterir. Ultralytics , NVIDIA Jetson'da DeepStream kılavuzu gibi NVIDIA platformlarıyla entegrasyon için kılavuzlar da sağlar.
TensorRT , NVIDIA donanımında hızlı ve verimli çıkarımın kritik olduğu durumlarda yaygın olarak kullanılmaktadır:
TR
EN
ZH
KO
JA
RU
DE
FR
ES
PT
IT
AR
VI
