TensorRT

TensorRT NVIDIA tarafından geliştirilen yüksek performanslı bir derin öğrenme çıkarım yazılım geliştirme kiti (SDK) TensorRT . Dağıtım için sinir ağı modellerini optimize etmek üzere tasarlanmış olup, derin öğrenme uygulamaları için düşük çıkarım gecikmesi ve yüksek verim TensorRT . Bir optimizasyon derleyicisi olarak çalışan TensorRT , PyTorch PyTorch ve TensorFlow çerçevelerden alınan eğitilmiş ağları yeniden yapılandırarak NVIDIA GPU'larda verimli bir şekilde çalışmasını sağlar. Bu özellik, hız ve verimliliğin önemli olduğu üretim ortamlarında karmaşık AI modellerini çalıştırmak için çok önemlidir.

TensorRT Modellerini Nasıl TensorRT ?

TensorRT temel işlevi TensorRT eğitilmiş bir sinir ağını hedef donanım için özel olarak ayarlanmış optimize edilmiş bir "motor"a TensorRT . Bunu birkaç gelişmiş teknikle başarır:

• Katman Birleştirme: Optimize edici, bir sinir ağının birden fazla katmanını tek bir çekirdekte birleştirerek bellek erişim yükünü azaltır ve yürütme hızını artırır.
• Hassas Kalibrasyon: TensorRT , karışık hassasiyet (FP16) ve tamsayı niceleme (INT8) gibi azaltılmış hassasiyet modlarını TensorRT . Sayıları temsil etmek için kullanılan bit sayısını azaltarak (genellikle minimum doğruluk kaybıyla), geliştiriciler matematik işlemlerini önemli ölçüde hızlandırabilir ve bellek kullanımını azaltabilir. Bu, bir tür model nicelemesidir.
• Çekirdek Otomatik Ayarlama: Yazılım, kullanılan belirli GPU için en iyi veri katmanlarını ve algoritmaları otomatik olarak seçer ve donanımın paralel işleme yeteneklerinin maksimum düzeyde kullanılmasını sağlar. CUDA CUDA.

Gerçek Dünya Uygulamaları

TensorRT , büyük miktarda veriyi minimum gecikmeyle işleme yeteneği sayesinde, zamanlamanın kritik olduğu bilgisayar görme ve karmaşık AI görevlerine dayanan sektörlerde yaygın olarak TensorRT . .

1. Otonom Sistemler: Otomotiv sektöründe yapay zeka alanında, sürücüsüz arabalar detect , işaretleri ve engelleri anında detect için birden fazla kameradan gelen video akışlarını işlemek zorundadır. TensorRT kullanılarak, nesne algılama ağları gibi algılama modelleri kareleri milisaniyeler içinde analiz edebilir ve böylece aracın kontrol sistemi gecikme olmadan güvenlik açısından kritik kararlar alabilir.
2. Endüstriyel Otomasyon: Modern fabrikalar, otomatik optik denetim için üretimde yapay zeka kullanıyor. Yüksek hızlı kameralar, montaj hatlarındaki ürünlerin görüntülerini yakalıyor ve TensorRT modeller, kusurları veya anormallikleri gerçek zamanlı olarak tespit ediyor. Bu, kalite kontrolünün yüksek hızlı üretim ortamlarına ayak uydurmasını sağlıyor ve genellikle NVIDIA platformu gibi uç yapay zeka cihazları doğrudan fabrika zemininde

Ultralytics YOLO TensorRT kullanma

Modern yapay zeka araçlarıyla TensorRT 'yi iş akışınıza entegre etmek çok kolay. TensorRT ultralytics paket standart PyTorch TensorRT dönüştürmek için sorunsuz bir yöntem sunar. Bu, kullanıcıların en son teknoloji mimarisinden yararlanmasını sağlar. Ultralytics YOLO26 NVIDIA donanım hızlandırması ile. Verilerini ve eğitim süreçlerini dışa aktarmadan önce yönetmek isteyen ekipler için, Ultralytics Platformu bu tür yüksek performanslı dağıtımlar için modeller hazırlamak üzere kapsamlı bir ortam sunar.

Aşağıdaki örnek, bir YOLO26 modelini bir TensorRT dosyasına nasıl dışa aktaracağınızı gösterir (.engine) ve bunu gerçek zamanlı çıkarım:

from ultralytics import YOLO

# Load the latest stable YOLO26 model (nano size)
model = YOLO("yolo26n.pt")

# Export the model to TensorRT format (creates 'yolo26n.engine')
# This step optimizes the computational graph for your specific GPU
model.export(format="engine")

# Load the optimized TensorRT engine for high-speed inference
trt_model = YOLO("yolo26n.engine")

# Run inference on an image source
results = trt_model("https://ultralytics.com/images/bus.jpg")

TensorRT ONNX Eğitim Çerçeveleri TensorRT

TensorRT , model dağıtım alanında sıklıkla duyulan diğer TensorRT ayırmak önemlidir: - Model dağıtımı: Modelin bir cihazda çalıştırılması.

• TensorFlow ile karşılaştırıldığında: PyTorch gibi çerçeveler öncelikle model eğitimi ve araştırması için PyTorch esneklik ve hata ayıklama kolaylığı sunar. TensorRT , eğitimli modelleri mümkün olduğunca hızlı bir şekilde yürütmek için tasarlanmış bir çıkarım motorudur. Eğitim için kullanılmaz.
• Vs. ONNX: ONNX (Açık Sinir Ağı Değişimi) formatı, çerçeveler arasında bir ara köprü görevi görür. ONNX çalışabilirlik ONNX (örneğin, bir modeli PyTorch başka PyTorch taşıma), TensorRT donanım özelinde optimizasyona TensorRT . Genellikle, bir model ONNX dönüştürülür, ardından TensorRT tarafından ayrıştırılarak nihai motor TensorRT .

AI ajanlarının veya görme sistemlerinin performansını en üst düzeye çıkarmak isteyen geliştiriciler için, eğitim çerçevesinden TensorRT gibi optimize edilmiş bir çalışma zamanına geçişi anlamak, profesyonel MLOps'ta önemli bir TensorRT . MLOps'ta