TensorRT

TensorRT مجموعة أدوات تطوير برمجيات (SDK) عالية الأداء للتعلم العميق تم تطويرها بواسطة NVIDIA. وهي مصممة لتحسين نماذج الشبكات العصبية من أجل النشر، مما يوفر زمن استجابة منخفضًا وإنتاجية عالية لتطبيقات التعلم العميق . من خلال عملها كمترجم تحسين، TensorRT الشبكات المدربة من الأطر الشائعة مثل PyTorch و TensorFlow هيكلتها لتعمل بكفاءة علىوحدات معالجة الرسومات NVIDIA . هذه القدرة ضرورية لتشغيل نماذج الذكاء الاصطناعي المعقدة في بيئات الإنتاج حيث السرعة والكفاءة أمران بالغا الأهمية.

كيف يعمل TensorRT النماذج

TensorRT الوظيفة الأساسية لـ TensorRT تحويل شبكة عصبية مدربة إلى "محرك" مُحسّن ومُعدّل خصيصًا للأجهزة المستهدفة. ويتم تحقيق ذلك من خلال عدة تقنيات متقدمة:

• دمج الطبقات: يجمع المحسّن طبقات متعددة من الشبكة العصبية في نواة واحدة، مما يقلل من عبء الوصول إلى الذاكرة ويحسن سرعة التنفيذ.
• المعايرة الدقيقة: TensorRT أوضاع الدقة المخفضة، مثل الدقة المختلطة (FP16) وتكمية الأعداد الصحيحة (INT8). من خلال تقليل عدد البتات المستخدمة لتمثيل الأرقام — غالبًا مع الحد الأدنى من فقدان الدقة — يمكن للمطورين تسريع العمليات الحسابية بشكل كبير وتقليل استخدام الذاكرة. هذا هو شكل من أشكال تكمية النموذج.
• الضبط التلقائي للنواة: يختار البرنامج تلقائيًا أفضل طبقات البيانات والخوارزميات GPU المحددة المستخدمة، مما يضمن الاستفادة القصوى من قدرات المعالجة المتوازية للأجهزة عبر CUDA.

تطبيقات واقعية

نظرًا لقدرته على معالجة كميات هائلة من البيانات بأقل تأخير ممكن، TensorRT استخدام TensorRT على نطاق واسع في الصناعات التي تعتمد على الرؤية الحاسوبية ومهام الذكاء الاصطناعي المعقدة حيث يعد التوقيت أمرًا بالغ الأهمية.

1. الأنظمة المستقلة: في مجال الذكاء الاصطناعي في السيارات، يجب على السيارات ذاتية القيادة معالجة مقاطع الفيديو الواردة من عدة كاميرات detect واللافتات والعوائق على الفور. باستخدام TensorRT يمكن لنماذج الإدراك مثل شبكات الكشف عن الأجسام تحليل الإطارات في أجزاء من الثانية، مما يسمح لنظام التحكم في السيارة باتخاذ قرارات حاسمة تتعلق بالسلامة دون تأخير.
2. الأتمتة الصناعية: تستخدم المصانع الحديثة الذكاء الاصطناعي في التصنيع من أجل الفحص البصري الآلي. تلتقط الكاميرات عالية السرعة صورًا للمنتجات على خطوط التجميع، وتحدد النماذج TensorRT العيوب أو الحالات الشاذة في الوقت الفعلي. وهذا يضمن مواكبة مراقبة الجودة لبيئات الإنتاج عالية السرعة ، وغالبًا ما يتم نشرها على أجهزة الذكاء الاصطناعي المتطورة مثل منصة NVIDIA مباشرة في أرضية المصنع.

استخدام TensorRT Ultralytics YOLO

يُعد دمج TensorRT في سير عملك أمراً سهلاً ومباشراً باستخدام أدوات الذكاء الاصطناعي الحديثة. إن ultralytics توفر الحزمة طريقة سلسة لتحويل PyTorch القياسية إلى TensorRT . وهذا يتيح للمستخدمين الاستفادة من أحدث ما توصلت إليه الهندسة المعمارية Ultralytics YOLO26 مع تسريع الأجهزة من NVIDIA . بالنسبة للفرق التي تسعى إلى إدارة مجموعات البيانات وخطوط التدريب قبل التصدير، فإن منصة Ultralytics توفر بيئة شاملة لإعداد نماذج لمثل هذا النشر عالي الأداء.

يوضح المثال التالي كيفية تصدير نموذج YOLO26 إلى ملف TensorRT (.engine) و استخدمه لـ الاستدلال في الوقت الحقيقي:

from ultralytics import YOLO

# Load the latest stable YOLO26 model (nano size)
model = YOLO("yolo26n.pt")

# Export the model to TensorRT format (creates 'yolo26n.engine')
# This step optimizes the computational graph for your specific GPU
model.export(format="engine")

# Load the optimized TensorRT engine for high-speed inference
trt_model = YOLO("yolo26n.engine")

# Run inference on an image source
results = trt_model("https://ultralytics.com/images/bus.jpg")

TensorRT ONNX أطر التدريب

من المهم التمييز TensorRT والمصطلحات الأخرى التي كثيرًا ما نسمعها في مجال نشر النماذج:

• مقارنة بـTensorFlow: PyTorch تصميم أطر عمل مثل PyTorch في المقام الأول لتدريب النماذج والأبحاث، حيث توفر المرونة وسهولة تصحيح الأخطاء. TensorRT محرك استدلال مصمم حصريًا لتنفيذ النماذج المدربة بأسرع ما يمكن. ولا يستخدم في التدريب.
• Vs. ONNX: ONNX (Open Neural Network Exchange) كجسر وسيط بين الأطر. بينما ONNX قابلية التشغيل البيني (على سبيل المثال، نقل نموذج من PyTorch منصة أخرى)، TensorRT على التحسين الخاص بالأجهزة. غالبًا ما يتم تحويل النموذج إلى ONNX ثم يتم تحليله بواسطة TensorRT المحرك النهائي TensorRT

بالنسبة للمطورين الذين يهدفون إلى تعظيم أداء وكلاء الذكاء الاصطناعي أو أنظمة الرؤية الخاصة بهم، فإن فهم الانتقال من إطار عمل التدريب إلى وقت تشغيل محسّن مثل TensorRT خطوة أساسية في MLOps الاحترافي.