التقليم النموذجي

لماذا نستخدم التقليم النموذجي؟

المحرك الرئيسي لتشذيب النماذج هو الكفاءة. يمكن أن تكون نماذج التعلم العميق الحديثة (DL) ، خاصةً في مجالات مثل الرؤية الحاسوبية، كبيرة للغاية وكثيفة الحوسبة. وهذا يشكل تحديات في نشر النماذج، خاصةً على الأجهزة ذات الموارد المحدودة مثل الهواتف الذكية أو الأنظمة المدمجة أو في سيناريوهات الحوسبة المتطورة. يساعد تشذيب النماذج على معالجة هذه المشكلات من خلال:

• تقليل حجم النموذج: تتطلب النماذج الأصغر حجماً مساحة تخزين أقل، وهو أمر بالغ الأهمية للأجهزة ذات سعة الذاكرة المحدودة مثل تلك المستخدمة في الذكاء الاصطناعي Edge.
• زيادة سرعة الاستدلال: يعني عدد أقل من المعلمات عددًا أقل من العمليات الحسابية، مما يؤدي إلى تقليل زمن انتقال الاستدلال وتمكين قدرات الاستدلال في الوقت الفعلي، وهو أمر ضروري لتطبيقات مثل المركبات ذاتية القيادة. ويستفيد تطبيقUltralytics HUB من هذه التحسينات للنشر على الأجهزة المحمولة.
• خفض استهلاك الطاقة: يُترجم انخفاض الحمل الحسابي إلى استخدام أقل للطاقة، مما يساهم في ممارسات أكثر استدامة للذكاء الاصطناعي وعمر أطول للبطارية على الأجهزة المحمولة.
• تحسين التعميم: في بعض الأحيان، يمكن أن يساعد التقليم في الحد من الإفراط في التعميم عن طريق إزالة المعلمات الزائدة عن الحاجة، مما قد يحسن أداء النموذج على البيانات غير المرئية.

أنواع التقليم النموذجي

تختلف تقنيات تشذيب النماذج ولكنها تنقسم عمومًا إلى فئات بناءً على دقة ما تتم إزالته:

• تشذيب الوزن (غير منظم): تتم إزالة الأوزان الفردية التي تقل عن عتبة أهمية معينة (غالبًا ما تكون قائمة على الحجم) (يتم تعيينها إلى الصفر). يمكن أن يؤدي ذلك إلى نماذج متفرقة ولكن قد يتطلب أجهزة أو برامج متخصصة مثل أدواتNVIDIA للنماذج المتفرقة لتحقيق السرعة المثلى.
• تشذيب الخلايا العصبية: تتم إزالة الخلايا العصبية بأكملها (ووصلاتها) التي تعتبر غير مهمة من الشبكة.
• تشذيب المرشحات/القنوات (منظم): تتم إزالة مرشحات أو قنوات كاملة في الشبكات العصبية التلافيفية (CNNs). غالبًا ما يؤدي نهج التقليم المنظم هذا إلى تسريع أكثر مباشرة على الأجهزة القياسية دون الحاجة إلى مكتبات متخصصة. تستفيد أدوات مثل DeepSparse منNeural Magic's DeepSparse من التباعد لتسريع CPU وغالبًا ما يتم دمجها مع التقليمYOLOv5 مع البرنامج التعليمي Neural Magic ).

يمكن أن يحدث التقليم بعد تدريب النموذج بالكامل أو يمكن دمجه في عملية التدريب. بعد التقليم، تخضع النماذج عادةً لضبط دقيق (مزيد من التدريب على البنية الأصغر) لاستعادة أي أداء مفقود أثناء إزالة المعلمات. الأطر مثل PyTorch أدوات مساعدة لتنفيذ طرق تقليم مختلفة، كما هو موضح في البرنامج التعليميPyTorch Pruning Tutorial.

التطبيقات الواقعية

يعد تشذيب النماذج ذا قيمة في العديد من مجالات الذكاء الاصطناعي:

1. تحسين اكتشاف الكائنات على الأجهزة الطرفية: نماذج مثل Ultralytics YOLO المستخدمة لاكتشاف الأجسام يمكن تشذيبها لتعمل بكفاءة على أجهزة محدودة الموارد مثل Raspberry Pi أو TPU منGoogle أو NVIDIA Jetson. يتيح ذلك تطبيقات مثل المراقبة على الجهاز، أو مراقبة حركة المرور(تحسين مدونة إدارة حركة المرور)، أو الملاحة الروبوتية(دمج السيرة الذاتية في مدونة الروبوتات).
2. نشر نماذج اللغات الكبيرة (LLMs) محلياً: يمكن لتقنيات التقليم أن تقلل بشكل كبير من حجم النماذج الكبيرة مثل تلك القائمة على بنية Transformer، مما يتيح تشغيلها مباشرة على أجهزة المستخدم (مثل الهواتف الذكية) لمهام مثل معالجة اللغات الطبيعية (NLP ) دون اتصال سحابي مستمر. وهذا يعزز خصوصية البيانات ويقلل من زمن الاستجابة لتطبيقات مثل الترجمة على الجهاز أو المساعدين الأذكياء.

التقليم مقابل تقنيات التحسين الأخرى

تشذيب النموذج هو أحد الأساليب العديدة المستخدمة لتحسين النموذج. وهو يختلف عن، ولكنه غالباً ما يكون مكملاً ل:

• تكميم النموذج: يقلل من الدقة العددية لأوزان النموذج والتنشيطات (على سبيل المثال، من 32 بت عائم إلى 8 بت أعداد صحيحة)، مما يقلل من حجم النموذج ويسرّع الحساب، خاصةً على الأجهزة ذات الدعم المتخصص مثل TensorRT.
• تقطير المعرفة: تدريب نموذج "طالب" أصغر حجمًا لمحاكاة سلوك نموذج "معلم" أكبر مدرب مسبقًا. الهدف هو نقل المعرفة من النموذج الكبير إلى نموذج أصغر حجماً.

يمكن الجمع بين هذه التقنيات؛ على سبيل المثال، يمكن تشذيب النموذج أولاً، ثم تكميمه لتحقيق أقصى قدر من الكفاءة. غالبًا ما يتم تصدير النماذج المُحسَّنة إلى تنسيقات قياسية مثل ONNXUltralytics خيارات تصديرUltralytics ) لتوافق النشر على نطاق واسع. وتوفر منصات مثل Ultralytics HUB بيئات لإدارة النماذج ومجموعات البيانات(مثل COCO) وتبسيط مسار النشر الأمثل.