التحديد الكمي للنموذج

كيف يعمل التكميم الكمي للنموذج

يتضمن التكميم الكمي للنموذج في جوهره تخطيط نطاق القيم الموجودة في الموتر عالي الدقة (مثل الأوزان والتفعيلات في FP32) إلى نطاق أصغر يمكن تمثيله بأنواع بيانات أقل دقة (مثل INT8). يقلل هذا التحويل بشكل كبير من الذاكرة المطلوبة لتخزين النموذج والقدرة الحسابية اللازمة للاستدلال، حيث أن العمليات على الأرقام ذات الدقة المنخفضة (خاصة الأعداد الصحيحة) غالبًا ما تكون أسرع وأكثر كفاءة في استخدام الطاقة على الأجهزة الحديثة مثل وحدات معالجة الرسومات والمسرعات المتخصصة مثل وحدات معالجة الرسوميات.

فوائد التكميم الكمي للنموذج

يوفر تطبيق التكميم على نماذج التعلم العميق العديد من المزايا الرئيسية:

• تقليل حجم النموذج: تتطلب الدقة المنخفضة عددًا أقل من البتات لكل معلمة، مما يقلل بشكل كبير من مساحة تخزين النموذج. هذا مفيد للتحديثات عبر الأثير والأجهزة ذات التخزين المحدود.
• سرعة استدلال أسرع: تكون العمليات الحسابية ذات الأرقام ذات الدقة المنخفضة، لا سيما العمليات الحسابية ذات الأعداد الصحيحة، أسرع بشكل عام على الأجهزة المتوافقة، مما يؤدي إلى زمن انتقال أقل في الاستدلال.
• استهلاك أقل للطاقة: يؤدي تقليل الوصول إلى الذاكرة وتبسيط العمليات الحسابية إلى انخفاض استهلاك الطاقة، وهو أمر بالغ الأهمية للأجهزة المتطورة التي تعمل بالبطارية.
• تحسين قابلية النشر: تمكين نشر النماذج الكبيرة والمعقدة مثل Ultralytics YOLO على أجهزة ذات موارد حاسوبية محدودة، مثل المتحكمات الدقيقة أو وحدات المعالجة ثلاثية الأبعاد المتطورة.

تقنيات التحويل الكمي

هناك طريقتان أساسيتان لنمذجة التكميم الكمي:

1. التكميم اللاحق للتدريب (PTQ): تتضمن هذه الطريقة تكميم نموذج تم تدريبه بالفعل باستخدام دقة الفاصلة العائمة القياسية. وهي أسهل في التنفيذ لأنها لا تتطلب إعادة التدريب، ولكنها قد تؤدي أحيانًا إلى انخفاض ملحوظ في دقة النموذج. غالبًا ما تُستخدم المعايرة باستخدام مجموعة بيانات تمثيلية لتقليل خسارة الدقة هذه.
2. التدريب الواعي بالتقدير الكمي (QAT): تحاكي QAT تأثيرات التكميم أثناء عملية التدريب نفسها. يتعلم النموذج التكيف مع الدقة المنخفضة، مما يؤدي عادةً إلى دقة أفضل مقارنةً بالتدريب الواعي بالتقدير الكمي، على الرغم من أنه يتطلب الوصول إلى خط التدريب والبيانات الأصلية.

التطبيقات الواقعية

يُستخدم تكميم النماذج على نطاق واسع في مختلف المجالات:

1. الحوسبة المتنقلة: تتيح ميزات الذكاء الاصطناعي المتطورة مثل الكشف عن الكائنات في الوقت الحقيقي لمرشحات الكاميرا وتصنيف الصور ومعالجة اللغة الطبيعية مباشرةً على الهواتف الذكية دون الاعتماد بشكل كبير على الحوسبة السحابية. تستخدم أطر العمل مثل TensorFlow Lite التكميم بشكل كبير.
2. المركبات ذاتية القيادة: تسمح النماذج الكميّة بمعالجة أسرع لبيانات المستشعرات (الكاميرا، والليدار) لمهام مثل اكتشاف المشاة والحفاظ على حارة السير والتعرف على إشارات المرور، وهي أمور ضرورية لاتخاذ القرارات في الوقت الحقيقي في أنظمة القيادة الذاتية. توفر Ultralytics خيارات نشر نماذج متنوعة مناسبة لمثل هذه التطبيقات.

الاعتبارات والمفاهيم ذات الصلة

على الرغم من أن التكميم مفيد للغاية، إلا أنه من المحتمل أن يؤثر على دقة النموذج. من الضروري إجراء تقييم دقيق باستخدام مقاييس الأداء ذات الصلة بعد التكميم. يمكن أن تساعد تقنيات مثل استخدام بنيات النماذج الملائمة للتقدير الكمي (على سبيل المثال، استبدال بعض وظائف التنشيط كما هو الحال في YOLO) في التخفيف من تدهور الدقة، كما نوقش في نشر نماذج YOLOv8 المكمّمة.

التكميم الكمي للنموذج هو أحد تقنيات تحسين النماذج العديدة. وتشمل التقنيات الأخرى ما يلي:

• تشذيب النموذج: إزالة الأوزان أو الوصلات الأقل أهمية لتقليل تعقيد النموذج.
• الدقة المختلطة: استخدام مزيج من FP16 وFP32 أثناء التدريب أو الاستدلال لتحقيق التوازن بين السرعة/الذاكرة والدقة.
• تقطير المعرفة: تدريب نموذج "طالب" أصغر حجمًا لمحاكاة مخرجات نموذج "معلم" أكبر تم تدريبه مسبقًا.

تدعم Ultralytics تصدير النماذج إلى تنسيقات مختلفة تسهل عملية التكميم، بما في ذلك ONNX, OpenVINO, TensorRT, CoreMLو TFLite، مما يتيح النشر الفعال عبر منصات أجهزة متنوعة. يمكنك إدارة نماذجك ونشرها، بما في ذلك الإصدارات الكمية، باستخدام أدوات مثل Ultralytics HUB.