التحديد الكمي للنموذج

تكميم النموذج هو تقنية تُستخدم لتحسين نماذج التعلّم العميق من خلال تقليل دقة الأرقام المستخدمة لتمثيل معلماتها، مثل الأوزان والتنشيطات. عادةً ما تستخدم نماذج التعلّم العميق أرقام الفاصلة العائمة 32 بت (FP32). يقوم التحويل الكمي بتحويلها إلى أنواع ذات دقة أقل مثل الفاصلة العائمة ذات 16 بت (FP16) أو الأعداد الصحيحة ذات 8 بت (INT8). يؤدي هذا التخفيض في الدقة إلى أحجام نماذج أصغر وأوقات استنتاج أسرع واستخدام أقل للذاكرة، مما يجعله مفيدًا بشكل خاص للنشر على الأجهزة ذات الموارد المحدودة، مثل الهواتف المحمولة أو الأنظمة المدمجة.

فوائد التكميم الكمي للنموذج

يوفر التكميم الكمي للنموذج العديد من المزايا التي تجعله تقنية قيّمة في مجال التعلم الآلي. تتمثل إحدى المزايا الأساسية في تقليل حجم النموذج. باستخدام أنواع بيانات أقل دقة، ينخفض الحجم الكلي للنموذج بشكل كبير. وهذا مفيد بشكل خاص لنشر النماذج على الأجهزة ذات سعة التخزين المحدودة. بالإضافة إلى ذلك، غالبًا ما تؤدي النماذج المكمّمة إلى أوقات استنتاج أسرع. عادة ما تكون العمليات الحسابية ذات الدقة المنخفضة أسرع في الأداء، خاصةً على الأجهزة التي تدعم مثل هذه العمليات أصلاً. هذا التسريع أمر بالغ الأهمية للتطبيقات في الوقت الحقيقي مثل اكتشاف الأجسام وتصنيف الصور. فائدة أخرى مهمة هي تقليل عرض النطاق الترددي للذاكرة. تعني أنواع البيانات الأصغر حجمًا أن هناك حاجة إلى نقل بيانات أقل، مما يمكن أن يخفف من الاختناقات في البيئات ذات الذاكرة المحدودة.

أنواع التكميم الكمي للنموذج

هناك العديد من الأساليب لنمذجة التكميم الكمي، ولكل منها مفاضلاته الخاصة. يعد التكميم اللاحق للتدريب (PTQ) أحد أبسط الطرق. وهي تتضمن تكميم الأوزان والتفعيلات لنموذج تم تدريبه بالفعل دون الحاجة إلى إعادة التدريب. يمكن تصنيف تكميم ما بعد التدريب إلى تكميم النطاق الديناميكي، وتكميم الأعداد الصحيحة الكاملة، وتكميم الأعداد الصحيحة الكاملة وتكميم الأعداد العائمة 16. يعمل التكميم الكمي للنطاق الديناميكي على تكميم الأوزان إلى أعداد صحيحة، لكنه يحافظ على التنشيطات بتنسيق الفاصلة العائمة. يحول التكميم الكمي الصحيح الكامل كلاً من الأوزان والتفعيلات إلى أعداد صحيحة، بينما يستخدم التكميم الكمي ل 16 بت أرقام الفاصلة العائمة 16 بت. هناك طريقة أخرى هي التدريب الواعي بالتقدير الكمي (QAT)، حيث يتم تدريب النموذج مع وضع التقدير الكمي في الاعتبار. يحاكي التدريب الواعي للتقدير الكمي تأثيرات التكميم أثناء التدريب، مما يسمح للنموذج بالتكيف وربما تحقيق دقة أعلى مقارنةً بالتدريب الكمي.

التكميم الكمي للنموذج مقابل تقنيات التحسين الأخرى

غالبًا ما يتم استخدام تكميم النموذج جنبًا إلى جنب مع تقنيات التحسين الأخرى لتحقيق أفضل النتائج. يعد تشذيب النموذج طريقة شائعة أخرى تتضمن إزالة الوصلات الأقل أهمية في الشبكة العصبية، مما يقلل من عدد المعلمات والعمليات الحسابية. بينما يقلل تكميم النموذج من دقة المعلمات، يقلل تشذيب النموذج من الكمية. ويمكن الجمع بين كلتا التقنيتين لتحقيق كفاءة أكبر. التدريب ذو الدقة المختلطة هو تقنية أخرى ذات صلة تستخدم كلاً من أرقام الفاصلة العائمة 32 بت و16 بت أثناء التدريب لتسريع العملية وتقليل استخدام الذاكرة. ومع ذلك، فهي تختلف عن التكميم لأنها تركز بشكل أساسي على مرحلة التدريب بدلاً من تحسين النموذج للاستدلال.

تطبيقات العالم الحقيقي لنموذج التكميم الكمي

إن التكميم الكمي للنماذج له العديد من التطبيقات في العالم الحقيقي، لا سيما في السيناريوهات التي تكون فيها الموارد الحاسوبية محدودة. على سبيل المثال، يمكن أن يستفيد نشر نماذج Ultralytics YOLO على الأجهزة المتطورة مثل الهواتف الذكية أو الطائرات بدون طيار بشكل كبير من التكميم. من خلال تقليل حجم النموذج ووقت الاستدلال، يصبح من الممكن تشغيل مهام الرؤية الحاسوبية المعقدة في الوقت الفعلي على هذه الأجهزة. مثال آخر في صناعة السيارات، حيث تتطلب السيارات ذاتية القيادة معالجة سريعة لبيانات المستشعرات لاتخاذ قرارات سريعة. يمكن أن تساعد النماذج الكمية في تحقيق السرعة والكفاءة اللازمة لهذه التطبيقات الهامة. بالإضافة إلى ذلك، في مجال الرعاية الصحية، يمكن أن يتيح التكميم الكمي للنماذج نشر أدوات التشخيص المتقدمة على الأجهزة المحمولة، مما يجعل الرعاية الصحية أكثر سهولة وكفاءة.

الأدوات وأطر العمل الخاصة بالتقدير الكمي للنموذج

تدعم العديد من الأدوات والأطر تكميم النماذج، مما يسهل على المطورين تنفيذ هذه التقنية. TensorFlow يوفر Lite دعمًا قويًا للتكميم الكمي بعد التدريب والتدريب المدرك للتكميم، مما يسمح للمستخدمين بتحويل نماذجهم TensorFlow إلى صيغ محسّنة. PyTorch يوفر أيضًا ميزات التكميم الكمي، بما في ذلك التكميم الديناميكي والثابت، مما يتيح للمستخدمين تقليل حجم النموذج وتحسين الأداء. ONNX وقت التشغيل هو أداة قوية أخرى تدعم تكميم النماذج، مما يوفر التنفيذ الأمثل لنماذج ONNX عبر منصات أجهزة مختلفة. وغالبًا ما تأتي هذه الأدوات مع وثائق وأمثلة مفصلة، مما يساعد المستخدمين على دمج التكميم الكمي في سير عمل التعلم الآلي بشكل فعال.

التحديات في التحديد الكمي للنموذج

في حين أن التكميم الكمي للنموذج يوفر العديد من الفوائد، فإنه يأتي أيضًا مع بعض التحديات. أحد المخاوف الرئيسية هي الخسارة المحتملة للدقة. حيث يمكن أن يؤدي تقليل دقة الأوزان والتفعيلات إلى انخفاض في أداء النموذج، خاصةً إذا لم يتم ذلك بعناية. يمكن أن تساعد تقنيات مثل التدريب الواعي بالتقدير الكمي في التخفيف من هذه المشكلة، ولكنها تتطلب المزيد من الجهد والموارد الحسابية أثناء مرحلة التدريب. التحدي الآخر هو دعم الأجهزة. لا تدعم جميع منصات الأجهزة بكفاءة العمليات الحسابية منخفضة الدقة. ومع ذلك، فإن الاتجاه يتجه نحو دعم أكبر للنماذج الكمية، مع وجود العديد من الأجهزة والرقائق الأحدث المحسّنة لعمليات INT8 و FP16. يجب أن يكون المطورون على دراية بهذه التحديات واختيار طريقة التكميم المناسبة بناءً على احتياجاتهم وقيودهم الخاصة. للحصول على مزيد من المعلومات حول تحسين النماذج، يمكنك استكشاف تقنيات مثل ضبط المعلمة الفائقة وخيارات نشر النموذج.