الدقة المختلطة

الدقة المختلطة هي طريقة تدريب في التعلم العميق تستخدم دقة عددية متعددة لتسريع عملية التدريب مع الحفاظ على دقة النموذج. عادةً ما تستخدم نماذج التعلّم العميق أرقام الفاصلة العائمة 32 بت (FP32) لتمثيل الأوزان والتنشيطات والتدرجات. تقدم الدقة المختلطة استخدام أرقام الفاصلة العائمة ذات 16 بت (FP16) إلى جانب FP32، والاستفادة من مزايا كلا التنسيقين لتعزيز الكفاءة الحسابية.

مزايا الدقة المختلطة

تقدم الدقة المختلطة العديد من المزايا الرئيسية في تدريب نماذج التعلم العميق:

• تقليل استخدام الذاكرة: يقلل استخدام FP16 من حجم ذاكرة النموذج بمقدار النصف مقارنةً باستخدام FP32 حصريًا. يسمح هذا التخفيض بتدريب نماذج أكبر أو استخدام أحجام دفعات أكبر، مما قد يؤدي إلى تحسين أداء النموذج. تعرف على المزيد حول تحسين أحجام الدفعات وتأثيرها على كفاءة التدريب.
• زيادة سرعة التدريب: تكون العمليات على أرقام FP16 أسرع بشكل عام من FP32، خاصةً على وحدات معالجة الرسومات الحديثة التي تحتوي على أجهزة متخصصة لحسابات 16 بت. يمكن لهذه السرعة أن تقلل بشكل كبير من الوقت اللازم لتدريب نموذج ما. استكشف كيف تعمل وحدات معالجة الرسومات على تسريع عمليات الذكاء الاصطناعي وحسابات التعلم الآلي.
• كفاءة الطاقة: يؤدي عرض النطاق الترددي المنخفض للذاكرة والحسابات الأسرع أيضًا إلى انخفاض استهلاك الطاقة، مما يجعل التدريب المختلط الدقة أكثر كفاءة في استخدام الطاقة، وهو أمر مهم بشكل خاص لعمليات النشر على الأجهزة المتطورة أو في مراكز البيانات واسعة النطاق. تعرف على المزيد حول حوسبة الحافة وفوائدها.

كيف تعمل الدقة المختلطة

في التدريب المختلط الدقة، يتم تخزين الأوزان والتنشيطات بتنسيق FP16 لحفظ الذاكرة وتسريع الحساب. ومع ذلك، للحفاظ على الدقة، يتم الاحتفاظ بنسخة رئيسية من الأوزان بصيغة FP32. أثناء كل تكرار تدريبي، يتم تنفيذ التمريرات الأمامية والخلفية باستخدام FP16، ولكن يتم تحديث الأوزان بصيغة FP32. يجمع هذا النهج بين مزايا السرعة والذاكرة في FP16 ودقة واستقرار FP32.

المفاهيم الرئيسية في الدقة المختلطة

يتضمن فهم الدقة المختلطة الإلمام ببعض المفاهيم الأساسية:

• FP32 (دقة واحدة): تنسيق النقطة العائمة القياسي 32 بت المستخدم في معظم نماذج التعلم العميق. يوفر دقة عالية ولكنه يتطلب المزيد من الذاكرة والموارد الحاسوبية.
• FP16 (نصف دقة): تنسيق نقطة عائمة 16 بت يقلل من استخدام الذاكرة ويزيد من السرعة الحسابية. ومع ذلك، فإنه يحتوي على نطاق ديناميكي ودقة أقل، مما قد يؤدي إلى مشاكل مثل تلاشي التدرجات أثناء التدريب.
• تحجيم الخسارة: تقنية تُستخدم لتجنب مشاكل التدفق المنخفض التي يمكن أن تحدث مع FP16. يتم تكبير الخسارة بمعامل قبل الترحيل العكسي، ويتم تكبير التدرجات الناتجة قبل تحديث الوزن. يساعد هذا في الحفاظ على حجم التدرجات الصغيرة التي قد يتم تقريبها إلى الصفر في FP16.

التطبيقات والأمثلة الواقعية

يتم اعتماد التدريب مختلط الدقة على نطاق واسع في مختلف تطبيقات التعلم العميق، بما في ذلك:

• الرؤية الحاسوبية: يستفيد تدريب نماذج الرؤية الحاسوبية الكبيرة، مثل النماذج المستخدمة في اكتشاف الأجسام وتصنيف الصور وتجزئة الصور، بشكل كبير من الدقة المختلطة. على سبيل المثال، يمكن تدريب نماذج Ultralytics YOLO (أنت تنظر مرة واحدة فقط) بشكل أسرع وبأحجام دفعات أكبر باستخدام الدقة المختلطة، مما يؤدي إلى سرعة التجريب وتكرار النموذج. استكشف المزيد عن Ultralytics YOLO التطورات.
• معالجة اللغة الطبيعية (NLP): يمكن لنماذج مثل BERT وبنى المحولات الأخرى الاستفادة من الدقة المختلطة لتقليل وقت التدريب واستخدام الذاكرة. وهذا مفيد بشكل خاص عند العمل مع مجموعات البيانات النصية الكبيرة والنماذج المعقدة. تعرف على المزيد حول تطبيقات معالجة اللغة الطبيعية (NLP).
• الرعاية الصحية: في مجال التصوير الطبي، يمكن للدقة المختلطة تسريع تدريب النماذج لمهام مثل الكشف عن الأورام وتجزئة الأعضاء. يتيح ذلك تطوير أدوات التشخيص بشكل أسرع ويدعم التدخلات الطبية في الوقت المناسب. اكتشف دور الذكاء الاصطناعي في الرعاية الصحية.
• المركبات ذاتية القيادة: تتطلب نماذج التدريب للمركبات ذاتية القيادة معالجة كميات هائلة من بيانات الاستشعار. تساعد الدقة المختلطة في إدارة العبء الحسابي، مما يسمح بتدريب أكثر كفاءة للنماذج التي تتعامل مع اكتشاف الأجسام والحفاظ على المسار وغيرها من المهام الحرجة.

الدقة المختلطة مقابل التقنيات الأخرى

في حين أن الدقة المختلطة تقنية قوية، فمن الضروري فهم كيفية اختلافها عن طرق التحسين الأخرى:

• تكميم النموذج: تتضمن هذه التقنية تقليل دقة الأوزان والتفعيلات إلى أعداد صحيحة 8 بت (INT8) أو حتى أقل. يمكن أن يؤدي التكميم الكمي للن موذج إلى تقليل استخدام الذاكرة وزيادة السرعة ولكنه قد يؤدي إلى خسارة أكبر في الدقة مقارنةً بالدقة المختلطة.
• تشذيب النموذج: يتضمن تشذيب النموذج إزالة الوصلات أو الخلايا العصبية غير الضرورية من الشبكة العصبية لتقليل حجمها وتعقيدها الحسابي. في حين أنه يكمل الدقة المختلطة، يركز تشذيب النموذج على تقليل حجم النموذج بدلاً من إدارة الدقة العددية أثناء التدريب.

من خلال الجمع بين الدقة المختلطة وتقنيات التحسين الأخرى، يمكن للمطورين تحقيق كفاءة وأداء أكبر في نماذج التعلم العميق الخاصة بهم. على سبيل المثال، دمج الدقة المختلطة مع أدوات مثل Weights & Biases يمكن أن يزيد من تعزيز تتبع التجربة وتحسين النموذج.

استنتاج

يعد التدريب المختلط الدقة تقنية قيّمة لتسريع تدريب نموذج التعلم العميق مع الحفاظ على الموارد الحاسوبية. باستخدام كل من FP16 و FP32 بشكل استراتيجي، يمكن للمطورين تحقيق تخفيضات كبيرة في وقت التدريب واستخدام الذاكرة دون التضحية بدقة النموذج. وهذا يجعلها أداة أساسية لمجموعة واسعة من التطبيقات، بدءًا من الرؤية الحاسوبية والبرمجة اللغوية العصبية إلى الرعاية الصحية والقيادة الذاتية. ومع استمرار تحسن دعم الأجهزة لحسابات 16 بت، من المرجح أن تصبح الدقة المختلطة أكثر انتشارًا في مجال التعلم العميق.