النزول المتدرج

الملاءمة في التعلم الآلي

ويُعد نزول التدرج أمرًا بالغ الأهمية بشكل خاص لتدريب النماذج المتطورة مثل الشبكات العصبية التي تشكل أساس العديد من تطبيقات الذكاء الاصطناعي الحديثة. وغالبًا ما تحتوي هذه النماذج، بما في ذلك النماذج المستخدمة في اكتشاف الأجسام وتصنيف الصور ومعالجة اللغات الطبيعية (NLP)، على ملايين المعلمات التي تحتاج إلى تحسين. يوفر النسب المتدرجة، إلى جانب متغيراتها، طريقة مجدية من الناحية الحسابية للتنقل في مشهد الخسارة المعقد والعثور على قيم المعلمات التي تحقق أداءً جيدًا. وبدون التحسين الفعال من خلال نزول التدرج، فإن تدريب هذه النماذج الكبيرة على مستويات عالية الدقة سيكون غير عملي. أطر مثل PyTorch و TensorFlow بشكل كبير على تطبيقات النسب المتدرجة.

المفاهيم والمتغيرات الرئيسية

تتضمن الفكرة الأساسية لنسب التدرج حساب التدرج (اتجاه الصعود الأكثر انحدارًا) لدالة الخسارة فيما يتعلق بمعلمات النموذج ثم اتخاذ خطوة في الاتجاه المعاكس. يتم التحكم في حجم هذه الخطوة من خلال معدل التعلم، وهو معيار مفرط حاسم. توجد العديد من الاختلافات لتحسين الكفاءة والاستقرار:

• نزول التدرج الدفعي: يحسب التدرج باستخدام مجموعة بيانات التدريب بأكملها لكل تحديث معلمة. إنه دقيق ولكنه مكلف حسابيًا لمجموعات البيانات الكبيرة.
• نزول التدرج العشوائي (SGD): تحديث المعلمات باستخدام التدرج المحسوب من مثال تدريبي واحد فقط في كل مرة. إنه أسرع ولكنه يُدخل المزيد من الضوضاء في التحديثات.
• نزول التدرج بدفعة صغيرة: حل وسط حيث يتم حساب التدرج باستخدام دفعة صغيرة من أمثلة التدريب. هذا هو البديل الأكثر شيوعًا المستخدم في الممارسة العملية، حيث يوازن بين الكفاءة الحسابية واستقرار التحديث. تعرف على المزيد حول متغيرات نزول التدرج على ويكيبيديا.
• مُحسِّن آدم: خوارزمية تحسين معدل التعلّم التكيفي التي تحسب معدلات التعلّم التكيفي الفردي لمعلمات مختلفة، مما يؤدي غالبًا إلى تقارب أسرع. وهو يجمع بين أفكار من محسنات أخرى مثل Momentum وRMSprop. تستفيد العديد من النماذج الحديثة من آدم أو أساليب تكيفية مشابهة، وغالبًا ما تكون قابلة للتكوين داخل منصات مثل Ultralytics HUB.

الاختلافات عن المفاهيم ذات الصلة

نزول التدرج هو نوع محدد من خوارزمية التحسين يركز على التقليل التكراري لدالة الخسارة عن طريق تعديل معلمات النموذج باستخدام التدرجات المحسوبة عبر الترحيل العكسي. وهي تختلف عن المفاهيم ذات الصلة:

• ضبط المعلمة الفائقة: يتضمن ذلك العثور على أفضل الإعدادات الخارجية لعملية التدريب (مثل معدل التعلم، أو حجم الدُفعات أو بنية الشبكة) قبل بدء التدريب. يعمل النسب المتدرج أثناء التدريب لتحسين معلمات النموذج الداخلي (الأوزان). يمكن لأدوات مثل Ray Tune أن تساعد في ضبط المعلمة الفائقة.
• التنظيم: تعمل تقنيات مثل التنظيم L1/L2 أو التسرب على تعديل دالة الخسارة أو بنية الشبكة لمنع الإفراط في التعميم وتحسين التعميم. أثناء استخدامها جنبًا إلى جنب مع نزول التدرج، لا يتمثل الهدف الأساسي للتنظيم في تقليل خسارة التدريب نفسه بل تحسين الأداء على البيانات غير المرئية.

التطبيقات الواقعية

يُعد Gradient Descent Descent هو المحرك وراء نماذج التدريب لعدد لا يحصى من تطبيقات الذكاء الاصطناعي في العالم الحقيقي:

1. تحليل الصور الطبية: في مجال الذكاء الاصطناعي في مجال الرعاية الصحية، يقوم برنامج Gradient Descent Descent بتدريب نماذج لمهام مثل تحليل الصور الطبية. على سبيل المثال، يمكن تدريب الشبكة العصبية التلافيفية (CNN) باستخدام النسب المتدرجة للكشف عن الأورام في التصوير بالرنين المغناطيسي أو التصوير المقطعي المحوسب(انظر مثالاً على ذلك في المدونة). تعمل الخوارزمية على تقليل الفرق بين مناطق الورم المتوقعة للنموذج والتعليقات التوضيحية الحقيقية التي يقدمها أخصائيو الأشعة.
2. أنظمة التوصية: تستخدم شركات مثل نتفليكس وأمازون نماذج مدرّبة باستخدام النسب المتدرجة للتنبؤ بتفضيلات المستخدم والتوصية بالأفلام أو المنتجات. تقوم الخوارزمية بتعديل معلمات النموذج لتقليل الخطأ بين التقييمات/التفاعلات المتوقعة وسلوك المستخدم الفعلي، مما يؤدي إلى توصيات أكثر تخصيصًا.
3. القيادة الذاتية: تعتمد نماذج الإدراك في المركبات ذاتية القيادة على النسب المتدرج أثناء التدريب. بالنسبة لمهام مثل الكشف عن المشاة والمركبات وإشارات المرور باستخدام بيانات الكاميرا أو بيانات الليدار(ذات الصلة بالذكاء الاصطناعي في السيارات)، تقلل الخوارزمية من التناقض بين المربعات المحدودة المتوقعة للنموذج أو أقنعة التجزئة المتوقعة والمواقع الفعلية للأجسام في بيانات التدريب.