النزول المتدرج

الملاءمة في التعلم الآلي

ويُعد نزول التدرج أمرًا بالغ الأهمية بشكل خاص لتدريب النماذج المتطورة مثل الشبكات العصبية (NNs) التي تشكل أساس العديد من تطبيقات الذكاء الاصطناعي الحديثة. وغالباً ما تحتوي هذه النماذج، بما في ذلك تلك المستخدمة في اكتشاف الأجسام وتصنيف الصور ومعالجة اللغات الطبيعية (NLP)، على ملايين أو حتى مليارات المعلمات التي تحتاج إلى تحسين. يوفر النسب المتدرجة، إلى جانب متغيراتها، طريقة مجدية من الناحية الحسابية للتنقل في مشهد الخسارة المعقد (السطح عالي الأبعاد الذي يمثل قيمة الخسارة لجميع مجموعات المعلمات الممكنة) والعثور على قيم المعلمات التي تحقق أداءً جيدًا. وبدون التحسين الفعال من خلال النسب المتدرجة، فإن تدريب هذه النماذج الكبيرة على مستويات دقة عالية سيكون غير عملي. الأطر الرئيسية للتعلم الآلي مثل PyTorch و TensorFlow تعتمد بشكل كبير على تطبيقات مختلفة لنسب التدرج والخوارزميات ذات الصلة مثل التدرج الخلفي لحساب التدرجات اللازمة. يمكنك استكشاف نصائح تدريب النموذج للحصول على رؤى حول تحسين هذه العملية.

المفاهيم والمتغيرات الرئيسية

تتضمن الفكرة الأساسية لنسب التدرج حساب التدرج (اتجاه الصعود الأكثر انحدارًا) لدالة الخسارة فيما يتعلق بمعلمات النموذج ثم اتخاذ خطوة في الاتجاه المعاكس (انحدارًا). يتم التحكم في حجم هذه الخطوة من خلال معدل التعلم، وهو معيار مفرط حاسم يحدد مدى سرعة تعلم النموذج. يمكن أن يؤدي معدل التعلم الصغير جدًا إلى بطء التقارب، في حين أن المعدل الكبير جدًا يمكن أن يؤدي إلى تجاوز عملية التحسين للحد الأدنى أو حتى التباعد. توجد عدة أشكال مختلفة لنسب التدرج، تختلف بشكل أساسي في مقدار البيانات المستخدمة لحساب التدرج في كل خطوة:

• نزول التدرج الدفعي (BGD): يحسب التدرج باستخدام مجموعة بيانات التدريب بأكملها. يوفر ذلك تقديرًا دقيقًا للتدرج، ولكنه قد يكون مكلفًا للغاية من الناحية الحسابية وبطيئًا بالنسبة لمجموعات البيانات الكبيرة.
• نزول التدرج العشوائي (SGD): تقوم بتحديث المعلمات باستخدام التدرج المحسوب من مثال تدريبي واحد فقط في كل خطوة. إنه أسرع بكثير ويمكنه الهروب من الحد الأدنى المحلي الضحل، لكن التحديثات تكون صاخبة، مما يؤدي إلى مسار تقارب أقل استقرارًا.
• انحدار متدرج دفعي صغير: حل وسط بين BGD و SGD. وهو يحسب التدرج باستخدام مجموعة فرعية صغيرة عشوائية (دفعة صغيرة) من بيانات التدريب (يتم التحكم فيها بواسطة معيار حجم الدفعة المفرط). يوازن هذا بين دقة BGD وكفاءة SGD وهو البديل الأكثر شيوعًا المستخدم في التعلم العميق.
• المُحسِّنات التكيفية: تقوم خوارزميات مثل Adam(رابط ورقي) و Adagrad و RMSprop بضبط معدل التعلّم تلقائيًا لكل معلمة أثناء التدريب، مما يؤدي غالبًا إلى تقارب أسرع وأداء أفضل مقارنةً بخوارزميات SGD الأساسية أو GD ذات الدُفعات الصغيرة. تُستخدم هذه المتغيرات بشكل متكرر في منصات مثل Ultralytics HUB لتدريب النماذج. يمكن العثور على مزيد من التفاصيل حول المتغيرات في صفحة ويكيبيديا الخاصة بنسب التدرج.

الاختلافات عن المفاهيم ذات الصلة

نزول التدرج هو نوع محدد من خوارزمية التحسين يركز على التقليل التكراري لدالة الخسارة عن طريق تعديل معلمات النموذج باستخدام التدرجات. وهي تختلف عن المفاهيم المهمة الأخرى في تدريب النماذج:

• ضبط البارامتر الفائق: تركز هذه العملية على إيجاد المعلمات الفائقة المثلى (على سبيل المثال، معدل التعلم، وحجم الدفعات، وخيارات بنية الشبكة) التي تتحكم في عملية التعلم نفسها، بدلاً من معلمات النموذجweights and biases) التي يعدلها "نزول التدرج". يمكن لأدوات مثل Ray Tune أن تساعد في ضبط المعلمات المفرطة. يمكن العثور على نظرة عامة جيدة على صفحة تحسين المعامل الفائق في ويكيبيديا.
• التنظيم: تقنيات مثل تنظيم L1/L2 أو التسرب هي أساليب تُضاف إلى عملية التعلم (غالبًا ما يتم دمجها في دالة الخسارة أو بنية الشبكة) خصيصًا لمنع الإفراط في التركيب، حيث يتعلم النموذج بيانات التدريب بشكل جيد للغاية ولكن أداءه ضعيف على البيانات غير المرئية. ثم يقلل نزول التدرج من دالة الخسارة المنظمة. استكشف التنظيم في التعلم الآلي لمزيد من التفاصيل.

التطبيقات الواقعية

يُعد Gradient Descent Descent هو المحرك وراء نماذج التدريب لعدد لا يحصى من تطبيقات الذكاء الاصطناعي في العالم الحقيقي، مما يتيح للنماذج التعلم من كميات هائلة من البيانات في سيناريوهات التعلم تحت الإشراف وما بعدها:

1. تحليل الصور الطبية: في مجال الذكاء الاصطناعي في الرعاية الصحية، يقوم برنامج Gradient Descent Descent بتدريب الشبكات العصبية التلافيفية (CNNs) على مهام مثل تحليل الصور الطبية. على سبيل المثال، تعمل هذه الشبكات على تحسين النماذج للكشف عن الأورام أو الحالات الشاذة في الأشعة السينية أو الأشعة المقطعية أو التصوير بالرنين المغناطيسي عن طريق تقليل الفرق بين التجزئة أو التصنيف المتوقع للنموذج والحقيقة الأساسية التي يقدمها أخصائيو الأشعة(انظر مثالاً على ذلك في المدونة). تعرض مجلات مثل Radiology: يعرض الذكاء الاصطناعي مثل هذه التطورات.
2. أنظمة التوصية: تستخدم شركات مثل نيتفليكس وأمازون خوارزميات التوصية المدربة باستخدام النسب المتدرجة. تتعلم هذه الخوارزميات تفضيلات المستخدم وميزات العناصر من خلال تقليل دالة الخسارة التي تتنبأ بتقييمات المستخدم أو احتمالية التفاعل، مما يسمح لها باقتراح الأفلام أو المنتجات أو المحتوى ذي الصلة.
3. المركبات ذاتية القيادة: يتم تدريب النماذج المستخدمة في المركبات ذاتية القيادة لمهام الإدراك، مثل تحديد المشاة والسيارات والحارات المرورية باستخدام المربعات المحدودة، باستخدام النسب المتدرجة. يعد هذا التحسين أمراً بالغ الأهمية لسلامة وموثوقية تكنولوجيا القيادة الذاتية، كما رأينا في الأنظمة التي طورتها شركات مثل Waymo. وهذا الأمر وثيق الصلة بالذكاء الاصطناعي في مجال السيارات.