تلاشي التدرج

تعد مشكلة التدرج المتلاشي تحديًا كبيرًا يواجهه تدريب الشبكات العصبية الاصطناعية العميقة . وتحدث هذه المشكلة عندما تصبح التدرجات — وهي القيم التي تحدد مقدار التغيير الذي يجب أن تطرأ عليه معلمات الشبكة — صغيرة للغاية أثناء انتشارها عكسيًا من طبقة الإخراج إلى طبقات الإدخال. ونظرًا لأن هذه التدرجات ضرورية لتحديث أوزان النموذج، فإن اختفاءها يعني توقف الطبقات السابقة من الشبكة عن التعلم. تمنع هذه الظاهرة النموذج بشكل فعال من التقاط الأنماط المعقدة في البيانات، مما يحد من عمق وأداء بنى التعلم العميق.

آليات اختفاء الإشارات

لفهم سبب حدوث ذلك، من المفيد النظر إلى عملية الانتشار العكسي. أثناء التدريب، تحسب الشبكة الخطأ بين توقعاتها والهدف الفعلي باستخدام دالة الخسارة. ثم يتم إرسال هذا الخطأ عكسيًا عبر الطبقات لتعديل الأوزان. يعتمد هذا التعديل على قاعدة السلسلة في حساب التفاضل والتكامل، والتي تتضمن ضرب مشتقات وظائف التنشيط طبقة تلو الأخرى.

إذا كانت الشبكة تستخدم وظائف تنشيط مثل وظيفة sigmoid أو التانجنت الزائدي (tanh)، فإن المشتقات غالبًا ما تكون أقل من 1. عندما يتم ضرب العديد من هذه الأرقام الصغيرة معًا في شبكة عميقة بها عشرات أو مئات الطبقات، فإن النتيجة تقترب من الصفر. يمكنك تصور ذلك على أنه لعبة "الهاتف" حيث يتم تمرير رسالة عبر سلسلة طويلة من الأشخاص؛ وبحلول الوقت الذي تصل فيه الرسالة إلى بداية السلسلة، تصبح غير مسموعة، ولا يعرف الشخص الأول ماذا يقول.

الحلول والهندسة المعمارية الحديثة

طور مجال الذكاء الاصطناعي عدة استراتيجيات قوية للتخفيف من التدرجات المتلاشية، مما مكن من إنشاء نماذج قوية مثل Ultralytics .

• ReLU ومتغيراتها: الوحدة الخطية المعدلة (ReLU) وخلفاؤها ، مثل Leaky ReLU و SiLU، لا تشبع للقيم الموجبة. مشتقاتها إما 1 أو ثابت صغير، مما يحافظ على حجم التدرج عبر الطبقات العميقة.
• الوصلات المتبقية: تم تقديمها في الشبكات المتبقية (ResNets)، وهي "وصلات تخطي" تسمح للانحدار بتجاوز طبقة واحدة أو أكثر. وهذا يخلق "طريقًا سريعًا" للانحدار للتدفق دون عوائق إلى الطبقات السابقة، وهو مفهوم أساسي للكشف الحديث عن الكائنات.
• تطبيع الدُفعات: من خلال تطبيع مدخلات كل طبقة، يضمن تطبيع الدُفعات أن الشبكة تعمل في نظام مستقر حيث لا تكون المشتقات صغيرة جدًا، مما يقلل من الاعتماد على التهيئة الدقيقة.
• البنى المقفلة: بالنسبة للبيانات المتسلسلة، تستخدم شبكات الذاكرة الطويلة قصيرة المدى (LSTM) ووحدات التخزين العشوائية (GRU) بوابات متخصصة لتحديد مقدار المعلومات التي يجب الاحتفاظ بها أو نسيانها، مما يحمي بشكل فعال التدرج من الاختفاء على مدى التسلسلات الطويلة.

التدرجات المتلاشية مقابل التدرجات المتفجرة

على الرغم من أنها تنبع من نفس الآلية الأساسية (الضرب المتكرر)، إلا أن التدرجات المتلاشية تختلف عن التدرجات المتفجرة.

• تلاشي التدرج: يقترب التدرج من الصفر، مما يتسبب في توقف التعلم. هذا أمر شائع في الشبكات العميقة مع تنشيطات سيغمويد.
• انفجار التدرج: تتراكم التدرجات لتصبح كبيرة بشكل مفرط، مما يتسبب في لا يتم تعيين أوزان النموذج يدويًا ولكن يتم "تعلمها" من البيانات. تبدأ العملية بتهيئة الأوزان بأرقام عشوائية صغيرة. أثناء التدريب، يقوم النموذج بعمل تنبؤات على بيانات التدريب، وتقوم دالة الخسارة بحساب مدى خطأ هذه التنبؤات. ثم يتم استخدام إشارة الخطأ هذه في عملية تسمى الانتشار الخلفي لحساب تدرج الخسارة بالنسبة لكل وزن. تقوم خوارزمية التحسين، مثل تدرج تنازلي عشوائي (SGD)، بعد ذلك بضبط الأوزان في الاتجاه المعاكس للتدرج لتقليل الخطأ. تتكرر هذه الدورة لعدة حقبات حتى يتوقف أداء النموذج على مجموعة بيانات التحقق منفصلة عن التحسن، وهي علامة على أنه تعلم الأنماط في البيانات. يتقلب بشكل كبير أو يصل إلى NaN (ليس رقمًا). غالبًا ما يتم إصلاح هذا عن طريق قص التدرج.

تطبيقات واقعية

لقد كان التغلب على التدرجات المتلاشية شرطًا أساسيًا لنجاح تطبيقات الذكاء الاصطناعي الحديثة.

1. الكشف العميق عن الأشياء: تتطلب النماذج المستخدمة في المركبات ذاتية القيادة، مثل YOLO مئات الطبقات للتمييز بين المشاة واللافتات والمركبات. بدون حلول مثل الكتل المتبقية وتطبيع الدُفعات، فإن تدريب هذه الشبكات العميقة على مجموعات بيانات ضخمة مثل COCO مستحيلًا. تساعد أدوات مثل Ultralytics في تبسيط عملية التدريب هذه، مما يضمن تقارب هذه البنى المعقدة بشكل صحيح.
2. الترجمة الآلية: في معالجة اللغة الطبيعية (NLP)، تتطلب ترجمة جملة طويلة فهم العلاقة بين الكلمة الأولى والأخيرة. حل مشكلة التدرج المتلاشي في شبكات RNN (عبر LSTM) ولاحقًا Transformers سمح للنماذج بالحفاظ على السياق عبر الفقرات الطويلة، مما أحدث ثورة في خدمات الترجمة الآلية مثل Google Translate.

Python

تجرد الأطر والنماذج الحديثة العديد من هذه التعقيدات. عند تدريب نموذج مثل YOLO26، تتضمن البنية تلقائيًا مكونات مثل تنشيط SiLU وتطبيع الدُفعات لمنع التدرجات من الاختفاء.

from ultralytics import YOLO

# Load the YOLO26 model (latest generation, Jan 2026)
# This architecture includes residual connections and modern activations
# that inherently prevent vanishing gradients.
model = YOLO("yolo26n.pt")

# Train the model on a dataset
# The optimization process remains stable due to the robust architecture
results = model.train(data="coco8.yaml", epochs=10)