الانتشار العكسي

كيف يعمل الانتشار العكسي

تتضمن العملية مرحلتين رئيسيتين بعد التنبؤ الأولي:

1. التمرير الأمامي: يتم تغذية بيانات الإدخال من خلال الشبكة، طبقة تلو الأخرى، مع تنشيط الخلايا العصبية وتطبيق أوزان النموذج حتى يتم توليد مخرجات (تنبؤ).
2. حساب الخطأ: يتم حساب الفرق بين تنبؤ الشبكة والقيمة المستهدفة الفعلية (الحقيقة الأرضية) باستخدام دالة خسارة. تحدد هذه الخسارة مدى خطأ التنبؤ. من المصادر الشائعة لفهم ذلك هو الفصل الخاص بكتاب التعلُّم العميق في كتاب التعلُّم العميق عن MLP.
3. التمرير العكسي: هذا هو المكان الذي يحدث فيه الترحيل العكسي حقًا. بدءًا من طبقة الخرج، تقوم الخوارزمية بحساب تدرج دالة الخسارة فيما يتعلق weights and biases في كل طبقة. وتستخدم قاعدة السلسلة من حساب التفاضل والتكامل لنشر إشارة الخطأ بكفاءة إلى الوراء عبر الشبكة، طبقة تلو الأخرى. وهذا يحدد مقدار التغيير الذي يجب تغييره لكل معلمة لتقليل الخطأ الكلي. يمكن أن تساعد التصورات مثل تلك الموجودة في "حساب التفاضل والتكامل على الرسوم البيانية الحسابية" في توضيح هذا التدفق.
4. تحديث الأوزان: يتم استخدام التدرجات المحسوبة بعد ذلك بواسطة خوارزمية تحسين مثل خوارزمية" نزول التدرج " أو المتغيرات الأكثر تقدمًا مثل آدم، لتحديث weights and biases الشبكة weights and biases مما يدفع النموذج نحو تقديم تنبؤات أفضل في التكرار التالي.

الأهمية في التعلم العميق

يعد الانتثار الخلفي أمرًا أساسيًا لنجاح التعلم العميق الحديث. فهو يمكّن من تدريب البنى العميقة والمعقدة للغاية، مثل الشبكات العصبية التلافيفية (CNNs) المستخدمة على نطاق واسع في الرؤية الحاسوبية، والشبكات العصبية المتكررة (RNNs) المستخدمة للبيانات المتسلسلة مثل النصوص. وبدون طريقة فعالة لحساب التدرجات مثل التدرج العكسي الذي يوفره التدرج العكسي، فإن تدريب هذه النماذج الكبيرة سيكون غير ممكن من الناحية الحسابية. يسمح للنماذج بتعلم النماذج تلقائيًا ميزات وعلاقات معقدة من كميات هائلة من البيانات، مما يشكل أساس العديد من التطورات في مجال الذكاء الاصطناعي منذ انتشاره في الثمانينيات، وهو ما تم تفصيله في المصادر التي تغطي تاريخ التعلم العميق.

التطبيقات الواقعية

يُستخدم الانتثار الخلفي ضمنيًا كلما تم تدريب نموذج تعلم عميق. فيما يلي مثالان:

1. اكتشاف الأجسام: نماذج مثل Ultralytics YOLO يتم تدريبها باستخدام التكاثر العكسي. عندما يحدد النموذج كائنًا بشكل غير صحيح أو يضع مربعًا محدّدًا بشكل غير دقيق في صورة من مجموعات بيانات مثل COCO، يحسب التكاثر العكسي التدرجات اللازمة لضبط أوزان النموذج، مما يحسّن قدرته على إجراء عملية اكتشاف الكائن بدقة.
2. معالجة اللغات الطبيعية (NLP): يعتمد تدريب النماذج اللغوية الكبيرة مثل BERT أو GPT لمهام مثل الترجمة الآلية أو تحليل المشاعر اعتمادًا كبيرًا على التكاثر العكسي. فهي تعدّل معلمات النموذج لتقليل الفرق بين النص الذي تم إنشاؤه والمخرجات المطلوبة، مما يمكّن هذه النماذج من فهم وتوليد لغة شبيهة بلغة البشر. توفر مجموعة البرمجة اللغوية العصبية في ستانفورد العديد من الموارد حول هذه المواضيع.

المفاهيم ذات الصلة

على الرغم من ارتباطها الوثيق، إلا أن الانتشار الخلفي يختلف عن التدرج في التدرج. فالانتشار العكسي هو الخوارزمية المخصصة لحساب تدرجات دالة الخسارة فيما يتعلق بمعلمات الشبكة. وانتساب التدرج (ومتغيراته) هي خوارزمية التحسين التي تستخدم هذه التدرجات المحسوبة لتحديث المعلمات بشكل متكرر وتقليل الخسارة. يمكن أن يعاني الانتساب الخلفي أحيانًا من مشاكل مثل مشكلة تلاشي التدرج، خاصةً في الشبكات العميقة جدًا، على الرغم من أن تقنيات مثل استخدام دوال التفعيل ReLU والوصلات المتبقية تساعد في التخفيف من ذلك.