ReLU (الوحدة الخطية المعدلة)

كيف يعمل ReLU

العملية الأساسية لدالة ReLU واضحة ومباشرة: فهي تُخرِج قيمة الدخل مباشرةً إذا كان الدخل موجبًا، وتُخرِج صفرًا إذا كان الدخل سالبًا أو صفرًا. تقدم آلية العتبة البسيطة هذه آلية غير خطية أساسية في الشبكة العصبية. فبدون الدوال غير الخطية مثل ReLU، ستتصرف الشبكة العميقة كطبقة خطية واحدة، مما يحد بشدة من قدرتها على تعلم الدوال المعقدة المطلوبة لمهام مثل التعرف على الصور أو معالجة اللغات الطبيعية (NLP). داخل طبقة الشبكة، تطبق كل خلية عصبية دالة ReLU على مجموع مدخلاتها الموزونة. إذا كان المجموع موجبًا، "تطلق" الخلية العصبية وتمرر القيمة إلى الأمام. أما إذا كان المجموع سالبًا، فإن الخلية العصبية تُخرِج صفرًا، وتصبح غير نشطة فعليًا لهذا الدخل المحدد. يؤدي هذا إلى تنشيطات متناثرة، مما يعني أن مجموعة فرعية فقط من الخلايا العصبية تكون نشطة في أي وقت، مما يمكن أن يعزز الكفاءة الحسابية ويساعد الشبكة على تعلم تمثيلات أكثر قوة للميزات.

مزايا ReLU

تقدم ReLU العديد من المزايا الرئيسية التي عززت شعبيتها في التعلم العميق:

• الكفاءة الحسابية: لا تتضمن ReLU سوى مقارنة بسيطة وربما تعيين قيمة إلى الصفر، مما يجعلها أسرع بكثير في الحساب من دوال التنشيط الأكثر تعقيدًا مثل دالة سيغمويد أو دالة الظل. يؤدي ذلك إلى تسريع مرحلتي التدريب والاستدلال.
• يخفف من التدرجات المتلاشية: على عكس الدوال السهمية ودوال التانة، التي يمكن أن تصبح تدرجاتها صغيرة للغاية بالنسبة للمدخلات الكبيرة الموجبة أو السالبة، فإن دالة ReLU لها تدرج ثابت قدره 1 للمدخلات الموجبة. يساعد ذلك في التخفيف من مشكلة تلاشي التدرج، مما يسمح بتدفق التدرجات بفعالية أكبر أثناء الترحيل العكسي وتمكين تدريب شبكات أعمق.
• يعزز التباعد: من خلال إخراج صفر للمدخلات السلبية، فإن ReLU يحفز بشكل طبيعي التشتت في التنشيطات داخل الشبكة. يمكن أن يؤدي هذا التباعد إلى نماذج أكثر إيجازًا وقوة، مما قد يعكس الآليات التي لوحظت في الشبكات العصبية البيولوجية ويرتبط بمفاهيم مثل الترميز المتناثر.

العيوب والتحديات

على الرغم من نقاط القوة التي تتمتع بها وحدة ReLU، إلا أنها لا تخلو من القيود:

• مشكلة موت ReLU: يمكن أن تعلق الخلايا العصبية أحياناً في حالة تكون فيها مخرجاتها صفراً باستمرار لجميع المدخلات التي تواجهها أثناء التدريب. ويحدث هذا إذا تسبب تحديث التدرج الكبير في إزاحة الأوزان بحيث تكون مدخلات الخلية العصبية سالبة دائماً. بمجرد حدوث ذلك، يصبح التدرج الذي يتدفق عبر تلك الخلية العصبية صفراً، مما يمنع المزيد من تحديثات الوزن عبر نزول التدرج. "تموت" الخلية العصبية بشكل فعال وتتوقف عن المساهمة في تعلم الشبكة.
• مخرجات غير صفرية المركز: تكون مخرجات ReLU دائمًا غير سالبة (صفرية أو موجبة). يمكن أن يؤدي هذا النقص في التمركز الصفري أحيانًا إلى إبطاء تقارب عملية تحسين نزول التدرج مقارنةً بدوال التنشيط التي لا تتمركز حول الصفر.

ReLU مقابل وظائف التنشيط الأخرى

غالبًا ما تتم مقارنة ReLU بمتغيراتها ووظائف التنشيط الأخرى. تعالج دالة ReLU المتسرّبة مشكلة ReLU المحتضرة من خلال السماح بتدرج صغير غير صفري عندما تكون المدخلات سالبة. الوحدة الأسية الخطية الأسية (ELU) هي بديل آخر يهدف إلى إنتاج مخرجات أقرب إلى الصفر في المتوسط ويوفر تدرجات أكثر سلاسة، ولكن بتكلفة حسابية أعلى. SiLU (الوحدة الخطية السيجيمية)، والمعروفة أيضًا باسم Swish، هي خيار شائع آخر يُستخدم في نماذج مثل Ultralytics YOLOv8 و YOLOv10، وغالبًا ما يوفر توازنًا جيدًا بين الأداء والكفاءة(انظر مقارنات دالة التنشيط). يعتمد الخيار الأمثل في كثير من الأحيان على بنية الشبكة العصبية المحددة، ومجموعة البيانات (مثل ImageNet)، والنتائج التجريبية، وغالبًا ما يتم تحديدها من خلال ضبط المعلمة الفائقة.

تطبيقات في الذكاء الاصطناعي والتعلم الآلي

تُعد ReLU دالة تنشيطية مهيمنة بشكل خاص في الشبكات العصبية التلافيفية (CNNs) المستخدمة في مهام الرؤية الحاسوبية. قدرتها على التعامل مع اللاخطية بكفاءة تجعلها مثالية لمعالجة بيانات الصور.

• تحليل الصور الطبية: غالبًا ما تستخدم شبكات CNN المستخدمة في الذكاء الاصطناعي في مجال الرعاية الصحية تقنية ReLU في طبقاتها المخفية. على سبيل المثال، تقوم بمعالجة المعلومات المرئية المعقدة من الأشعة السينية أو التصوير بالرنين المغناطيسي للكشف عن الحالات الشاذة مثل الأورام أو الكسور، مما يساعد أخصائيي الأشعة في التشخيص(مثال بحثي من PubMed Central). إن كفاءة ReLU أمر بالغ الأهمية لتحليل عمليات المسح الطبي الكبيرة بسرعة.
• المركبات ذاتية القيادة: تعتمد أنظمة المركبات ذاتية القيادة، مثل تلك التي طورتها شركات مثل Waymo، اعتماداً كبيراً على شبكات CNN مع ReLU. تقوم هذه الشبكات بالكشف عن الأجسام في الوقت الحقيقي لتحديد المشاة والمركبات الأخرى وإشارات المرور وعلامات المسارات، مما يتيح التنقل الآمن. تُعد سرعة ReLU أمرًا بالغ الأهمية بالنسبة لزمن الاستنتاج المنخفض المطلوب في تطبيقات القيادة الذاتية.

على الرغم من انتشارها في الشبكات العصبية الشبكية الشبكية ذات المحولات الشبكية (CNNs)، إلا أن ReLU تُستخدم أيضًا في أنواع أخرى من الشبكات العصبية، على الرغم من استبدالها أحيانًا بمتغيرات أو وظائف أخرى في البنى مثل المحولات المستخدمة لتصنيف النصوص وغيرها من مهام البرمجة اللغوية العصبية. النماذج الحديثة مثل Ultralytics YOLO غالبًا ما تستخدم متغيرات ReLU أو وظائف تنشيط فعالة أخرى مثل SiLU. يمكنك تدريب مثل هذه النماذج ونشرها باستخدام منصات مثل Ultralytics HUB، والاستفادة من الأدلة الخاصة بنصائح تدريب النماذج للحصول على أفضل النتائج.