GELU (الوحدة الخطية للخطأ الغاوسي)

في مجال الذكاء الاصطناعي والتعلم الآلي، لا سيما في الشبكات العصبونية، تلعب وظائف التنشيط دورًا حاسمًا في تمكين النماذج من تعلم الأنماط المعقدة. الوحدة الخطية للخطأ الغوسي، أو GELU، هي إحدى وظائف التنشيط التي اكتسبت شهرةً كبيرةً بفضل أدائها في مختلف مهام التعلّم العميق. وهي مصممة لإدخال اللاخطية في الشبكات العصبية، مما يسمح لها بنمذجة العلاقات المعقدة في البيانات.

ما هو GELU؟

GELU، وهي اختصار لوحدة خطية للخطأ الغاوسي، هي دالة تنشيط للشبكات العصبية. تقرر دوال التنشيط ما إذا كان ينبغي تنشيط الخلية العصبية أم لا من خلال حساب مجموع مرجح وإضافة المزيد من التحيز معه. والغرض من دوال التنشيط هو إدخال اللاخطية في خرج الخلية العصبية. تُعرف دالة GELU على وجه التحديد بكونها تقريب سلس لدالة تنشيط الوحدة الخطية المعدلة (ReLU)، ولكن مع اختلاف رئيسي: فهي تعتمد على دالة التوزيع التراكمي للتوزيع الغاوسي. وهذا يجعل دالة GELU احتمالية، وفي كثير من الحالات، أكثر فعالية من دالة ReLU، خاصةً في بنيات الشبكات العصبية الحديثة.

كيف يعمل GELU

تتمثل الفكرة الأساسية وراء GELU في تنظيم الخلايا العصبية عشوائيًا عن طريق إسقاط المدخلات عشوائيًا بناءً على قيمتها. وبعبارات أبسط، بالنسبة لمدخل معين، يزن GELU المدخلات بناءً على ما إذا كانت أكبر أو أقل من الصفر، ولكن على عكس ReLU الذي يعد مفتاحًا صعبًا، يستخدم GELU نهجًا أكثر سلاسة واحتمالية. تُشتق هذه الطبيعة الاحتمالية من دالة التوزيع التراكمي (CDF) للتوزيع الغاوسي القياسي. تسأل الدالة بشكل أساسي "بالنظر إلى المدخل "س"، ما هو احتمال أن يكون أكبر من قيمة مستمدة من توزيع غاوسي قياسي؟ ثم يقوم هذا الاحتمال بقياس المدخلات، مما يؤدي إلى تنشيط سلس غير خطي. هذا الانتقال السلس حول الصفر هو السمة الرئيسية التي تميّز GELU عن ReLU ومتغيراته مثل Leaky ReLU، والتي لها انحناء حاد عند الصفر.

مزايا GELU

يقدم GELU العديد من المزايا التي تساهم في فعاليته في الشبكات العصبية:

• السلاسة: على عكس ReLU، تتسم GELU بالسلاسة عبر مجالها بالكامل، بما في ذلك حول الصفر. تساعد هذه السلاسة في التحسين القائم على التدرج، مما يسهل تدريب الشبكات العميقة وربما يؤدي إلى تعميم أفضل.
• غير مشبعة للمدخلات الإيجابية: على غرار ReLU، فإن GELU غير مشبعة للمدخلات الموجبة، مما يساعد على التخفيف من مشكلة تلاشي التدرج، مما يسمح بتدريب شبكات أعمق.
• نجاح تجريبي: أظهر GELU أداءً تجريبيًا قويًا في العديد من النماذج الحديثة، لا سيما في البنى القائمة على المحولات التي يشيع استخدامها في معالجة اللغات الطبيعية وبشكل متزايد في الرؤية الحاسوبية. وقد ثبت أن نهجها الاحتمالي للتفعيل يعزز دقة النموذج في العديد من المهام.
• التخفيف من مشكلة "احتضار وحدة التعلّم الارتجاعية: في حين أن وحدة التعلّم الارتجاعية يمكن أن تعاني من مشكلة "احتضار وحدة التعلّم الارتجاعية" حيث تصبح الخلايا العصبية غير نشطة وتتوقف عن التعلّم، فإن طبيعة وحدة التعلّم بالجيلو السلسة والمخرجات غير الصفرية للمدخلات السلبية تساعد في التخفيف من هذه المشكلة.

تطبيقات GELU

وجد GELU تطبيقات مهمة في مختلف مجالات الذكاء الاصطناعي:

• معالجة اللغات الطبيعية (NLP): يُستخدم GELU بشكل ملحوظ في نماذج البرمجة اللغوية العصبية المتقدمة، بما في ذلك BERT (تمثيلات التشفير ثنائية الاتجاه من المحولات) وخلفائها. وقد جعلتها قدرتها على تحسين أداء نماذج المحولات عنصرًا أساسيًا في أحدث أبحاث وتطبيقات البرمجة اللغوية العصبية. على سبيل المثال، غالبًا ما تستخدم نماذج مثل GPT-3 و GPT-4، التي تُستخدم في مهام توليد النصوص المتقدمة والترجمة الآلية، GELU كدالة تنشيط.
• الرؤية الحاسوبية: في حين كانت تقنية ReLU ومتغيراتها أكثر شيوعًا في الرؤية الحاسوبية، يتم اعتماد GELU بشكل متزايد في نماذج الرؤية، خاصة تلك التي تتضمن بنيات المحولات مثل محول الرؤية (ViT). بالنسبة لمهام مثل تصنيف الصور واكتشاف الأجسام، يمكن أن يعزز GELU قدرة النموذج على تعلم السمات البصرية المعقدة. على سبيل المثال، بدأت النماذج المستخدمة في تحليل الصور الطبية في الاستفادة من GELU لتحسين دقة التشخيص.
• التعرّف على الكلام: على غرار البرمجة اللغوية العصبية، أثبت التنشيط السلس لوحدة GELU فائدته في نماذج التعرف على الكلام ، مما يحسن التعامل مع البيانات المتسلسلة ويعزز دقة تحويل الكلام إلى نص.

GELU ضد ReLU

في حين أن كلاً من GELU و ReLU هما دالتا تنشيط غير خطية مصممتان لتحسين أداء الشبكات العصبونية، إلا أنهما تختلفان في نهجهما:

• ReLU (الوحدة الخطية المعدلة): ReLU هي دالة أبسط، حيث تُخرج المدخلات مباشرةً إذا كانت موجبة وصفرًا في غير ذلك. وهي فعالة من الناحية الحسابية ولكنها قد تعاني من مشكلة "ReLU المحتضرة" ولا تكون سلسة عند الصفر. يمكنك استكشاف المزيد عن ReLU ووظائف التنشيط ذات الصلة مثل دالة ReLU المتسرّبة في مسرد المصطلحات الخاص بنا.
• GELU (الوحدة الخطية للخطأ الغاوسي): GELU هي دالة أكثر سلاسة وتعقيدًا تستخدم نهجًا احتماليًا يعتمد على التوزيع الغاوسي. وهي تميل إلى الأداء الأفضل في النماذج الأكثر تعقيدًا، خاصةً المحولات، من خلال توفير تنشيط أكثر دقة وتخفيف مشاكل مثل "وحدة الخطأ الخطي الغاوسي" بسبب مخرجاتها غير الصفرية للمدخلات السلبية.

من حيث الجوهر، غالبًا ما يتم تفضيل ReLU لبساطته وكفاءته الحسابية، بينما يتم اختيار GELU لقدرته على توفير دقة أفضل وتدريب أكثر سلاسة، خاصة في البنى العميقة والمعقدة حيث يكون الأداء أمرًا بالغ الأهمية. يعتمد الاختيار بينهما غالبًا على التطبيق المحدد وبنية الشبكة العصبية المستخدمة. يمكن أن تساعد تقنيات مثل ضبط المعامل الفائق في تحديد دالة التنشيط المثلى لنموذج ومهمة معينة.

موارد أخرى

لتعميق فهمك لمفهوم GELU والمفاهيم ذات الصلة، فكّر في استكشاف هذه الموارد:

• ورقة GELU: اقرأ الورقة البحثية الأصلية عن GELU، "الوحدات الخطية للخطأ الغاوسي (GELUs)" على arXiv لفهم تقني متعمق.
• وظائف التنشيط في الشبكات العصبية: استكشف نظرة عامة شاملة عن دوال التنشيط بما في ذلك GELU على ويكيبيديا.
• فهم وظائف التنشيط: منشور مدونة مفصل يشرح دوال التنشيط المختلفة، بما في ذلك GELU، على موقع towardsdatascience.com.
• Ultralytics مسرد المصطلحات: للمزيد من التعريفات لمصطلحات الذكاء الاصطناعي والتعلم الآلي، تفضل بزيارة مسرد المصطلحات Ultralytics .
• Ultralytics YOLOv8: استكشف أحدث النماذج التي تستخدم وظائف التنشيط المتقدمة في Ultralytics YOLOv8 التوثيق.