آلية الانتباه

كيف تعمل آليات الانتباه

فبدلاً من معالجة تسلسل المدخلات أو الصورة بالكامل بشكل موحد، تقوم آلية الانتباه بتعيين "درجات انتباه" أو أوزان لمقاطع المدخلات المختلفة. تشير هذه الدرجات إلى أهمية أو أهمية كل مقطع فيما يتعلق بالمهمة المحددة المطروحة (على سبيل المثال، التنبؤ بالكلمة التالية في جملة ما أو تصنيف كائن في صورة ما). تحصل المقاطع ذات الدرجات الأعلى على تركيز أكبر من النموذج أثناء الحساب. يسمح هذا التخصيص الديناميكي للنموذج بإعطاء الأولوية للمعلومات المهمة في كل خطوة، مما يؤدي إلى نتائج أكثر دقة وإدراكاً للسياق. وهذا يتناقض مع البنى الأقدم مثل الشبكات العصبية المتكررة القياسية (RNNs)، التي تعالج البيانات بالتتابع ويمكن أن تكافح لتذكر المعلومات من الأجزاء السابقة من التسلسلات الطويلة بسبب مشاكل مثل تلاشي التدرجات.

الملاءمة والأنواع

أصبحت آليات الانتباه مكوّنات أساسية في العديد من النماذج الحديثة، مما يؤثر بشكل كبير على مجالات مثل معالجة اللغات الطبيعية والرؤية الحاسوبية. فهي تساعد في التغلب على قيود النماذج التقليدية في التعامل مع التبعيات بعيدة المدى والتقاط العلاقات المعقدة داخل البيانات. تشمل الأنواع الرئيسية والمفاهيم ذات الصلة ما يلي:

• الاهتمام الذاتي: يسمح للنموذج بموازنة أهمية الأجزاء المختلفة من نفس تسلسل المدخلات بالنسبة لبعضها البعض. هذه هي الآلية الأساسية في المحولات.
• انتباه متقاطع: يُمكّن النموذج من التركيز على الأجزاء ذات الصلة من تسلسل آخر، وغالبًا ما يُستخدم في مهام التسلسل إلى تسلسل مثل الترجمة.
• انتباه المنطقة: وهو متغير مصمم لتحقيق الكفاءة، حيث يركز الانتباه على مناطق أكبر، كما هو واضح في نماذج مثل Ultralytics YOLO12. يمكن أن يقلل هذا من التكلفة الحسابية المرتبطة بالانتباه الذاتي القياسي على خرائط الميزات الكبيرة، وهو أمر شائع في اكتشاف الأجسام.

تعتمد نماذج مثل نماذج BERT و GPT بشكل كبير على الانتباه الذاتي لمهام البرمجة اللغوية العصبية، بينما تقوم محولات الرؤية (ViTs) بتكييف هذا المفهوم لمهام تحليل الصور مثل تصنيف الصور.

الانتباه مقابل الآليات الأخرى

من المفيد التمييز بين آليات الانتباه ومكونات الشبكة العصبية الشائعة الأخرى:

• الشبكات العصبية التلافيفية (CNNs): تستخدم الشبكات العصبية التلافيفية عادةً مرشحات(نواة) ذات حجم ثابت لمعالجة التسلسلات الهرمية المكانية المحلية في البيانات مثل الصور. وعلى الرغم من فعاليتها في التقاط الأنماط المحلية، إلا أنها قد تواجه صعوبة في التعامل مع التبعيات بعيدة المدى دون وجود بنيات متخصصة. يمكن للانتباه، وخاصة الانتباه الذاتي، التقاط العلاقات العالمية عبر المدخلات بأكملها بشكل مباشر أكثر.
• الشبكات العصبية المتكررة (RNNs): تعالج شبكات RNNs البيانات المتسلسلة خطوة بخطوة، مع الحفاظ على حالة مخفية. على الرغم من تصميمها للتسلسل، تواجه شبكات RNN القياسية تحديات مع التبعيات الطويلة. تعالج آليات الانتباه، التي غالبًا ما تُستخدم جنبًا إلى جنب مع الشبكات العصبية الشبكية العصبونية المتسلسلة أو كجزء من بنيات المحولات، هذا الأمر بشكل صريح من خلال السماح للنموذج بالرجوع إلى المدخلات السابقة ذات الصلة بغض النظر عن المسافة. الأطر الحديثة مثل PyTorch و TensorFlow تدعم تطبيقات كل هذه البنى.

التطبيقات الواقعية

تُعد آليات الانتباه جزءًا لا يتجزأ من العديد من تطبيقات الذكاء الاصطناعي الحديثة:

• الترجمة الآلية: في خدمات مثل خدمة الترجمةGoogle Translate، يساعد الانتباه النموذج على التركيز على كلمات المصدر ذات الصلة عند توليد كل كلمة في اللغة الهدف، مما يحسن من جودة الترجمة وطلاقتها.
• اكتشاف الكائنات والرؤية الحاسوبية: تستخدم نماذج مثل YOLO12 آليات الانتباه (مثل الانتباه إلى المنطقة) لتركيز الموارد الحاسوبية على المناطق المهمة داخل الصورة، مما يعزز دقة الكشف مع الحفاظ على الكفاءة اللازمة للاستدلال في الوقت الفعلي. وهذا أمر بالغ الأهمية للتطبيقات في القيادة الذاتية والروبوتات.
• تلخيص النص: يساعد الانتباه على تحديد الجمل أو العبارات الرئيسية في مستند طويل لتوليد ملخصات موجزة، وتستخدمها أدوات مثل SummarizeBot.
• شرح الصور: تتعلم النماذج التركيز على الأشياء أو المناطق البارزة في الصورة عند إنشاء تعليقات نصية وصفية.
• تحليل الصور الطبية: يمكن للانتباه تسليط الضوء على المناطق الحرجة في الفحوصات الطبية (مثل الأورام في التصوير بالرنين المغناطيسي) للتشخيص أو التحليل، مما يساعد أخصائيي الأشعة. انظر أمثلة في مجموعات بيانات التصوير الطبي.

تسمح منصات مثل Ultralytics HUB للمستخدمين بتدريب النماذج المتقدمة والتحقق من صحتها ونشرها، بما في ذلك تلك التي تتضمن آليات الانتباه، وغالبًا ما تستفيد من أوزان النماذج المدربة مسبقًا والمتاحة على منصات مثل Hugging Face.