الانتباه الذاتي

كيفية عمل الانتباه الذاتي

تتمثل الفكرة الأساسية وراء الانتباه الذاتي في محاكاة قدرة الإنسان على التركيز على أجزاء محددة من المعلومات مع مراعاة سياقها. فعند قراءة جملة، على سبيل المثال، غالباً ما يعتمد معنى الكلمة على الكلمات المحيطة بها. يُمكّن نموذج الانتباه الذاتي نموذج الذكاء الاصطناعي من تقييم العلاقات بين جميع العناصر (مثل الكلمات أو بقع الصور) ضمن تسلسل الإدخال. ويحسب "درجات الانتباه" لكل عنصر بالنسبة لكل عنصر آخر في التسلسل. وتحدد هذه الدرجات مقدار "الانتباه" أو الوزن الذي يجب أن يحصل عليه كل عنصر عند إنشاء تمثيل مخرجات لعنصر معين، مما يسمح للنموذج بالتركيز على الأجزاء الأكثر صلة من المدخلات لفهم السياق والتبعيات بعيدة المدى. تتضمّن هذه العملية إنشاء تمثيلات استعلام ومفتاح وقيمة لكل عنصر من المدخلات، وغالبًا ما تكون مشتقة من تضمينات المدخلات باستخدام أطر مثل PyTorch أو TensorFlow.

المزايا الرئيسية

يوفر الانتباه الذاتي العديد من المزايا مقارنةً بتقنيات المعالجة التسلسلية القديمة مثل الشبكات العصبية المتكررة (RNNs) وبعض جوانب الشبكات العصبية التلافيفية (CNNs):

• التقاط التبعيات بعيدة المدى: تتفوق في الربط بين العناصر المتباعدة في التسلسل، وتتغلب على القيود مثل التدرجات المتلاشية الشائعة في الشبكات الشبكية ذات التدرجات المتدرجة.
• التوازي: يمكن حساب درجات الانتباه بين جميع أزواج العناصر في وقت واحد، مما يجعلها مناسبة للغاية للمعالجة المتوازية على أجهزة مثل وحدات معالجة الرسوميات وتسريع تدريب النموذج بشكل كبير.
• قابلية التفسير: يمكن أن يوفر تحليل أوزان الانتباه رؤى حول عملية اتخاذ القرار في النموذج، مما يساهم في قابلية التفسير للذكاء الاصطناعي (XAI).
• تحسين الفهم السياقي: من خلال تقييم أهمية جميع أجزاء المدخلات، تكتسب النماذج فهمًا أكثر ثراءً للسياق، مما يؤدي إلى أداء أفضل في المهام المعقدة أثناء الاستدلال. هذا أمر بالغ الأهمية للمهام التي يتم تقييمها على مجموعات بيانات كبيرة مثل ImageNet.

الانتباه الذاتي مقابل الانتباه التقليدي

وفي حين أن كلاهما يندرج تحت مظلة آليات الانتباه، إلا أن الانتباه الذاتي يختلف بشكل كبير عن الانتباه التقليدي. عادةً ما يحسب الانتباه التقليدي درجات الانتباه بين عناصر تسلسلين مختلفين، مثل ربط الكلمات في جملة المصدر بالكلمات في الجملة الهدف أثناء الترجمة الآلية (على سبيل المثال، من English إلى الفرنسية). إلا أن الانتباه الذاتي يحسب درجات الانتباه ضمن تسلسل واحد، ويربط عناصر المدخلات بعناصر أخرى من نفس المدخلات. هذا التركيز الداخلي هو مفتاح فعاليتها في المهام التي تتطلب فهمًا عميقًا لبنية المدخلات وسياقها، على عكس الأساليب التي تركز فقط على السمات المحلية عبر الالتفاف.

تطبيقات في الذكاء الاصطناعي

يُعد الانتباه الذاتي أمرًا أساسيًا للعديد من النماذج الحديثة في مختلف المجالات:

• معالجة اللغات الطبيعية (NLP): إنها تشغل طرازات مثل بيرت و GPT-4 من منظمات مثل OpenAI.
  • مثال 1 (تلخيص النص): عند تلخيص مستند طويل، يساعد الانتباه الذاتي النموذج على تحديد الجمل الأكثر بروزًا وفهم كيفية ارتباط الأجزاء المختلفة من النص بالموضوع الرئيسي، مما يؤدي إلى ملخصات أكثر تماسكًا وغنية بالمعلومات تستخدمها أدوات مثل SummarizeBot.
  • مثال 2 (الترجمة الآلية): في ترجمة "جلس القط على السجادة. لقد كان رقيقًا"، يساعد الانتباه الذاتي النموذج على ربط كلمة "إنها" بـ "القطة" بشكل صحيح بدلاً من "السجادة"، مما يضمن ترجمة دقيقة، كما هو موضح في خدمات مثل ترجمةGoogle . هذا أمر بالغ الأهمية للنمذجة اللغوية.
• الرؤية الحاسوبية: البنى مثل محولات الرؤية (ViT) تطبيق الانتباه الذاتي على رقع الصور.
  • مثال 1 (اكتشاف الكائنات): نماذج مثل Ultralytics YOLO12 و RT-DETR تستخدم الآليات القائمة على الانتباه للتركيز على مناطق الصورة ذات الصلة، مما يحسن دقة اكتشاف الأجسام حتى في المشاهد المزدحمة. وهذا مفيد في تطبيقات مثل القيادة الذاتية لتحديد المشاة والمركبات الأخرى. تسلط المقارنات الفنية الضوء على الاختلافات في الأداء.
  • مثال 2 (تصنيف الصور): لتصنيف صورة تحتوي على كائنات متعددة، يسمح الانتباه الذاتي للنموذج بتقييم أهمية الكائنات أو الميزات المختلفة لتحديد فئة المشهد الكلية (على سبيل المثال، التركيز على الحيوانات في صورة الحياة البرية من مجموعة بيانات الحياة البرية الأفريقية).
• مجالات أخرى: يتم تطبيقه أيضًا في تجزئة الصور وتحليل الصور الطبية والتعرف على الكلام.

الاتجاهات المستقبلية

تستمر الأبحاث في تحسين آليات الانتباه الذاتي، بهدف زيادة الكفاءة الحسابية (على سبيل المثال، أساليب مثل FlashAttention ومتغيرات الانتباه المتناثرة) وقابلية التطبيق على نطاق أوسع. ومع ازدياد تعقيد نماذج الذكاء الاصطناعي، من المتوقع أن يظل الانتباه الذاتي تقنية أساسية تقود التقدم في مجالات من تطبيقات الذكاء الاصطناعي المتخصصة مثل الروبوتات إلى السعي وراء الذكاء الاصطناعي العام (AGI). تعمل أدوات ومنصات مثل Ultralytics HUB على تسهيل تدريب ونشر النماذج التي تتضمن هذه التقنيات المتقدمة، وغالباً ما تكون متاحة عبر مستودعات مثل Hugging Face.