اكتشف قوة الانتباه الذاتي في الذكاء الاصطناعي، وإحداث ثورة في البرمجة اللغوية العصبية والرؤية الحاسوبية والتعرف على الكلام بدقة مدركة للسياق.
يعد الانتباه الذاتي آلية محورية في الذكاء الاصطناعي الحديث، وهي بارزة بشكل خاص في بنية المحول التي تم تقديمها في الورقة البحثية المؤثرة "الانتباه هو كل ما تحتاجه". فهي تسمح للنماذج بتقييم أهمية الأجزاء المختلفة من تسلسل مدخلات واحد عند معالجة المعلومات، مما يتيح فهمًا أعمق للسياق والعلاقات داخل البيانات نفسها. وهذا يتناقض مع أساليب الانتباه السابقة التي ركزت في المقام الأول على الربط بين تسلسلات المدخلات والمخرجات المختلفة. وقد كان تأثيرها تحويليًا في معالجة اللغة الطبيعية، كما أنها تكتسب أهمية متزايدة في مجال الرؤية الحاسوبية.
تتمثل الفكرة الأساسية وراء الانتباه الذاتي في محاكاة قدرة الإنسان على التركيز على أجزاء محددة من المعلومات مع مراعاة سياقها. فعند قراءة جملة، على سبيل المثال، غالباً ما يعتمد معنى الكلمة على الكلمات المحيطة بها. يُمكّن نموذج الانتباه الذاتي نموذج الذكاء الاصطناعي من تقييم العلاقات بين جميع العناصر (مثل الكلمات أو بقع الصور) ضمن تسلسل الإدخال. ويحسب "درجات الانتباه" لكل عنصر بالنسبة لكل عنصر آخر في التسلسل. وتحدد هذه الدرجات مقدار "الاهتمام" أو الوزن الذي يجب أن يحصل عليه كل عنصر عند إنشاء تمثيل مخرجات لعنصر معين، مما يسمح للنموذج بالتركيز على الأجزاء الأكثر صلة من المدخلات لفهم السياق والتبعيات بعيدة المدى. تتضمن هذه العملية إنشاء تمثيلات استعلام ومفتاح وقيمة لكل عنصر من المدخلات، وغالبًا ما تكون مشتقة من تضمينات المدخلات.
يوفر الانتباه الذاتي العديد من المزايا مقارنةً بتقنيات المعالجة التسلسلية القديمة:
وفي حين أن كلاهما يندرج تحت مظلة آليات الانتباه، إلا أن الانتباه الذاتي يختلف بشكل كبير عن الانتباه التقليدي. حيث يقوم الانتباه التقليدي عادةً بحساب درجات الانتباه بين عناصر تسلسلين مختلفين، مثل ربط الكلمات في جملة المصدر بالكلمات في الجملة الهدف أثناء الترجمة الآلية. لكن الانتباه الذاتي يحسب درجات الانتباه ضمن تسلسل واحد، ويربط عناصر المدخلات بعناصر أخرى من نفس المدخلات. هذا التركيز الداخلي هو مفتاح فعاليته في المهام التي تتطلب فهمًا عميقًا لبنية المدخلات وسياقها.
يُعد الانتباه الذاتي أمرًا أساسيًا للعديد من النماذج الحديثة في مختلف المجالات:
تستمر الأبحاث في تحسين آليات الانتباه الذاتي، بهدف زيادة الكفاءة الحسابية (على سبيل المثال، أساليب مثل FlashAttention ومتغيرات الانتباه المتناثرة) وقابلية التطبيق على نطاق أوسع. ومع ازدياد تعقيد نماذج الذكاء الاصطناعي، من المتوقع أن يظل الانتباه الذاتي تقنية أساسية تقود التقدم في مجالات من تطبيقات الذكاء الاصطناعي المتخصصة إلى السعي لتحقيق الذكاء الاصطناعي العام (AGI). تعمل أدوات ومنصات مثل Ultralytics HUB على تسهيل تدريب ونشر النماذج التي تتضمن هذه التقنيات المتقدمة.
AR
EN
ZH
KO
JA
RU
DE
FR
ES
PT
IT
TR
VI
