آلية الانتباه

آلية الانتباه هي تقنية أساسية في الذكاء الاصطناعي (AI) التي تحاكي القدرة الإدراكية البشرية على التركيز على تفاصيل محددة مع تجاهل المعلومات غير ذات الصلة. في سياق التعلم العميق (DL)، تسمح هذه الآلية الشبكة العصبية (NN) بتخصيص مستويات مختلفة من الأهمية، أو "الأوزان"، لأجزاء مختلفة من البيانات المدخلة. بدلاً من معالجة صورة أو جملة كاملة بنفس القدر من التركيز، يتعلم النموذج الاهتمام بالسمات الأكثر أهمية — مثل كلمة معينة في جملة لفهم السياق، أو كائن مميز في مشهد بصري معقد . هذا الاختراق هو القوة الدافعة وراء بنية Transformer ، التي أحدثت ثورة في مجالات تتراوح من معالجة اللغة الطبيعية (NLP) إلى الرؤية الحاسوبية (CV).

كيف يعمل الانتباه

صُممت في الأصل لحل مشكلة محدودية الذاكرة في الشبكات العصبية المتكررة (RNNs)، تعالج آليات الانتباه مشكلة التدرج المتلاشي عن طريق إنشاء اتصالات مباشرة بين الأجزاء البعيدة من تسلسل البيانات. غالبًا ما توصف العملية باستخدام تشبيه الاسترجاع الذي يتضمن ثلاثة مكونات: الاستعلامات والمفاتيح والقيم.

• الاستعلام (Q): يمثل ما يبحث عنه النموذج حاليًا (على سبيل المثال، موضوع الجملة).
• المفتاح (K): يعمل كمُعرف للمعلومات المتاحة في المدخلات.
• القيمة (V): تحتوي على محتوى المعلومات الفعلي.

من خلال مقارنة الاستعلام بمفاتيح مختلفة، يحسب النموذج درجة الاهتمام. تحدد هذه الدرجة مقدار القيمة التي يتم استردادها واستخدامها لتشكيل الناتج. وهذا يسمح للنماذج بالتعامل مع التبعيات بعيدة المدى بشكل فعال، وفهم العلاقات بين نقاط البيانات بغض النظر عن المسافة بينها.

تطبيقات واقعية

لقد مكنت آليات الانتباه من تحقيق بعض من أبرز التطورات في التكنولوجيا الحديثة.

• الترجمة الآلية: تعتمد أنظمة مثل Google على الانتباه لمواءمة الكلمات بين اللغات. عند ترجمة "The black cat" (English) إلى "Le chat noir" (الفرنسية)، يجب على النموذج عكس ترتيب الصفة والاسم. يسمح الانتباه للمفكك بالتركيز على "black" عند إنشاء "noir" و"cat" عند إنشاء "chat"، مما يضمن الدقة النحوية.
• تحليل الصور الطبية: في مجال الرعاية الصحية، تساعد خرائط الانتباه أخصائيي الأشعة من خلال إبراز المناطق المشبوهة في الأشعة السينية أو التصوير بالرنين المغناطيسي. على سبيل المثال، عند تشخيص حالات شاذة في مجموعات بيانات أورام الدماغ، يركز النموذج قوته المعالجة على أنسجة الورم مع تصفية أنسجة الدماغ السليمة، مما يحسن دقة التشخيص.
• المركبات ذاتية القيادة: تستخدم السيارات ذاتية القيادة الانتباه البصري لإعطاء الأولوية للعناصر الحيوية على الطريق. في وسط شارع مزدحم، يركز النظام بشكل كبير على المشاة وإشارات المرور - معاملتها كإشارات ذات أولوية عالية - بينما يولي اهتمامًا أقل للعناصر الثابتة في الخلفية مثل السماء أو المباني.

الانتباه مقابل التداخل

من المهم التمييز بين الانتباه و الشبكات العصبية التلافيفية (CNNs). بينما تعالج CNNs البيانات محليًا باستخدام نافذة ثابتة (kernel) detect والأنسجة، فإن الانتباه يعالج البيانات بشكل شامل، ويربط كل جزء من المدخلات بكل جزء آخر.

• الانتباه الذاتي: نوع محدد من الانتباه حيث ينظر النموذج إلى نفسه لفهم السياق داخل تسلسل واحد.
• الكفاءة: قد تكون نماذج الانتباه الخالص مكلفة من الناحية الحسابية (تعقيد تربيعي). تقنيات التحسين الحديثة مثل الاهتمام الفوري تستخدم GPU بشكل أكثر فعالية لتسريع التدريب.

بينما النماذج الحديثة مثل Ultralytics مُحسّنة للاستدلال في الوقت الحقيقي الاستدلال في الوقت الفعلي باستخدام هياكل CNN المتقدمة، فإن البنى الهجينة مثل RT-DETR (محول الكشف في الوقت الحقيقي) تستخدم الانتباه بشكل صريح لتحقيق دقة عالية. يمكن تدريب ونشر كلا النوعين من النماذج بسهولة باستخدام Ultralytics .

مثال على الرمز

يوضح Python التالي Python كيفية إجراء الاستدلال باستخدام RT-DETR، نموذج معماري يعتمد بشكل أساسي على آليات الانتباه من أجل اكتشاف الأجسام.

from ultralytics import RTDETR

# Load a pre-trained RT-DETR model which uses attention mechanisms
# This model captures global context effectively compared to pure CNNs
model = RTDETR("rtdetr-l.pt")

# Perform inference on an image URL
results = model("https://ultralytics.com/images/bus.jpg")

# Print the number of detections found via transformer attention
print(f"Detected {len(results[0].boxes)} objects using attention-based detection.")