نافذة السياق

كيف تعمل نافذة السياق؟

تعتمد النماذج التي تعالج البيانات بالتتابع، مثل الشبكات العصبية المتكررة (RNNs) وخاصةً المحولات، على نافذة السياق. عندما يقوم النموذج بتحليل جزء من البيانات في تسلسل ما، فإنه لا ينظر فقط إلى نقطة البيانات المنفردة تلك بمعزل عن غيرها. بدلاً من ذلك، فإنه ينظر إلى نقطة البيانات مع عدد محدد من نقاط البيانات السابقة - هذه المجموعة من النقاط هي نافذة السياق. على سبيل المثال، في نموذج اللغة، للتنبؤ بالكلمة التالية في الجملة، ينظر النموذج إلى الكلمات القليلة الأخيرة. يتم تحديد عدد الكلمات التي يأخذها في الاعتبار حسب حجم نافذة السياق. يساعد هذا النموذج على التقاط التبعيات والأنماط الضرورية لفهم المعلومات المتسلسلة. يمكن الاطلاع على لمحة عامة عن كيفية عمل النماذج اللغوية في هذه المقدمة عن نماذج اللغات.

أمثلة على نافذة السياق في تطبيقات الذكاء الاصطناعي/التعلم الآلي في العالم الحقيقي

يعد مفهوم نافذة السياق جزءًا لا يتجزأ من العديد من تطبيقات الذكاء الاصطناعي:

• روبوتات المحادثة والمساعدين الافتراضيين: تستخدم روبوتات المحادثة الحديثة نوافذ السياق للحفاظ على سجل المحادثة. وهذا يسمح لها بفهم أسئلة المتابعة، والرجوع إلى النقاط السابقة، وتوفير تفاعلات أكثر طبيعية ومتماسكة، وتجنب الردود المتكررة أو غير ذات الصلة. تستفيد نماذج مثل Gemini من Google من نوافذ السياق الكبيرة لإجراء حوار متطور.
• تحليل السلاسل الزمنية للتنبؤ المالي: تقوم النماذج المالية بتحليل تسلسل أسعار الأسهم السابقة أو المؤشرات الاقتصادية أو أحجام التداول ضمن نافذة سياق محدد للتنبؤ بتحركات السوق المستقبلية. يحدد حجم النافذة مقدار تأثير البيانات التاريخية على التنبؤ. وغالبًا ما يعتمد الذكاء الاصطناعي في المجال المالي على نوافذ السياق المضبوطة بعناية.
• خوارزميات النص التنبؤي: عندما تكتب على هاتفك الذكي، تقترح لوحة المفاتيح الكلمة التالية بناءً على الكلمات السابقة داخل نافذة السياق، مما يحسّن سرعة الكتابة ودقتها. هذه الميزة هي تطبيق مباشر لنافذة سياق صغيرة وفعالة.

الاعتبارات الرئيسية والمفاهيم ذات الصلة

ينطوي اختيار حجم نافذة السياق الصحيح على مفاضلة. يمكن للنوافذ الأكبر حجمًا أن تلتقط المزيد من السياق ومن المحتمل أن تحسّن دقة النموذج، خاصةً بالنسبة للمهام التي تتطلب فهم التبعية بعيدة المدى. ومع ذلك، فإنها تتطلب المزيد من الذاكرة والقدرة الحاسوبية، مما قد يؤدي إلى إبطاء التدريب والاستدلال. يتم تطوير تقنيات مثل Transformer-XL للتعامل مع السياقات الأطول بكفاءة أكبر، كما هو مفصل في بحث من جامعة كارنيجي ميلون.

من المفيد التمييز بين نافذة السياق والمصطلحات ذات الصلة:

• المجال الاستقبالي: بينما تتشابه من الناحية المفاهيمية (منطقة المدخلات التي تؤثر على المخرجات)، إلا أن الحقول المستقبلة تشير عادةً إلى المدى المكاني في المدخلات مثل الصور التي تعالجها الشبكات العصبية التلافيفية (CNNs). وعادةً ما تنطبق نافذة السياق على البيانات المتسلسلة (نصوص، سلاسل زمنية، إطارات فيديو).
• طول التسلسل: في العديد من النماذج، خاصةً المحولات، يحدد حجم نافذة السياق مباشرةً الحد الأقصى لطول التسلسل الذي يمكن للنموذج معالجته مرة واحدة. قد تحتاج التسلسلات الأطول إلى اقتطاعها أو معالجتها باستخدام بنيات متخصصة. هذا مهم للغاية بالنسبة لنماذج من تسلسل إلى تسلسل.

توفر أطر العمل مثل PyTorch (عبر موقع PyTorch الرسمي) و TensorFlow (المفصلة على موقع TensorFlow الرسمي) أدوات لبناء النماذج حيث تكون نوافذ السياق معلمة رئيسية. غالباً ما يتطلب النشر الفعال للنماذج تحسين التعامل مع السياق، والذي يمكن إدارته من خلال منصات مثل Ultralytics HUB.