محول-XL

المفاهيم الأساسية للمحوّل-XL

يقدم Transformer-XL ابتكارين رئيسيين للتغلب على قيود المحولات القياسية عند التعامل مع التسلسلات الطويلة:

1. التكرار على مستوى المقطع: تعالج المحولات القياسية التسلسلات الطويلة عن طريق تقسيمها إلى مقاطع ذات حجم ثابت. ومع ذلك، لا يمكن أن تتدفق المعلومات بين هذه المقاطع، مما يؤدي إلى تجزئة السياق. يقدم Transformer-XL آلية التكرار حيث يتم تخزين الحالات المخفية المحسوبة لمقطع سابق وإعادة استخدامها كسياق عند معالجة المقطع الحالي. يسمح هذا للمعلومات بالانتشار عبر المقاطع، مما يخلق سياقًا فعالًا يتجاوز طول المقطع الواحد. ويشبه هذا من الناحية المفاهيمية الطريقة التي تحافظ بها الشبكات العصبية المتكررة (RNNs) على الحالة ولكنها مدمجة في إطار الانتباه الذاتي للمحول.
2. الترميزات الموضعية النسبية: يستخدم المحول الأصلي الترميزات الموضعية المطلقة لإعلام النموذج بموضع الرموز داخل التسلسل. عند تطبيق التكرار على مستوى المقاطع، تصبح إعادة استخدام الترميزات الموضعية المطلقة مشكلة لأن نفس مؤشر الموضع سيظهر في مقاطع مختلفة، مما يسبب الغموض. يستخدم Transformer-XL ترميزات موضعية نسبية، والتي تحدد المواضع بناءً على المسافة بين الرموز بدلاً من موقعها المطلق. هذا يجعل المعلومات الموضعية متسقة عبر المقاطع المختلفة ويسمح للنموذج بالتعميم بشكل أفضل على أطوال التسلسل المختلفة أثناء الاستدلال.

كيف يعمل Transformer-XL

أثناء التدريب والاستدلال، يقوم Transformer-XL بمعالجة تسلسلات المدخلات مقطعًا تلو الآخر. بالنسبة لكل مقطع جديد، فإنه يحسب درجات الانتباه ليس فقط بناءً على الرموز داخل هذا المقطع ولكن أيضًا باستخدام الحالات المخفية المخزنة مؤقتًا من المقطع (المقاطع) السابق (المقاطع). توفر هذه المعلومات المخزنة مؤقتًا سياقًا تاريخيًا. يضمن استخدام الترميزات الموضعية النسبية أن آلية الانتباه تفسر بشكل صحيح المواضع النسبية للرموز، حتى عند الانتباه إلى الرموز من المقطع السابق المخزن مؤقتًا. يزيد هذا النهج بشكل كبير من أقصى طول تبعية ممكن يمكن للنموذج التقاطه، وغالبًا ما يكون أكبر بكثير من طول المقطع نفسه، مع الحفاظ على الكفاءة الحسابية مقارنةً بمعالجة التسلسل بأكمله مرة واحدة باستخدام محول قياسي. تساعد هذه الطريقة في منع مشاكل مثل مشكلة تلاشي التدرج على التبعيات الطويلة.

المحول-XL مقابل المحول القياسي والنماذج ذات الصلة

يكمن الفرق الأساسي في التعامل مع طول التسلسل والسياق:

• طول السياق: تحتوي المحولات القياسية على حد أقصى ثابت لطول السياق يحدده حجم المقطع. يمكن لمحول-XL التقاط التبعيات التي قد يصل طولها إلى آلاف الرموز بسبب آلية التكرار الخاصة به.
• الحساب: يمكن أن يكون Transformer-XL أسرع بكثير من المحولات القياسية أثناء التقييم على التسلسلات الطويلة لأنه يتم إعادة استخدام العمليات الحسابية للمقاطع السابقة.
• الذاكرة: يتطلب التخزين المؤقت للحالات المخفية ذاكرة إضافية، لكنه يتجنب إعادة حساب التمثيلات للأجزاء السابقة من التسلسل.
• النماذج ذات الصلة: في حين أن نماذج مثل BERT و GPT (المحول التوليدي المدرب مسبقًا) تعتمد أيضًا على بنية المحول، إلا أنها عادةً ما تستخدم نهج السياق القياسي ذي الطول الثابت. يستهدف Transformer-XL على وجه التحديد قيود السياق الطويل. النماذج الأخرى مثل Longformer وRisformer تعالج أيضاً التسلسلات الطويلة ولكنها تستخدم تقنيات مختلفة مثل أنماط الانتباه المتناثرة أو التجزئة الحساسة للموقع.

الملاءمة والتطبيقات

إن قدرة Transformer-XL على نمذجة التبعيات بعيدة المدى تجعله فعّالاً للغاية في مختلف المهام المتسلسلة، خاصةً في معالجة اللغات الطبيعية.

• نمذجة اللغة: حقّق أحدث النتائج على معايير نمذجة اللغة على مستوى الأحرف والكلمات مثل enwik8 وويكي تكست-103 من خلال التقاط سياق أطول من النماذج السابقة. ويُعد هذا الفهم المحسّن لبنية اللغة أمرًا حيويًا لتوليد نص متماسك ومرتبط بالسياق.
• معالجة المستندات الطويلة: تستفيد المهام التي تنطوي على مستندات طويلة، مثل التلخيص(تلخيص النص)، أو الإجابة عن الأسئلة على المقالات الطويلة، أو تحليل كتب أو قواعد برمجيات كاملة، استفادة كبيرة من نافذة السياق الموسعة في Transformer-XL. على سبيل المثال، يمكن لنموذج Transformer-XL توليد قصص خيالية طويلة أو كتابة وحدات برمجية موسعة(توليد النصوص).
• التعلّم المعزز: لقد وجدت قدرات الذاكرة المحسنة أيضًا تطبيقات في مهام التعلم المعزز التي تتطلب تخطيطًا طويل المدى.

بينما تشتهر Transformer-XL في المقام الأول في مجال البرمجة اللغوية العصبية، فإن مبادئ التعامل مع التسلسلات الطويلة بكفاءة ذات صلة عبر التعلم الآلي (ML)، مما قد يؤثر على البنى الخاصة بتحليل السلاسل الزمنية أو حتى جوانب الرؤية الحاسوبية (CV) التي تتعامل مع بيانات الفيديو. غالبًا ما تتلاقح الابتكارات المعمارية؛ على سبيل المثال، ألهمت المحولات نفسها محولات الرؤية (ViT) المستخدمة في تحليل الصور. منصات مثل Hugging Face تطبيقات ونماذج مدربة مسبقًا، مما يسهل البحث وتطوير التطبيقات. يمكنك استكشاف البحث الأصلي في الورقة البحثية "Transformer-XL: نماذج اللغة اليقظة خارج سياق ثابت الطول". يساعد فهم مثل هذه البنى المتقدمة في إثراء عملية تطوير النماذج وضبطها في مختلف المجالات، بما في ذلك تلك التي تتم إدارتها ونشرها عبر منصات مثل Ultralytics HUB.