مسرد المصطلحات

لونجفورمر

اكتشف Longformer، وهو نموذج المحول المحسّن للتسلسلات الطويلة، مما يوفر كفاءة قابلة للتطوير في معالجة اللغات الطبيعية وعلم الجينوم وتحليل الفيديو.

تدريب YOLO النماذج
ببساطة مع Ultralytics HUB

التعرف على المزيد

Longformer هو نموذج متخصص قائم على المحولات مصمم لمعالجة التسلسلات الطويلة جدًا من النصوص بكفاءة، متغلبًا على القيود الموجودة في النماذج السابقة مثل BERT (تمثيلات التشفير ثنائية الاتجاه من المحولات). يعالج Longformer، الذي طوره باحثون في معهد ألين للذكاء الاصطناعي (AI2)، التحدي الذي تواجهه نماذج المحولات القياسية في التعقيد الحسابي عند التعامل مع آلاف الرموز، مما يجعله مناسبًا للمهام التي تتضمن مستندات طويلة. وتعد هذه القدرة ضرورية لتطوير تطبيقات معالجة اللغات الطبيعية (NLP) التي تتطلب فهم السياق عبر امتدادات نصية واسعة النطاق.

كيف يعمل لونجفورمر

تستخدم نماذج المحولات القياسية آلية انتباه ذاتي كاملة حيث يتصل كل رمز مميز بكل رمز مميز آخر. على الرغم من قوة هذه الآلية، إلا أن متطلبات الذاكرة والحساب لهذه الآلية تنمو بشكل تربيعي مع طول التسلسل، مما يجعلها غير عملية للتسلسلات التي تزيد عن بضع مئات من الرموز. يقدم Longformer نمط انتباه فعّال يتناسب خطيًا مع طول التسلسل. يستخدم في المقام الأول مزيجًا من:

  • انزلاق نافذة الانتباه: يحضر كل رمز مميز فقط إلى عدد ثابت من الرموز المجاورة على كلا الجانبين، مما يؤدي إلى إنشاء نافذة سياق محلي.
  • النوافذ المنزلقة المتوسعة: لزيادة المجال الاستقبالي دون زيادة كبيرة في الحوسبة، تستخدم بعض طبقات الانتباه ذات النوافذ المنزلقة فجوات (التمدد)، مما يسمح للرموز بالحضور إلى الرموز البعيدة بشكل غير مباشر.
  • اهتمام عالمي: يُسمح لعدد قليل من الرموز المميزة المحددة مسبقًا بحضور التسلسل بأكمله، ويمكن للتسلسل بأكمله أن يحضر إليها. يُستخدم هذا غالبًا لرموز محددة حاسمة للمهمة، مثل [CLS] الرمز المميز في مهام التصنيف.

تسمح آلية الانتباه المعدّلة هذه ل Longformer بالتعامل مع مدخلات تصل إلى عشرات الآلاف من الرموز، أي أطول بكثير من الحد النموذجي للنماذج مثل BERT الذي يبلغ 512 رمزاً، مع الحفاظ على أداء قوي. هذه الكفاءة أمر حيوي للعديد من مهام التعلم الآلي في العالم الحقيقي.

الاختلافات الرئيسية عن النماذج الأخرى

يكمن الفرق الأساسي بين Longformer ونماذج مثل BERT أو GPT-2 في الحد الأقصى لطول التسلسل الذي يمكن معالجته بكفاءة. في حين أن BERT يقتصر على 512 رمزًا، يمكن ل Longformer إدارة تسلسلات أطول بأضعاف. وتستخدم النماذج الأخرى المصممة للتسلسلات الطويلة، مثل Reformer أو Transformer-XL، تقنيات مختلفة مثل التجزئة الحساسة للموقع أو آليات التكرار لتحقيق الكفاءة. يوفر نهج Longformer، المفصل في ورقة البحث الأصلية، مزيجًا مرنًا من الاهتمام المحلي والعالمي المناسب لمختلف المهام النهائية بعد الضبط الدقيق.

التطبيقات وحالات الاستخدام

تفتح قدرة Longformer على معالجة المستندات الطويلة إمكانيات للعديد من مهام البرمجة اللغوية العصبية التي كانت في السابق صعبة أو تتطلب حلولاً معقدة مثل تقسيم المستندات.

  • الإجابة على الأسئلة على مستوى المستندات: العثور على إجابات ضمن مستندات مستفيضة، مثل النصوص القانونية أو الكتيبات التقنية أو التقارير المطولة، حيث قد تعتمد الإجابة على معلومات موزعة على فقرات أو صفحات.
  • تلخيص المستند الطويل: إنشاء ملخصات موجزة لمقالات أو أوراق بحثية أو فصول كتب كاملة من خلال فهم سياق المستند الكامل.
  • حل الإسناد الأساسي: تحديد الإشارات التي تشير إلى نفس الكيان عبر امتدادات طويلة من النص.
  • تحليل الأدبيات العلمية: معالجة المعلومات واستخراجها من الأوراق الأكاديمية الكثيفة. منصات مثل Hugging Face سهولة الوصول إلى نماذج Longformer المدربة مسبقًا لهذه التطبيقات عبر مكتبة المحولات الخاصة بها.

الأهمية في الذكاء الاصطناعي/التشغيل الآلي

يمثل Longformer خطوة مهمة إلى الأمام في تمكين نماذج التعلم العميق من فهم النصوص الطويلة والاستدلال عليها. من خلال التغلب على عنق زجاجة التعقيد التربيعي للمحوّلات القياسية، فإنه يسمح لنماذج اللغة الكبيرة (LLMs) بمعالجة المهام التي تتضمن المستندات والكتب والحوارات الموسعة بشكل أكثر فعالية. تُعد هذه القدرة ضرورية للتطبيقات التي تتطلب فهماً سياقياً عميقاً، مما يدفع حدود ما يمكن أن يحققه الذكاء الاصطناعي في معالجة اللغة البشرية الموجودة في تنسيقات مطولة. في حين أن نماذج مثل Ultralytics YOLO تتفوق في مهام الرؤية الحاسوبية مثل اكتشاف الأجسام، فإن Longformer توفر تطورات مماثلة للتعامل مع البيانات النصية الطويلة المعقدة. تعمل أدوات مثل Ultralytics HUB على تبسيط نشر نماذج الذكاء الاصطناعي المختلفة وإدارتها، بما في ذلك النماذج التي يُحتمل أن تكون مُعدّة بدقة لمهام محددة في مجال البرمجة اللغوية العصبية.

قراءة الكل