اكتشف Longformer، وهو نموذج المحول المحسّن للتسلسلات الطويلة، مما يوفر كفاءة قابلة للتطوير في معالجة اللغات الطبيعية وعلم الجينوم وتحليل الفيديو.
Longformer هو نموذج متخصص قائم على المحولات مصمم لمعالجة التسلسلات الطويلة جدًا من النصوص بكفاءة، متغلبًا على القيود الموجودة في النماذج السابقة مثل BERT (تمثيلات التشفير ثنائية الاتجاه من المحولات). يعالج Longformer، الذي طوره باحثون في معهد ألين للذكاء الاصطناعي (AI2)، التحدي الذي تواجهه نماذج المحولات القياسية في التعقيد الحسابي عند التعامل مع آلاف الرموز، مما يجعله مناسبًا للمهام التي تتضمن مستندات طويلة. وتعد هذه القدرة ضرورية لتطوير تطبيقات معالجة اللغات الطبيعية (NLP) التي تتطلب فهم السياق عبر امتدادات نصية واسعة النطاق.
تستخدم نماذج المحولات القياسية آلية انتباه ذاتي كاملة حيث يتصل كل رمز مميز بكل رمز مميز آخر. على الرغم من قوة هذه الآلية، إلا أن متطلبات الذاكرة والحساب لهذه الآلية تنمو بشكل تربيعي مع طول التسلسل، مما يجعلها غير عملية للتسلسلات التي تزيد عن بضع مئات من الرموز. يقدم Longformer نمط انتباه فعّال يتناسب خطيًا مع طول التسلسل. يستخدم في المقام الأول مزيجًا من:
AR
EN
ZH
KO
JA
RU
DE
FR
ES
PT
IT
TR
VI
[CLS] الرمز المميز في مهام التصنيف.تسمح آلية الانتباه المعدّلة هذه ل Longformer بالتعامل مع مدخلات تصل إلى عشرات الآلاف من الرموز، أي أطول بكثير من الحد النموذجي للنماذج مثل BERT الذي يبلغ 512 رمزاً، مع الحفاظ على أداء قوي. هذه الكفاءة أمر حيوي للعديد من مهام التعلم الآلي في العالم الحقيقي.
يكمن الفرق الأساسي بين Longformer ونماذج مثل BERT أو GPT-2 في الحد الأقصى لطول التسلسل الذي يمكن معالجته بكفاءة. في حين أن BERT يقتصر على 512 رمزًا، يمكن ل Longformer إدارة تسلسلات أطول بأضعاف. وتستخدم النماذج الأخرى المصممة للتسلسلات الطويلة، مثل Reformer أو Transformer-XL، تقنيات مختلفة مثل التجزئة الحساسة للموقع أو آليات التكرار لتحقيق الكفاءة. يوفر نهج Longformer، المفصل في ورقة البحث الأصلية، مزيجًا مرنًا من الاهتمام المحلي والعالمي المناسب لمختلف المهام النهائية بعد الضبط الدقيق.
تفتح قدرة Longformer على معالجة المستندات الطويلة إمكانيات للعديد من مهام البرمجة اللغوية العصبية التي كانت في السابق صعبة أو تتطلب حلولاً معقدة مثل تقسيم المستندات.
يمثل Longformer خطوة مهمة إلى الأمام في تمكين نماذج التعلم العميق من فهم النصوص الطويلة والاستدلال عليها. من خلال التغلب على عنق زجاجة التعقيد التربيعي للمحوّلات القياسية، فإنه يسمح لنماذج اللغة الكبيرة (LLMs) بمعالجة المهام التي تتضمن المستندات والكتب والحوارات الموسعة بشكل أكثر فعالية. تُعد هذه القدرة ضرورية للتطبيقات التي تتطلب فهماً سياقياً عميقاً، مما يدفع حدود ما يمكن أن يحققه الذكاء الاصطناعي في معالجة اللغة البشرية الموجودة في تنسيقات مطولة. في حين أن نماذج مثل Ultralytics YOLO تتفوق في مهام الرؤية الحاسوبية مثل اكتشاف الأجسام، فإن Longformer توفر تطورات مماثلة للتعامل مع البيانات النصية الطويلة المعقدة. تعمل أدوات مثل Ultralytics HUB على تبسيط نشر نماذج الذكاء الاصطناعي المختلفة وإدارتها، بما في ذلك النماذج التي يُحتمل أن تكون مُعدّة بدقة لمهام محددة في مجال البرمجة اللغوية العصبية.
.webp)
