نماذج المتسلسلة إلى المتسلسلة

كيفية عمل نماذج التسلسل إلى المتتابعة

عادةً ما تتكون نماذج Seq2Seq من مكونين رئيسيين: مُشفِّر وفك تشفير.

1. أداة التشفير: يعالج هذا الجزء تسلسل المدخلات بالكامل (مثل جملة باللغة الفرنسية) خطوة بخطوة. في كل خطوة، يقوم بتحديث حالته المخفية الداخلية. تهدف الحالة المخفية النهائية، والتي غالبًا ما تسمى "متجه السياق" أو "متجه الفكر"، إلى التقاط ملخص أو جوهر تسلسل المدخلات. وقد استخدمت نماذج Seq2Seq المبكرة شبكات الشبكات الشبكية العصبية الشبكية RNNs أو LSTMs لهذا الغرض، كما هو مفصل في ورقة البحث الأصلية لتعلم التسلسل إلى التسلسل.
2. أداة فك التشفير: يأخذ هذا المكون متجه السياق النهائي من المشفر ويولد تسلسل المخرجات خطوة بخطوة (على سبيل المثال، الجملة المترجمة English). يستخدم متجه السياق كحالة أولية له وينتج عنصرًا واحدًا من تسلسل المخرجات في كل خطوة زمنية، ويقوم بتحديث حالته المخفية أثناء ذلك.

من الابتكارات الرئيسية التي حسّنت أداء Seq2Seq بشكل كبير، خاصةً بالنسبة للتسلسلات الأطول، آلية الانتباه. تسمح آلية الانتباه لوحدة فك الترميز بالرجوع إلى أجزاء مختلفة من الحالات المخفية لتسلسل المدخلات (وليس فقط متجه السياق النهائي) عند توليد كل عنصر من عناصر المخرجات، وتقييم أهميتها ديناميكيًا، كما اقترحها باهدانو وآخرون.

الملاءمة والتطور

تمثل نماذج Seq2Seq إنجازًا كبيرًا، خاصةً بالنسبة للمهام التي تكون فيها أطوال المدخلات والمخرجات متغيرة والمحاذاة معقدة. فقد وفرت إطار عمل مرن للتعامل مع مشاكل تحويل التسلسل المتنوعة. وعلى الرغم من كونها أساسية، إلا أن نماذج Seq2Seq الأصلية القائمة على شبكة الشبكات الشبكية العصبية العصبية الرُباعية (RNN) واجهت تحديات مع التبعيات بعيدة المدى. وقد أدى ذلك إلى تطوير نماذج المحولات، التي تعتمد كلياً على آليات الانتباه والمعالجة المتوازية، لتحل إلى حد كبير محل الشبكات الشبكية العصبية العصبية ذات الشبكة العصبية الرونية (RNNs) لتحقيق أحدث أداء في العديد من مهام التسلسل. ومع ذلك، يظل مفهوم التشفير وفك التشفير الأساسي مؤثرًا. أطر مثل PyTorch و TensorFlow أدوات قوية لبناء كل من نماذج Seq2Seq التقليدية ونماذج المحولات الحديثة.

تطبيقات في الذكاء الاصطناعي والتعلم الآلي

تُستخدم نماذج Seq2Seq، بما في ذلك النماذج الحديثة القائمة على المحولات، في العديد من التطبيقات:

• الترجمة الآلية: ترجمة النص من لغة المصدر إلى اللغة المستهدفة (على سبيل المثال، تشغيل خدمات مثل Google Translate).
• تلخيص النصوص: إنشاء ملخصات أقصر من المقالات أو المستندات الطويلة.
• روبوتات المحادثة والإجابة عن الأسئلة: توليد استجابات أو إجابات للمحادثة استناداً إلى نص المدخلات أو الأسئلة. تستفيد العديد من روبوتات المحادثة الحديثة من بنيات المحولات المتقدمة مثل GPT-4.
• التعرّف على الكلام: تحويل تسلسل الميزات الصوتية إلى تسلسلات نصية (النسخ).
• شرح الصور: توليد أوصاف نصية (سلاسل من الكلمات) للصور المدخلة. بينما تختلف عن مهام الكشف عن الكائنات التي تقوم بها نماذج مثل Ultralytics YOLOفهي تتضمن تعيين المدخلات المرئية إلى مخرجات متسلسلة. غالبًا ما تستكشف الأبحاث في مؤسسات مثل مجموعة ستانفورد للبرمجة اللغوية العصبية هذه المجالات.

في حين أن نماذج Seq2Seq ترتبط في المقام الأول بالبرمجة اللغوية العصبية، فإن آليات الانتباه المستوحاة منها تجد استخدامًا أيضًا في الرؤية الحاسوبية، على سبيل المثال، ضمن مكونات معينة لنماذج الكشف مثل RT-DETR أو في محولات الرؤية. يمكنك استكشاف نماذج مختلفة على منصات مثل Hugging Face.