نماذج المتسلسلة إلى المتسلسلة

كيفية عمل نماذج Seq2Seq

بُنيت نماذج Seq2Seq على بنية مشفر-مفك تشفير. تسمح هذه البنية للنموذج بمعالجة التسلسلات متغيرة الطول بفعالية.

• أداة التشفير: يعالج هذا المكون تسلسل الإدخال بالكامل، مثل جملة باللغة الإنجليزية. فهو يقرأ التسلسل عنصرًا واحدًا في كل مرة (على سبيل المثال، كلمة بكلمة) ويضغط المعلومات في تمثيل رقمي ثابت الطول يسمى متجه السياق أو "متجه الفكر". عادةً ما تكون أداة التشفير عبارة عن شبكة عصبية متكررة (RNN) أو متغير أكثر تقدمًا مثل الذاكرة طويلة المدى القصيرة (LSTM)، والتي تكون بارعة في التقاط المعلومات المتسلسلة.

• أداة فك التشفير: يأخذ هذا المكون متجه السياق من المشفر كمدخل أولي له. وتتمثل مهمته في توليد تسلسل الإخراج عنصرًا تلو الآخر. على سبيل المثال، في مهمة الترجمة، يقوم بتوليد الجملة المترجمة كلمة بكلمة. تتم إعادة تغذية المخرجات من كل خطوة إلى وحدة فك التشفير في الخطوة التالية، مما يسمح لها بتوليد تسلسل مترابط. تستمر هذه العملية حتى يتم إنتاج رمز مميز لنهاية التسلسل. أحد الابتكارات الرئيسية التي حسّنت أداء Seq2Seq بشكل كبير هو آلية الانتباه، والتي تسمح لوحدة فك الترميز بالرجوع إلى أجزاء مختلفة من تسلسل الإدخال الأصلي أثناء توليد المخرجات.

تطبيقات نماذج Seq2Seq

إن القدرة على ربط المدخلات متغيرة الطول بالمخرجات متغيرة الطول تجعل نماذج Seq2Seq متعددة الاستخدامات.

• الترجمة الآلية: هذا هو التطبيق المثالي. يمكن للنموذج أن يأخذ جملة بلغة ما (على سبيل المثال، "كيف حالك؟") ويترجمها إلى لغة أخرى (على سبيل المثال، "Wie geht es Ihnen؟"). وقد استخدمت خدمات مثل Google Translate هذه المبادئ بشكل كبير.
• تلخيص النص: يمكن لنموذج Seq2Seq قراءة مقال أو مستند طويل (تسلسل الإدخال) وإنشاء ملخص موجز (تسلسل الإخراج). وهذا مفيد لتكثيف كميات كبيرة من النصوص إلى رؤى سهلة الهضم.
• روبوتات المحادثة والذكاء الاصطناعي للمحادثة: يمكن تدريب النماذج على توليد استجابة ذات صلة وسياقية (تسلسل المخرجات) لاستعلام أو بيان المستخدم (تسلسل المدخلات).
• تعليق الصور: في حين أن هذا يتضمن رؤية حاسوبية، فإن المبدأ مشابه. تعمل شبكة CNN كمشفر لمعالجة صورة ما وإنشاء متجه سياق يستخدمه بعد ذلك مفكك التشفير لتوليد تسلسل نص وصفي. هذا مثال على نموذج متعدد الوسائط.

Seq2Seq مقابل البنى الأخرى

في حين أن نماذج Seq2Seq القائمة على الشبكات الشبكية العصبية العصبية القابلة للتشغيل (RNNs) كانت رائدة، فقد تطور المجال:

• شبكات RNN القياسية: عادةً ما تقوم بتعيين التسلسلات إلى تسلسلات من نفس الطول أو تصنيف تسلسلات كاملة، وتفتقر إلى مرونة بنية المشفر-مفك التشفير لتغير أطوال المخرجات.
• المحولات: تهيمن الآن على العديد من مهام البرمجة اللغوية العصبية التي كانت تتعامل معها نماذج Seq2Seq القائمة على شبكة الشبكات العصبية العصبية العصبية. فهي تستخدم الانتباه الذاتي والترميزات الموضعية بدلاً من التكرار، مما يسمح بالتوازي بشكل أفضل والتقاط التبعيات بعيدة المدى بشكل أكثر فعالية. ومع ذلك، يظل مفهوم التشفير وفك التشفير الأساسي أساسيًا في العديد من النماذج القائمة على المحولات. نماذج مثل نموذج RT-DETR من بايدو، المدعوم من قبل Ultralytics، تتضمن مكونات المحول للكشف عن الكائنات.
• CNNs: تُستخدم في المقام الأول للبيانات الشبيهة بالشبكة مثل الصور (على سبيل المثال، في نماذج Ultralytics YOLO للكشف والتجزئة)، على الرغم من تكييفها أحيانًا لمهام التسلسل.

في حين أن Seq2Seq غالباً ما يشير إلى بنية فك التشفير القائمة على شبكة الشبك الشبكي الشبكي RNN، فإن المبدأ العام لتعيين تسلسلات المدخلات إلى تسلسلات المخرجات باستخدام تمثيل وسيط يظل محورياً في العديد من البنى الحديثة. وتوفر أدوات مثل PyTorch و TensorFlow لبنات بناء لتنفيذ نماذج التسلسل التقليدية والحديثة. ويمكن تبسيط إدارة عملية التدريب باستخدام منصات مثل Ultralytics HUB، التي تبسّط خط أنابيب نشر النموذج بأكمله.