الذاكرة طويلة وقصيرة المدى (LSTM)

كيف تعمل الآلات LSTMs

تعاني شبكات RNNs التقليدية من مشكلة تلاشي التدرج، حيث تتلاشى المعلومات من الخطوات المبكرة في التسلسل أثناء انتشارها عبر الشبكة، مما يجعل من الصعب تعلم التبعيات على فترات طويلة. تعالج LSTMs هذه المشكلة باستخدام بنية فريدة تتضمن خلايا الذاكرة والبوابات.

المكون الأساسي هو خلية الذاكرة، والتي تعمل كحزام ناقل، مما يسمح بتدفق المعلومات عبر الشبكة دون تغيير نسبيًا. تستخدم LSTMs ثلاث "بوابات" رئيسية لتنظيم المعلومات المخزنة في خلية الذاكرة:

1. بوابة النسيان: يقرر المعلومات التي يجب التخلص منها من حالة الخلية.
2. بوابة الإدخال: تقرر المعلومات الجديدة التي سيتم تخزينها في حالة الخلية.
3. بوابة الإخراج: تقرر أي جزء من حالة الخلية سيتم إخراجه.

تتعلم هذه البوابات، التي يتم تنفيذها باستخدام دوال التنشيط مثل الدوال السيجيمية ودوال التانة، المعلومات المهمة التي يجب الاحتفاظ بها أو تجاهلها في كل خطوة زمنية، مما يتيح للشبكة الحفاظ على السياق ذي الصلة على مدى التسلسلات الممتدة.

التطبيقات الواقعية

وقد تم تطبيق الآليات الضوئية الضوئية الطويلة الأمد بنجاح في العديد من المجالات التي تتطلب نمذجة التسلسل:

• معالجة اللغات الطبيعية (NLP): تتفوق آلات LSTMs في مهام مثل الترجمة الآلية (على سبيل المثال، ترجمة الجمل الطويلة مع الحفاظ على المعنى)، وتحليل المشاعر (فهم الآراء المعبر عنها في النص)، ونمذجة اللغة. على سبيل المثال، يمكن لآلة LSTM معالجة فقرة من النص لفهم الشعور العام، وتذكر العبارات الرئيسية من البداية التي تؤثر على المعنى في النهاية.
• التعرّف على الكلام: تُستخدم لتحويل اللغة المنطوقة إلى نص من خلال نمذجة التبعيات الزمنية في الإشارات الصوتية. يمكن للنظام المستند إلى LSTM التعرف على الكلمات والعبارات من خلال النظر في تسلسل الأصوات مع مرور الوقت، مما يحسن الدقة مقارنة بالنماذج التي لا تلتقط السياق بعيد المدى. وقد استخدمت أنظمة التعرّف على الكلام منGoogle تاريخيًا أنظمة LSTMs.
• تحليل السلاسل الزمنية: تُطبَّق الآليات طويلة المدى للتنبؤ بالقيم المستقبلية بناءً على البيانات التاريخية، مثل أسعار الأسهم أو أنماط الطقس أو استهلاك الطاقة. قدرتها على تذكر الاتجاهات طويلة المدى تجعلها مناسبة للنمذجة التنبؤية المعقدة.
• تحليل الفيديو: يمكن لآلات LSTMs معالجة تسلسلات إطارات الفيديو لفهم الإجراءات أو الأحداث التي تحدث بمرور الوقت، مما يساهم في تطبيقات مثل التعرف على النشاط.

آليات LSTMs مقابل البنى ذات الصلة

على الرغم من قوتها، إلا أن نماذج LSTMs هي جزء من عائلة أوسع من نماذج التسلسل:

• شبكات RNNs: LSTMs هي نوع من الشبكات الشبكية العصبية العصبية القابلة للتبديل (RNNs) مصممة خصيصًا لتجنب مشاكل الذاكرة قصيرة المدى التي تعاني منها الشبكات الشبكية العصبية القابلة للتبديل البسيطة.
• وحدات متكررة ذات بوابات (GRUs): وحدات GRUs هي نوع مختلف من وحدات LSTM مع بنية أبسط (بوابات أقل). وغالباً ما يكون أداء هذه الوحدات مماثلاً لأداء وحدات LSTM في مهام معينة مع كونها أقل كثافة من الناحية الحسابية.
• المحولات: تم تقديمها لاحقاً، تعتمد المحولات على آليات الانتباه بدلاً من التكرار. لقد تفوقت إلى حد كبير على LSTMs في الأداء المتطور للعديد من مهام البرمجة اللغوية العصبية، خاصةً في نماذج اللغات الكبيرة (LLMs) مثل GPT-4. تعمل البنى مثل Longformer Longformer على توسيع قدرات المحولات للتسلسلات الطويلة جدًا.

التنفيذ والأدوات

يمكن تنفيذ LSTMs بسهولة باستخدام أطر التعلم العميق الشائعة مثل PyTorch (انظر وثائقPyTorch LSTM) و TensorFlow (راجع وثائقTensorFlow LSTM). بينما يركز Ultralytics في المقام الأول على نماذج الرؤية الحاسوبية مثل Ultralytics YOLO لمهام مثل اكتشاف الكائنات وتجزئة النماذج، فإن فهم نماذج التسلسل أمر قيّم، خاصةً وأن الأبحاث تستكشف الربط بين البرمجة اللغوية العصبية والس يرة الذاتية لمهام مثل فهم الفيديو أو شرح الصور. يمكنك استكشاف المزيد من نماذج ومفاهيم التعلم الآلي المختلفة في وثائقUltralytics . يمكن تبسيط إدارة تدريب ونشر النماذج المختلفة باستخدام منصات مثل Ultralytics HUB. توفر ورقة LSTM التأسيسية التي كتبها Hochreiter و Schmidhuber التفاصيل الفنية الأصلية. تقدم موارد مثل DeepLearning.AI دورات تدريبية تغطي نماذج التسلسل، بما في ذلك LSTMs.