المصلح

المفاهيم الأساسية للمصلح

يحقق المصلح كفاءته في المقام الأول من خلال تقنيتين رئيسيتين:

1. التجزئة الحساسة للموقع (LSH) الانتباه: تستخدم التحويلات القياسية آلية انتباه ذاتي كاملة، حيث يحضر كل عنصر (رمز مميز) إلى كل عنصر آخر. تزداد التكلفة الحسابية لهذا الأمر بشكل تربيعي مع طول التسلسل. يستبدل المُصلح هذا الأمر بآلية انتباه LSH، وهي تقنية تقريب تعتمد على التجزئة الحساسة للموقع. تقوم LSH بتجميع الرموز المتشابهة معًا، ويتم حساب الانتباه فقط داخل هذه المجموعات أو المجموعات القريبة، مما يقلل بشكل كبير من التعقيد الحسابي من التربيعية إلى شبه الخطية.
2. طبقات متبقية عكسية: تكدس المحولات طبقات متعددة، وأثناء التدريب، عادةً ما يتم تخزين التنشيطات من كل طبقة في الذاكرة من أجل التكاثر العكسي. وهذا يستهلك ذاكرة كبيرة، خاصة مع وجود العديد من الطبقات أو التنشيطات الكبيرة. يستخدم المصلح طبقات قابلة للانعكاس، مما يسمح بإعادة حساب التنشيطات من أي طبقة أثناء التمرير العكسي باستخدام تنشيطات الطبقة التالية فقط. وهذا يلغي الحاجة إلى تخزين التنشيطات لمعظم الطبقات، مما يقلل بشكل كبير من استخدام الذاكرة أثناء التدريب.

المصلح مقابل المحول القياسي

في حين أن كلاهما يعتمد على آلية الانتباه، يختلف المصلح بشكل كبير:

• الانتباه: تستخدم المحولات القياسية الانتباه الكامل والمكلف حسابيًا. يستخدم المصلح الانتباه التقريبي الفعال القائم على LSH.
• الذاكرة: تتطلب المحولات القياسية ذاكرة كبيرة لتخزين التفعيلات. يستخدم المصلح طبقات قابلة للعكس لتقليل متطلبات الذاكرة أثناء تدريب النموذج.
• طول التسلسل: تقتصر المحولات القياسية عادةً على تسلسلات من بضعة آلاف من الرموز. يمكن للمُصلح التعامل مع تسلسلات أطول من ذلك بكثير.
• حالة الاستخدام: تتفوق المحولات القياسية في المهام ذات التسلسلات الطويلة بشكل معتدل. تم تحسين Reformer خصيصًا للمهام التي تنطوي على تسلسلات طويلة للغاية حيث تكون المحولات القياسية غير مجدية. يمكنك استكشاف العديد من النماذج القائمة على المحولات على منصات مثل Hugging Face.

التطبيقات

قدرة المُصلح على معالجة التسلسلات الطويلة تجعله مناسبًا لمختلف المهام في الذكاء الاصطناعي:

• معالجة المستندات الطويلة: تصبح مهام مثل تلخيص كتب كاملة، أو الإجابة عن الأسئلة المستندة إلى مستندات قانونية أو تقنية طويلة، أو إجراء تحليل المشاعر على النصوص الطويلة أكثر سهولة.
• علم الجينوم: تحليل تسلسلات الحمض النووي أو البروتين الطويلة.
• تحليل السلاسل الزمنية: نمذجة بيانات السلاسل الزمنية الطويلة جدًا، مثل اتجاهات الأسواق المالية التفصيلية أو الأنماط المناخية طويلة الأجل.
• النمذجة التوليدية: توليد أجزاء طويلة متماسكة من النصوص أو الموسيقى أو حتى الصور عالية الدقة من خلال التعامل مع وحدات البكسل كسلسلة طويلة( توليدالنص إلى صورة ).

في حين أن نماذج مثل Ultralytics YOLO تركز على الكشف الفعال عن الأجسام في الصور، وغالبًا ما تستخدم الشبكات العصبية التلافيفية (CNNs) أو البنى الهجينة مثل RT-DETRفإن مبادئ الكفاءة الحسابية وكفاءة الذاكرة التي تم استكشافها في الإصلاحي ذات صلة بمجال التعلم العميق (DL). يساعد فهم هذه التطورات في دفع عجلة الابتكار نحو نماذج ذكاء اصطناعي أكثر قدرة وسهولة في الوصول إليها، وهو هدف تشترك فيه منصات مثل Ultralytics HUB التي تهدف إلى تبسيط تطوير الذكاء الاصطناعي ونشره. لمزيد من التفاصيل، راجع ورقة بحث المصلح الأصلية. تسلط مقارنة كفاءة النماذج، مثل YOLO11 مقابل YOLOv10، الضوء على الجهود المستمرة لتحقيق التوازن بين الأداء واستخدام الموارد.