المحول

كيف تعمل المحولات

الابتكار الأساسي في المحولات هو آلية الانتباه الذاتي. على عكس الشبكات العصبية المتكررة (RNNs)، التي تعالج المدخلات بالتتابع ويمكن أن تعاني مع التسلسلات الطويلة بسبب مشاكل مثل تلاشي التدرجات، يمكن أن تأخذ المحولات جميع أجزاء تسلسل المدخلات في وقت واحد. تعمل قدرة المعالجة المتوازية هذه على تسريع التدريب بشكل كبير على الأجهزة الحديثة مثل وحدات معالجة الرسومات. على عكس الشبكات العصبية التلافيفية النموذجية (CNNs) التي تركز على الميزات المحلية من خلال نواة ذات حجم ثابت، يسمح الانتباه للمتحولات بالتقاط التبعيات بعيدة المدى والعلاقات السياقية عبر المدخلات بأكملها، سواء كانت نصًا أو بقعًا من الصور.

الأهمية والأثر

أصبحت المحولات أساسًا للعديد من نماذج الذكاء الاصطناعي المتطورة نظرًا لفعاليتها في التقاط السياق والتعامل مع التسلسلات الطويلة. وقد مكّنت طبيعتها القابلة للتوازي من تدريب نماذج ضخمة بمليارات المعلمات، مثل GPT-3 و GPT-4، مما أدى إلى تحقيق اختراقات في الذكاء الاصطناعي التوليدي. وقد جعلت قابلية التوسع والأداء هذه من المحولات مركزية للتقدم في مختلف مهام الذكاء الاصطناعي، مما أدى إلى دفع عجلة الابتكار في مجال البحث والصناعة. العديد من نماذج المحولات الشائعة متاحة بسهولة من خلال منصات مثل Hugging Face ويتم تنفيذها باستخدام أطر عمل مثل PyTorch و TensorFlow.

تطبيقات في الذكاء الاصطناعي والتعلم الآلي

المحولات متعددة الاستخدامات للغاية وتشغل العديد من تطبيقات الذكاء الاصطناعي:

• معالجة اللغات الطبيعية (NLP): هذا هو المجال الذي اكتسبت فيه المحولات أول ظهور لها. وهي العمود الفقري لنماذج اللغات الكبيرة الحديثة (LLMs) المستخدمة في مهام مثل الترجمة الآلية، وتلخيص النصوص، وتحليل المشاعر، وتشغيل روبوتات الدردشة الآلية المتقدمة. تُظهر النماذج من مؤسسات مثل OpenAI هذه القدرات.
• الرؤية الحاسوبية (CV): يتم تطبيق المحولات بشكل متزايد على البيانات المرئية. تعمل محولات الرؤية (ViTs) على تكييف البنية لمهام مثل تصنيف الصور واكتشاف الأجسام. كما أن النماذج الهجينة، التي تجمع بين ميزات CNN مع كتل المحولات، شائعة أيضًا. على سبيل المثال، فإن RT-DETR الذي طورته شركة Ultralytics مكونات المحولات للكشف في الوقت الحقيقي بدقة عالية، مما يُظهر إمكاناتها خارج نطاق البرمجة اللغوية العصبية. يمكنك استكشاف كيفية مقارنة RT-DETR بنماذج أخرى مثل Ultralytics YOLOv8 في المقارنات الفنية.

المحولات مقابل البنى الأخرى

مقارنةً بشبكات الشبكات الشبكية الشبكية العصبية، توفر المحولات معالجة أفضل للتبعيات بعيدة المدى وتوازيًا أفضل، مما يجعلها أكثر ملاءمة لمجموعات البيانات والنماذج الكبيرة. وبالمقارنة مع شبكات الشبكات الشبكية الشبكية التقليدية التي تتفوق في التقاط التسلسلات الهرمية المكانية المحلية باستخدام التلافيف، يمكن للمتحولات (خاصةً الشبكات الشبكية الافتراضية) نمذجة العلاقات العالمية داخل البيانات بشكل أكثر فعالية من خلال الانتباه الذاتي. ومع ذلك، غالبًا ما تجمع البنى الهجينة بين نقاط القوة في كلتا البنيتين، وذلك باستخدام شبكات CNN لاستخراج السمات الأولية والمحولات لفهم السياق، كما هو واضح في نماذج مثل RT-DETR. يعتمد الاختيار بين هذه البنى غالبًا على المهمة المحددة وخصائص البيانات والموارد الحاسوبية المتاحة، وغالبًا ما يتضمن تقنيات مثل نقل التعلم من النماذج المدربة مسبقًا والمتاحة على منصات مثل Ultralytics HUB.