النموذج التأسيسي

الخصائص الرئيسية

يتم تعريف نماذج التأسيس من خلال عدة سمات أساسية:

• النطاق: وهي عادةً ما تكون كبيرة جدًا، حيث تتضمن مليارات أو حتى تريليونات من المعلمات ويتم تدريبها على مجموعات بيانات ضخمة، غالبًا ما يتم كشطها من الإنترنت أو من مصادر أخرى واسعة النطاق(البيانات الضخمة).
• التدريب المسبق: تخضع هذه النماذج لمرحلة تدريب مسبق مكثفة، وعادةً ما تستخدم أساليب التعلّم الذاتي الخاضع للإشراف أو غير الخاضع للإشراف، حيث يتعلم النموذج من البنية الكامنة في البيانات نفسها دون تسميات صريحة.
• القدرة على التكيف: تتمثل إحدى الفوائد الرئيسية في قابليتها للتكيف. فبمجرد تدريبها مسبقًا، يمكن ضبطها بكميات صغيرة نسبيًا من البيانات المصنفة لمهام محددة مثل تحليل المشاعر أو التعرف على الصور أو اكتشاف الأشياء، والاستفادة من المعرفة العامة المكتسبة أثناء التدريب المسبق. وتعد هذه العملية شكلاً من أشكال التعلُّم التحويلي.
• التجانس: فهي تميل إلى دمج القدرات التي كانت تتطلب في السابق نماذج متخصصة متعددة في إطار عمل واحد قابل للتكيف، مما قد يؤدي إلى تبسيط عمليات التشغيل الآلي المتعددة.

كيف تعمل نماذج الأساس

يتضمن إنشاء نماذج الأساس واستخدامها عادةً مرحلتين:

1. تدريب مسبق: يتم تدريب النموذج على مجموعة بيانات ضخمة ومتنوعة. بالنسبة للنماذج اللغوية مثل GPT-3، يتضمن ذلك التنبؤ بالكلمة التالية في الجملة. بالنسبة لنماذج الرؤية، قد ينطوي ذلك على إعادة بناء بقع الصور المقنعة أو تعلم الارتباطات بين الصور والنصوص(CLIP). تتطلب هذه المرحلة موارد حاسوبية كبيرة (GPU, TPU).
2. الضبط/التكيف الدقيق: يتم بعد ذلك تكييف النموذج المُدرب مسبقًا لمهمة نهائية محددة باستخدام مجموعة بيانات أصغر حجمًا ومحددة بمهمة معينة. تقوم تقنيات مثل الضبط الدقيق بضبط أوزان النموذج، بينما تقوم أساليب مثل الهندسة الفورية بتوجيه مخرجات النموذج دون تغيير أوزانه، خاصةً بالنسبة لنماذج اللغات الكبيرة (LLMs).

أمثلة وتطبيقات

تشمل نماذج التأسيس مجالات مختلفة:

• معالجة اللغات الطبيعية (NLP): تُعدّ برامج معالجة اللغات الطبيعية مثل BERT وGPT-4 أمثلة رئيسية على ذلك، وهي قادرة على توليد النصوص والترجمة والتلخيص وغير ذلك. مثال من العالم الحقيقي: غالبًا ما يتم إنشاء روبوتات الدردشة الآلية المتقدمة لخدمة العملاء التي تفهم السياق وتوفر استجابات دقيقة من خلال ضبط أساسيات LLMs.
• الرؤية الحاسوبية (CV): نماذج مثل نموذج محول الرؤية (ViT) ونموذج أي شيء قطاعي (SAM) بمثابة نماذج أساسية لمهام الرؤية. يمكن تكييفها لتصنيف الصور وتجزئة الصور واكتشافها. مثال واقعي: يمكن تطوير أدوات لتحليل الصور الطبية من خلال ضبط نموذج أساس الرؤية على مجموعات بيانات الأشعة السينية أو التصوير بالرنين المغناطيسي للكشف عن حالات معينة مثل الأورام.
• النماذج متعددة الوسائط: تقوم نماذج مثل CLIP أو DALL-E بمعالجة المعلومات من طرائق متعددة (مثل النصوص والصور) في وقت واحد. إن فهم هذه النماذج أمر بالغ الأهمية مع تطور الذكاء الاصطناعي(فهم نماذج لغة الرؤية).

نماذج الأساس مقابل النماذج الأخرى

• نماذج خاصة بمهام محددة: على عكس النماذج الأساسية، غالبًا ما يتضمن التعلم الآلي التقليدي تدريب نماذج من الصفر على مجموعات بيانات محددة لمهام فردية (على سبيل المثال، تدريب Ultralytics YOLO فقط للكشف عن الأجسام في الصور الجوية). وعلى الرغم من فعاليته، إلا أن هذا يتطلب بيانات موسومة وجهداً كبيراً لكل مهمة جديدة. تهدف النماذج التأسيسية إلى تقليل ذلك من خلال التعلّم التحويلي.
• النماذج اللغوية الكبيرة (LLMs): تعد النماذج اللغوية الكبيرة نوعًا بارزًا من النماذج التأسيسية المصممة خصيصًا للمهام اللغوية. ومصطلح "النموذج التأسيسي" أوسع نطاقاً ويشمل نماذج للرؤية والصوت والطرائق الأخرى.
• نماذج السيرة الذاتية: في حين أن بعض نماذج الرؤية الكبيرة مثل ViT أو SAM تعتبر نماذج أساسية، فإن العديد من نماذج السيرة الذاتية، بما في ذلك إصدارات محددة من YOLOv8 أو YOLO11 المدربة لتطبيقات معينة(الذكاء الاصطناعي في الزراعة، والذكاء الاصطناعي في السيارات)، عادةً ما يتم ضبطها أو تدريبها خصيصًا لمهام الرؤية تلك بدلًا من كونها نماذج أساسية للأغراض العامة. ومع ذلك، فإن الاتجاه نحو استخدام النماذج الأساسية المدربة مسبقًا يشترك في الفكرة الأساسية المتمثلة في الاستفادة من الميزات العامة.

التدريب والموارد

تعتبر نماذج الأساس قبل التدريب مكلفة من الناحية الحسابية، وغالبًا ما تتطلب مجموعات ضخمة من وحدات معالجة الرسومات أو وحدات معالجة الرسومات (GPU) وجهدًا هندسيًا كبيرًا، وعادةً ما تقوم بها مختبرات الأبحاث الكبيرة أو الشركات مثل Googleو Meta AI و OpenAI. ومع ذلك، بمجرد التدريب المسبق، يمكن تكييف هذه النماذج بكفاءة أكبر. توفر منصات مثل Ultralytics HUB أدوات لتدريب النماذج المخصصة، وإدارة مجموعات البياناتUltralytics Datasets)، ونشر الحلول(خيارات نشر النماذج)، وغالبًا ما تستفيد من الأوزان المدربة مسبقًا والتي تجسد المعرفة التأسيسية. لا يزال التكيف الفعال يتطلب ضبطًا دقيقًا للمعايير الفائقة وربما زيادة البيانات.

الأهمية والمستقبل

تعمل نماذج التأسيس على تغيير مشهد الذكاء الاصطناعيRoboflow على نماذج التأسيس). فهي تسرّع عملية التطوير، وتتيح تطبيقات جديدة، وتثير اعتبارات مهمة حول أخلاقيات الذكاء الاصطناعي والتحيز والوصول الحاسوبي. وتكرس مؤسسات بحثية مثل مركز ستانفورد لأبحاث النماذج التأسيسية (CRFM ) لدراسة قدراتها وتأثيرها المجتمعي. من المحتمل أن يتضمن المستقبل نماذج تأسيسية أكثر قوة وفعالية وربما متعددة الوسائط تقود الابتكار في العلوم والصناعة والحياة اليومية(حالات استخدام الذكاء الاصطناعي).