الضبط الفوري

كيفية عمل الضبط الفوري

في الضبط السريع، تتمثل الفكرة الأساسية في الحفاظ على تجميد الغالبية العظمى من معلمات النموذج المُدرَّب مسبقًا. عند تكييف النموذج لمهمة مثل تحليل المشاعر أو توليد النصوص، بدلاً من تعديل مليارات من weights and biases داخل النموذج، يتم تدريب مجموعة صغيرة فقط من المعلمات الفورية (التضمينات الفورية الناعمة) باستخدام النسب المتدرجة. تعمل هذه التضمينات المستفادة كتعليمات أو سياق، حيث يتم توجيه النموذج المجمد لإنتاج المخرجات المطلوبة للمهمة المحددة. هذا يجعلها شكلاً من أشكال الضبط الدقيق الفعال للمعلمات (PEFT)، مما يقلل بشكل كبير من عائق تخصص نماذج الأساس الضخمة.

فوائد الضبط الفوري

يوفر الضبط الفوري العديد من المزايا:

• الكفاءة الحسابية: تتطلب عمليات حسابية وذاكرة أقل بكثير مقارنةً بالضبط الدقيق الكامل، حيث يتم تحديث جزء صغير فقط من المعلمات أثناء التدريب.
• تقليل التخزين: يجب تخزين مجموعة صغيرة فقط من التضمينات الفورية لكل مهمة، بدلاً من تخزين نسخة كاملة من النموذج المضبوط بدقة.
• تكيف أسرع: يعد تدريب المطالبات الخاصة بمهمة محددة أسرع بكثير من ضبط النموذج بأكمله.
• التخفيف من النسيان الكارثي: بما أن معلمات النموذج الأصلي تبقى دون تغيير، فإن النموذج يحتفظ بقدراته العامة التي تم تعلمها أثناء التدريب المسبق، مما يؤدي إلى تجنب المشكلة التي يؤدي فيها الضبط الدقيق لمهمة واحدة إلى تدهور الأداء في المهام الأخرى(التداخل الكارثي).
• النشر المبسط: يمكن استخدام مطالبات متعددة خاصة بمهام محددة مع نموذج أساسي واحد مشترك، مما يبسّط نشر النموذج وإدارته في خطوط أنابيب MLOps.

التطبيقات الواقعية

يعد الضبط الفوري فعالاً بشكل خاص لتخصيص نماذج لغوية كبيرة للتطبيقات المتخصصة:

1. روبوتات الدردشة المخصصة لخدمة العملاء: يمكن للشركة أن تأخذ نموذجاً عاماً مدرباً مسبقاً مثل GPT-4 وتستخدم الضبط الفوري لإنشاء مطالبات متخصصة لمجالات الدعم المختلفة (على سبيل المثال، الفوترة والدعم الفني والاستفسارات عن المنتجات). يقوم كل موجه بتوجيه النموذج الأساسي للاستجابة بشكل مناسب ضمن هذا السياق المحدد، باستخدام اللغة والمعرفة الخاصة بالشركة، دون الحاجة إلى نماذج منفصلة مضبوطة بدقة. يسمح ذلك بتوسيع نطاق قدرات روبوتات الدردشة الآلية بكفاءة.
2. توليد المحتوى المتخصص: يمكن لوكالة تسويق أن تستخدم ضبط الموجهات لتكييف نموذج توليد نص كبير لإنشاء محتوى بأصوات أو أنماط محددة للعلامة التجارية (على سبيل المثال، التقارير الرسمية، ومنشورات المدونات غير الرسمية، ونسخة الإعلانات الجذابة). يتم تدريب موجهات منفصلة لكل نمط، مما يسمح لنفس النموذج الأساسي القوي من مؤسسات مثل OpenAI أو Google AI بأن يكون متعدد الاستخدامات عبر احتياجات العملاء المختلفة.

الضبط الفوري مقابل المفاهيم ذات الصلة

من المهم التمييز بين الضبط الفوري والتقنيات المماثلة:

• الضبط الدقيق: يتضمن تحديث جزء كبير أو حتى كل معلمات النموذج المدرّب مسبقًا على مجموعة بيانات جديدة. إنه أكثر كثافة من الناحية الحسابية ولكنه يمكن أن يحقق أداءً أعلى في بعض الأحيان من خلال تكييف التمثيلات الداخلية للنموذج بعمق. غالبًا ما تغطي نصائح تدريب النموذج جوانب الضبط الدقيق.
• هندسة موجه: يركز على تصميم مطالبات نصية فعالة يدويًا (مطالبات صلبة) لاستنباط السلوك المطلوب من نموذج مجمّد مدرّب مسبقًا. وهي تتضمن صياغة التعليمات والأمثلة ضمن نص الإدخال نفسه ولا تتضمن تدريب أي معلمات جديدة. تندرج تقنيات مثل المطالبة المتسلسلة الأفكار تحت هذه الفئة.
• الإثراء الفوري: تحسين موجه الإدخال الخاص بالمستخدم تلقائيًا عن طريق إضافة سياق أو معلومات ذات صلة (على سبيل المثال، باستخدام التوليد المعزز للاسترجاع (RAG)) قبل أن تتم معالجته بواسطة نموذج الذكاء الاصطناعي. على عكس ضبط المطالبة، فهو لا يعدّل النموذج أو معلمات التدريب؛ بل ينقح استعلام الإدخال.
• LoRA (تكيف منخفض الرتبة): تقنية أخرى من تقنيات التكييف منخفض الرتبة (PEFT) تقوم بحقن مصفوفات صغيرة منخفضة الرتبة قابلة للتدريب في الطبقات الحالية (مثل آلية الانتباه) للنموذج المدرّب مسبقًا. وهي تقوم بتحديث أجزاء مختلفة من النموذج مقارنةً بالضبط الموجه الذي يركز فقط على تضمينات المدخلات. وغالبًا ما يوجد كلاهما في مكتبات مثل مكتبةHugging Face PEFT.

بينما يُطبَّق الضبط الفوري في الغالب على النماذج ذات الضبط الكامل في معالجة اللغات الطبيعية (NLP)، فإن المبدأ الأساسي للتكيف الفعال ذو صلة في جميع مجالات الذكاء الاصطناعي. في الرؤية الحاسوبية (CV)، في حين أن الضبط الدقيق الكامل لنماذج مثل Ultralytics YOLO على مجموعات البيانات المخصصة أمر شائع لمهام مثل اكتشاف الأشياء، فإن أساليب التكييف الفعال تكتسب زخمًا متزايدًا، خاصةً بالنسبة للنماذج الكبيرة متعددة الوسائط. تعمل المنصات مثل Ultralytics HUB على تبسيط عملية تدريب نماذج الذكاء الاصطناعي المختلفة ونشرها، ومن المحتمل أن تتضمن هذه التقنيات الفعالة في المستقبل.

باختصار، يوفر الضبط الفوري طريقة قوية وفعالة لتخصيص النماذج الكبيرة المدربة مسبقًا مثل نماذج LLMs لمهام متنوعة، وتحقيق التوازن بين الأداء والجدوى الحسابية. وهو يمثل تقدماً رئيسياً في جعل نماذج الذكاء الاصطناعي القوية أكثر قابلية للتكيف وسهولة الوصول إليها.