حسِّن النماذج الكبيرة بكفاءة باستخدام LoRA! يمكنك تقليل التكاليف، والتكيف بشكل أسرع، والنشر بشكل أكثر ذكاءً باستخدام تقنيات الضبط الدقيق منخفضة الرتبة القابلة للتطوير.
تقنية LoRA (التكيف منخفض الرتبة) هي تقنية مصممة لتحسين عملية الضبط الدقيق لنماذج التعلم الآلي الكبيرة من خلال إدخال مصفوفات منخفضة الرتبة في بنيتها. تقلل هذه الطريقة بشكل كبير من المتطلبات الحسابية والتخزينية المرتبطة بالضبط الدقيق التقليدي، مما يجعلها خيارًا فعالاً وفعالاً من حيث التكلفة لتكييف النماذج المدربة مسبقًا مع مهام محددة.
يعدّل LoRA أوزان نموذج مدرّب مسبقًا عن طريق حقن مصفوفات منخفضة الرتبة في طبقات محددة. وبدلاً من تحديث جميع معلمات النموذج أثناء الضبط الدقيق، يتم تحسين مجموعة فرعية صغيرة فقط من المعلمات - تلك الموجودة داخل هذه المصفوفات منخفضة الرتبة. يحتفظ هذا النهج بمعظم بنية النموذج الأصلي أثناء تكييفه مع المهام الجديدة. تظل الأوزان المدربة مسبقًا مجمدة، مما يساعد في الحفاظ على معرفة النموذج الأصلي.
من خلال التركيز على التحديثات منخفضة الرتبة، تقلل LoRA من عدد المعلمات القابلة للتدريب، مما يؤدي إلى تدريب أسرع واستخدام أقل للذاكرة. وهذا يجعلها مفيدة بشكل خاص لنشر النماذج اللغوية الكبيرة (LLMs) وغيرها من البنى المعقدة في البيئات محدودة الموارد.
لفهم أعمق لتقنيات الضبط الدقيق، يمكنك استكشاف الضبط الدقيق الفعال للمعلمات (PEFT).
لقد تم استخدام LoRA على نطاق واسع في مهام البرمجة اللغوية العصبية لضبط النماذج اللغوية الكبيرة مثل GPT و BERT للتطبيقات الخاصة بالمجال. على سبيل المثال:
تعرف على المزيد حول كيفية مساهمة النمذجة اللغوية والضبط الدقيق في تقدم البرمجة اللغوية العصبية.
في مجال الرؤية الحاسوبية، تم استخدام LoRA لتكييف نماذج كبيرة مثل محولات الرؤية (ViT) لمهام مثل تصنيف الصور واكتشاف الأجسام وتجزئتها. على سبيل المثال
استكشف المزيد حول اكتشاف الأجسام وتجزئة الصور لفهم تأثيرها.
يقوم الضبط الدقيق التقليدي بتحديث جميع معلمات النموذج، وهو ما يمكن أن يكون مكلفًا من الناحية الحسابية وكثيف الذاكرة. في المقابل، يقوم نظام LoRA بتحديث مجموعة فرعية صغيرة من المعلمات بشكل انتقائي، مما يجعله أكثر خفة وقابلية للتطوير.
بينما تقوم LoRA بتعديل أوزان النموذج الداخلي، يركز الضبط الفوري على تحسين مطالبات الإدخال. كلتا الطريقتين فعالتان ولكنهما تلبي حالات استخدام مختلفة - عادةً ما يتم استخدام ضبط الموجهات لتوليد النصوص، بينما يكون LoRA أكثر تنوعًا في المهام المختلفة.
Ultralytics يدعم مجموعة واسعة من مهام التعلم الآلي والرؤية الحاسوبية حيث يمكن تطبيق مبادئ LoRA. يمكن للمستخدمين الاستفادة من أدوات مثل Ultralytics HUB لتدريب النماذج المخصصة ونشرها بكفاءة. مع أحدث الحلول مثل Ultralytics YOLO، يمكن أن يؤدي دمج التقنيات المستوحاة من LoRA في مهام سير العمل إلى تحسين أداء النماذج للتطبيقات في الوقت الفعلي.
تجسد LoRA كيف يمكن للتقنيات المبتكرة أن تجعل التعلم الآلي المتقدم أكثر سهولة وكفاءة، مما يؤدي إلى حلول مؤثرة في مختلف الصناعات.
