مُحسِّن آدم

كيف يعمل آدم

الابتكار الرئيسي لآدم هو قدرته على تكييف معدل التعلم لكل معلمة على حدة. فبدلاً من استخدام معدل تعلم واحد وثابت لجميع الأوزان في الشبكة، يحسب آدم معدل تعلم فردي يتكيف مع تقدم التدريب. يحقق ذلك من خلال الجمع بين مزايا طريقتين أخريين للتحسين: RMSProp والزخم. يتتبع آدم عنصرين رئيسيين: العزم الأول (متوسط التدرجات، على غرار الزخم) والعزم الثاني (التباين غير المركزي للتدرجات). هذا المزيج يسمح له بإجراء تحديثات أكثر استنارة، مع اتخاذ خطوات أكبر للمعلمات ذات التدرجات الثابتة وخطوات أصغر لتلك ذات التدرجات الضبابية أو المتفرقة. هذه الطريقة مفصلة في ورقة بحث آدم الأصلية التي أعدها كينجما وبا.

آدم مقابل المُحسِّنات الأخرى

من المفيد مقارنة آدم بأدوات التحسين الشائعة الأخرى لفهم نقاط قوته.

• آدم مقابل نزول التدرج العشوائي (SGD): في حين أن SGD هي خوارزمية تحسين أساسية، إلا أنها تستخدم معدل تعلم ثابت ينطبق على جميع تحديثات المعلمات. وهذا يمكن أن يتسبب في بطء تقاربها أو تعثرها في "الوديان" دون المستوى الأمثل لدالة الخسارة. أما آدم، بمعدلات تعلمه التكيفية، فغالبًا ما يتنقل في مشهد الخسارة بشكل أكثر كفاءة ويتقارب بشكل أسرع. ومع ذلك، تشير بعض الأبحاث إلى أن النماذج المدرّبة باستخدام دالة الخسارة التكيفية قد تعمم بشكل أفضل قليلاً وتتجنب الإفراط في التكييف بشكل أكثر فعالية في سيناريوهات معينة. غالبًا ما يتطلب الاختيار اختبارًا تجريبيًا، كما هو موضح في الأدلة حول نصائح تدريب النماذج.
• AdamW: البديل الشائع والفعال هو AdamW (آدم مع اضمحلال الوزن المنفصل). فهو يعدل طريقة تطبيق اضمحلال الوزن - وهي تقنية تنظيم - ويفصلها عن خطوة تحديث التدرج. يؤدي هذا غالبًا إلى تحسين أداء النموذج وتعميم أفضل. تتوفر التطبيقات في الأطر الرئيسية مثل PyTorch و TensorFlow.

التطبيقات الواقعية

كفاءة آدم ومتانته تجعله مناسباً لمجموعة كبيرة من التطبيقات.

1. تدريب نماذج اللغات الضخمة (LLMs): يُعد آدم ومتغيراته أمرًا بالغ الأهمية لتدريب النماذج الضخمة في معالجة اللغات الطبيعية (NLP). فبالنسبة لنماذج مثل GPT-4 أو تلك النماذج من Hugging Face، فإن كفاءة آدم تجعل من الممكن معالجة مجموعات بيانات نصية هائلة من مصادر مثل ويكيبيديا وتعلم أنماط لغوية معقدة. كما أن قدرته على التنقل في مناظر الخسارة المعقدة أمر ضروري للنجاح.
2. تصنيف الصور واكتشاف الأجسام: في مجال الرؤية الحاسوبية، يُستخدم آدم على نطاق واسع لتدريب الشبكات العصبية التلافيفية العميقة (CNNs) على مجموعات بيانات الصور الكبيرة مثل ImageNet أو COCO. وهو يساعد نماذج تصنيف الصور واكتشاف الكائنات على التقارب بسرعة، مما يسرع من دورات التطوير وضبط المعلمات الفائقة.

الاستخدام في Ultralytics YOLO

ضمن نظام Ultralytics البيئي، يُعد آدم ومتغيره AdamW محسنين متاحين لتدريب نماذج YOLO الخاصة بـ Ultralytics. يمكن أن تؤدي الاستفادة من معدلات التعلّم التكيّفية الخاصة بآدم إلى تسريع التقارب أثناء تدريب نماذج اكتشاف الأجسام أو تجزئة النماذج أو تقدير الوضع مثل YOLO11 أو YOLOv10. بينما يكون SGD غالبًا هو المُحسِّن الافتراضي والموصى به لبعض نماذج YOLO نظرًا لاحتمال تعميمها النهائي بشكل أفضل، يوفر آدم بديلاً قويًا، وهو مفيد بشكل خاص أثناء التجربة الأولية. يمكنك بسهولة تكوين المُحسِّن وإعدادات التدريب الأخرى. تعمل أدوات مثل Ultralytics HUB على تبسيط العملية، مما يسمح للمستخدمين بتدريب النماذج باستخدام مُحسِّنات مختلفة، بما في ذلك آدم، إما محليًا أو عبر التدريب السحابي. وتوفر أطر عمل مثل PyTorch و TensorFlow تطبيقات قياسية لآدم، والتي يتم استخدامها في إطار عمل Ultralytics.