التدريب الموزع

التدريب الموزع هو طريقة في التعلم الآلي يتم فيها تقسيم عبء عمل تدريب النموذج على عدة معالجات أو أجهزة. هذه الطريقة ضرورية للتعامل مع مجموعات البيانات الضخمة وبنى الشبكات العصبية المعقدة التي قد يستغرق تدريبها على جهاز واحد وقتًا غير عملي. من خلال الاستفادة من القدرة الحاسوبية المجمعة لعدة وحدات معالجة رسومات (GPU) أو وحدات Tensor (TPU)، يعمل التدريب الموزع على تسريع دورة التطوير بشكل كبير، مما يسمح للباحثين والمهندسين بالتكرار بشكل أسرع وتحقيق دقة أعلى في نماذجهم.

كيف يعمل التدريب الموزع

الفكرة الأساسية وراء التدريب الموزع هي التوازي. بدلاً من معالجة البيانات بالتسلسل على شريحة واحدة، تُقسم المهمة إلى أجزاء أصغر يتم معالجتها في وقت واحد. هناك استراتيجيتان أساسيتان لتحقيق ذلك:

• توازي البيانات: هذا هو النهج الأكثر شيوعًا لمهام مثل اكتشاف الكائنات. في هذا الإعداد، يتم وضع نسخة من النموذج بأكمله على كل جهاز. يتم تقسيم بيانات التدريب الشاملة إلى دفعات أصغر، و يقوم كل جهاز بمعالجة دفعة مختلفة في نفس الوقت. بعد كل خطوة، يتم مزامنة التدرجات (تحديثات النموذج) عبر جميع الأجهزة لضمان بقاء أوزان النموذج متسقة.
• توازي النماذج: عندما تكون الشبكة العصبية (NN) كبيرة جدًا بحيث لا تتسع في ذاكرة GPU الواحدة، يتم تقسيم النموذج نفسه على عدة أجهزة. توجد طبقات أو مكونات مختلفة من النموذج على رقائق مختلفة، وتتدفق البيانات بينها. غالبًا ما يكون هذا ضروريًا لتدريب نماذج الأساس الضخمة و نماذج اللغة الكبيرة (LLMs).

تطبيقات واقعية

أدى التدريب الموزع إلى تحويل الصناعات من خلال إتاحة حل المشكلات التي كانت في السابق غير قابلة للتحقيق حسابيًا.

• القيادة الذاتية: يتطلب تطوير مركبات ذاتية القيادة آمنة تحليل بيتابايت من بيانات الفيديو وأجهزة الاستشعار. يستخدم مهندسو السيارات مجموعات كبيرة موزعة لتدريب نماذج الرؤية من أجل التقسيم الدلالي في الوقت الفعلي واكتشاف حارات الطريق. يضمن هذا الحجم الهائل أن الذكاء الاصطناعي في أنظمة السيارات يمكنه الاستجابة بشكل موثوق لظروف الطرق المتنوعة.
• التصوير الطبي: في قطاع الرعاية الصحية، يتطلب تحليل المسح الضوئي ثلاثي الأبعاد عالي الدقة مثل التصوير بالرنين المغناطيسي ذاكرة كبيرة وقدرة معالجة عالية. يتيح التدريب الموزع للباحثين إنشاء أدوات تشخيصية عالية الأداء للكشف عن الأورام وغيرها من المهام الحيوية. باستخدام أطر عمل مثل NVIDIA يمكن للمستشفيات تدريب النماذج على مجموعات بيانات متنوعة دون مواجهة مشاكل في الذاكرة، مما يحسن نتائج الذكاء الاصطناعي في مجال الرعاية الصحية.

الاستفادة من التدريب الموزع مع Ultralytics

إن ultralytics تسهل المكتبة تنفيذ التدريب المتوازي للبيانات الموزعة (DDP). يمكنك توسيع نطاق تدريبك على أحدث التقنيات يولو26 النماذج عبر وحدات معالجة رسومات متعددة ببساطة عن طريق تحديد مؤشرات الأجهزة في حجج التدريب الخاصة بك.

from ultralytics import YOLO

# Load a pre-trained YOLO26 model
model = YOLO("yolo26n.pt")

# Train the model using two GPUs (device 0 and 1)
# The library automatically handles the DDP communication backend
results = model.train(data="coco8.yaml", epochs=100, device=[0, 1])

المفاهيم ذات الصلة والمقارنات

من المفيد التمييز بين التدريب الموزع والمصطلحات المماثلة في نظام التعلم الآلي لفهم أدوارها المحددة:

• مقابل التعلم الفيدرالي: على الرغم من أن كلاهما يتضمن أجهزة متعددة، إلا أن أهدافهما تختلف. عادةً ما يركز التدريب الموزع البيانات في مجموعة عالية الأداء لتحقيق أقصى سرعة. في المقابل، يحافظ التعلم الفيدرالي على لامركزية البيانات على أجهزة المستخدمين (مثل الهواتف الذكية) لإعطاء الأولوية لخصوصية البيانات، وتحديث النموذج العالمي دون أن تغادر البيانات الأولية المصدر أبدًا.
• مقابل الحوسبة عالية الأداء (HPC): الحوسبة عالية الأداء (HPC) هي مجال واسع يشمل الحوسبة الفائقة للمحاكاة العلمية مثل التنبؤ بالطقس. التدريب الموزع هو تطبيق محدد للحوسبة عالية الأداء (HPC) يطبق على خوارزميات التحسين في التعلم العميق. وغالبًا ما يعتمد على مكتبات اتصال متخصصة مثل NVIDIA لتقليل زمن الاستجابة بين وحدات معالجة الرسومات (GPU).

التوسع باستخدام منصات السحابة

قد تكون إدارة البنية التحتية للتدريب الموزع أمرًا معقدًا. تعمل المنصات الحديثة على تبسيط ذلك من خلال توفير بيئات مُدارة. على سبيل المثال، Ultralytics للمستخدمين إدارة مجموعات البيانات وبدء عمليات التدريب التي يمكن نشرها في بيئات السحابة أو المجموعات المحلية. يعمل هذا التكامل على تبسيط سير العمل بدءًا من تعليق البيانات وحتى النشر النهائي للنموذج، مما يضمن أن يكون التوسع إلى وحدات معالجة رسومات متعددة سلسًا قدر الإمكان. وبالمثل، يوفر مزودو الخدمات السحابية مثل Google Vertex AI و Amazon SageMaker بنية تحتية قوية لتشغيل مهام التدريب الموزعة على نطاق المؤسسة.