التطبيع

أهمية التطبيع

غالبًا ما تحتوي مجموعات البيانات في العالم الحقيقي على ميزات ذات مقاييس ووحدات مختلفة إلى حد كبير. على سبيل المثال، في مجموعة بيانات للتنبؤ بتقلبات العملاء، قد يتراوح "رصيد الحساب" من مئات إلى ملايين الوحدات، بينما قد يتراوح "عدد المنتجات" من 1 إلى 10. بدون التطبيع، قد ترى خوارزميات التعلم الآلي التي تحسب المسافات أو تستخدم التدرجات، مثل آلات دعم المتجهات (SVM) أو الشبكات العصبية (NN)، بشكل غير صحيح أن الميزة ذات النطاق الأكبر قد تكون أكثر أهمية بسبب حجمها. يعمل التطبيع على تسوية ساحة اللعب، مما يضمن أن مساهمة كل ميزة تعتمد على قوتها التنبؤية وليس على حجمها. يؤدي هذا إلى تقارب أسرع أثناء التدريب (كما هو واضح في الحلقات المخفضة)، وتحسين دقة النموذج، ونماذج أكثر استقرارًا وقوة. هذا الاستقرار مفيد عند تدريب نماذج مثل Ultralytics YOLO لمهام مثل اكتشاف الأجسام أو تجزئة النماذج، مما قد يحسن مقاييس مثل متوسط الدقة المتوسطة (mAP).

تقنيات التطبيع الشائعة

توجد عدة طرق لإعادة قياس البيانات، كل منها مناسب لحالات مختلفة:

• تحجيم الحد الأدنى-الأقصى: يعيد قياس الميزات إلى نطاق ثابت، عادةً [0، 1]. يتم حسابه على النحو التالي (القيمة - الحد الأدنى) / (الحد الأقصى - الحد الأدنى). تحافظ هذه الطريقة على شكل التوزيع الأصلي ولكنها حساسة للقيم المتطرفة.
• توحيد الدرجة Z (القياس المعياري): إعادة تحجيم الميزات ليكون المتوسط 0 والانحراف المعياري 1. يتم حسابه على النحو التالي (القيمة - المتوسط) / الانحراف المعياري. على عكس مقياس Min-Max، فإنه لا يربط القيم بنطاق محدد، وهو ما قد يكون جانبًا سلبيًا للخوارزميات التي تتطلب مدخلات ضمن فترة محدودة، ولكنه يتعامل مع القيم المتطرفة بشكل أفضل. يمكنك العثور على مزيد من المعلومات حول هذه الطرق وغيرها في وثائق Scikit-learn Preproproprocessing.
• القياس القوي: يستخدم إحصاءات قوية في مواجهة القيم المتطرفة، مثل النطاق الرباعي (IQR)، بدلاً من الحد الأدنى/الحد الأقصى أو المتوسط/انحراف الانحراف. وهو مفيد بشكل خاص عندما تحتوي مجموعة البيانات على قيم متطرفة كبيرة. تعرف على المزيد حول القياس القوي.

يعتمد الاختيار بين هذه التقنيات غالبًا على مجموعة البيانات المحددة (مثل تلك الموجودة في مجموعات بياناتUltralytics ) ومتطلبات خوارزمية التعلم الآلي المستخدمة. غالبًا ما تغطي الأدلة الخاصة بالمعالجة المسبقة للبيانات المشروحة خطوات التطبيع ذات الصلة بمهام محددة.

التطبيع مقابل التوحيد القياسي مقابل التطبيع على دفعات

من المهم التمييز بين التطبيع والمفاهيم ذات الصلة:

• التوحيد القياسي: غالبًا ما يُستخدم هذا الأسلوب بالتبادل مع التوحيد القياسي للدرجات Z، حيث يقوم بتحويل البيانات إلى متوسط صفري وتباين وحدة. في حين أن التطبيع عادةً ما يقيس البيانات إلى نطاق ثابت (على سبيل المثال، من 0 إلى 1)، فإن التوحيد القياسي يركز البيانات حول المتوسط ويقيسها بناءً على الانحراف المعياري، دون تقييدها بالضرورة بنطاق محدد.
• تطبيع الدُفعات: وهي تقنية يتم تطبيقها داخل الشبكة العصبية أثناء التدريب، وتحديداً على مدخلات الطبقات أو التنشيطات. حيث تقوم بتطبيع مخرجات طبقة التنشيط السابقة لكل دفعة صغيرة، مما يؤدي إلى استقرار وتسريع عملية التدريب من خلال تقليل مشكلة انزياح المتغيرات الداخلية. على عكس تطبيع الميزات (Min-Max أو Z-score) الذي يعد خطوة معالجة مسبقة يتم تطبيقها على مجموعة البيانات الأولية، فإن تطبيع الدُفعات هو جزء من بنية الشبكة نفسها، حيث يتكيف ديناميكيًا أثناء تدريب النموذج.

تطبيقات التطبيع

يُعد التطبيع خطوة واسعة الانتشار في إعداد البيانات لمختلف مهام الذكاء الاصطناعي وتعلم الآلة:

• الرؤية الحاسوبية (CV): غالبًا ما يتم تطبيع قيم البكسل في الصور (التي تتراوح عادةً من 0 إلى 255) إلى [0، 1] أو [-1، 1] قبل إدخالها في الشبكات العصبية التلافيفية (CNNs). يضمن ذلك الاتساق عبر الصور ويساعد الشبكة على تعلم الميزات بشكل أكثر فعالية لمهام مثل تصنيف الصور واكتشاف الأجسام باستخدام نماذج مثل YOLO11 وتجزئة الصور. تستفيد العديد من مجموعات بيانات السيرة الذاتية القياسية من خطوة المعالجة المسبقة هذه.
• تحليل الصور الطبية: في تطبيقات مثل الكشف عن الأورام باستخدام نماذج YOLO يعد تطبيع قيم الشدة في التصوير بالرنين المغناطيسي أو التصوير المقطعي المحوسب أمرًا بالغ الأهمية. يمكن أن تنتج أجهزة أو إعدادات المسح المختلفة صورًا بمقاييس شدة مختلفة. يضمن التطبيع اتساق التحليل وقابليته للمقارنة بين مختلف عمليات المسح والمرضى، مما يؤدي إلى نماذج تشخيصية أكثر موثوقية. وهذا أمر حيوي في مجالات مثل الذكاء الاصطناعي في مجال الرعاية الصحية.
• النمذجة التنبؤية: عند إنشاء نماذج للتنبؤ بالنتائج بناءً على ميزات متنوعة (على سبيل المثال، التنبؤ بأسعار المنازل بناءً على الحجم وعدد الغرف وإحداثيات الموقع)، يضمن التطبيع عدم هيمنة الميزات ذات النطاقات العددية الأكبر (مثل اللقطات المربعة) على الحسابات القائمة على المسافة (على سبيل المثال، في k-Nearest Neighbours) أو تحديثات التدرج أثناء التدريب. وهذا أمر شائع في التحليلات المالية وتحليلات البيع بالتجزئة.
• معالجة اللغة الطبيعية (NLP): على الرغم من أن التطبيع أقل شيوعًا للنص الخام، إلا أنه يمكن تطبيقه على السمات العددية المشتقة، مثل ترددات الكلمات أو درجات TF خاصةً عند دمجها مع أنواع أخرى من السمات في نموذج أكبر.

باختصار، يُعد التطبيع خطوة حيوية للمعالجة المسبقة التي تعمل على قياس ميزات البيانات إلى نطاق متسق، مما يحسن عملية التدريب والاستقرار والأداء للعديد من نماذج التعلم الآلي، بما في ذلك تلك التي تم تطويرها وتدريبها باستخدام أدوات مثل Ultralytics HUB. وهي تضمن المساهمة العادلة للميزات وهي ضرورية للخوارزميات الحساسة لمقياس المدخلات، مما يساهم في إيجاد حلول ذكاء اصطناعي أكثر قوة ودقة.