تُعد الهجمات العدائية مصدر قلق كبير في مجال الذكاء الاصطناعي والتعلم الآلي (ML)، حيث تمثل محاولات متعمدة لخداع أنظمة الذكاء الاصطناعي أو تضليلها. تنطوي هذه الهجمات على صياغة مدخلات محددة، غالباً ما يشار إليها بالأمثلة العدائية، والتي يمكن أن تتسبب في قيام نموذج مدرب جيداً بإجراء تنبؤات أو تصنيفات غير صحيحة. في حين أن هذه الأمثلة العدائية قد تبدو طبيعية أو معدلة قليلاً للمراقبين البشريين، إلا أنها مصممة لاستغلال نقاط الضعف في عملية اتخاذ القرار في النموذج. يعد فهم مثل هذه الهجمات والدفاع ضدها أمراً بالغ الأهمية لنشر أنظمة ذكاء اصطناعي قوية وموثوقة، خاصةً في التطبيقات ذات الأهمية الحرجة للسلامة مثل المركبات ذاتية القيادة والرعاية الصحية وأنظمة الأمن.
أنواع الهجمات العدائية
يمكن تصنيف الهجمات العدائية بشكل عام إلى فئتين رئيسيتين:
- هجمات المراوغة: هذه هي أكثر أنواع الهجمات العدائية شيوعًا. وهي تحدث أثناء مرحلة الاختبار، حيث يحاول المهاجم التلاعب ببيانات الإدخال للتهرب من الاكتشاف أو الخطأ في تصنيف النموذج. على سبيل المثال، قد تؤدي إضافة ضوضاء معينة إلى صورة ما إلى فشل نموذج الكشف عن الكائنات في تحديد كائن ما.
- هجمات التسمم: تحدث هذه الهجمات أثناء مرحلة التدريب. حيث يقوم المهاجمون بحقن بيانات خبيثة في مجموعة بيانات التدريب، بهدف إضعاف سلامة النموذج. الهدف هو جعل أداء النموذج ضعيفًا على مدخلات محددة أو إنشاء باب خلفي يمكن استغلاله لاحقًا.
أمثلة واقعية للهجمات العدائية في العالم الحقيقي
الهجمات العدائية ليست مجرد مفاهيم نظرية، بل لها آثار عملية في سيناريوهات واقعية مختلفة. وفيما يلي بعض الأمثلة:
- المركبات ذاتية القيادة: في سياق السيارات ذاتية القيادة، يمكن أن يكون للهجمات العدائية عواقب وخيمة. فقد أثبت الباحثون أنه من خلال وضع ملصقات صغيرة على إشارات التوقف، يمكنهم خداع نظام الكشف عن الأجسام في السيارة ليخطئ في تصنيف الإشارة على أنها علامة لتحديد السرعة. ومن المحتمل أن يؤدي ذلك إلى مواقف خطيرة على الطريق. تعرّف على المزيد حول الذكاء الاصطناعي في السيارات ذاتية القيادة.
- أنظمة التعرف على الوجه: يمكن أن تستهدف الهجمات العدائية أيضًا أنظمة التعرف على الوجه المستخدمة في الأمن والمراقبة. فمن خلال ارتداء نظارات مصممة خصيصاً أو وضع أنماط محددة من المكياج، يمكن للأفراد التهرب من الكشف أو أن يتم التعرف عليهم بشكل خاطئ من قبل هذه الأنظمة. وهذا يشكل تهديداً كبيراً للأمن والخصوصية.
التقنيات المستخدمة في الهجمات العدائية
يتم استخدام العديد من التقنيات لتوليد أمثلة عدائية. ومن أبرز هذه التقنيات ما يلي:
- طريقة إشارة التدرج السريع (FGSM): هذه واحدة من أقدم طرق الهجوم وأكثرها شيوعًا. وهي تتضمن حساب تدرج دالة الخسارة بالنسبة إلى صورة الإدخال ثم إضافة اضطرابات في اتجاه التدرج لتعظيم الخسارة. تعرف على المزيد حول نزول التدرج.
- تسلسل التدرج المسقط (PGD): وهي نسخة تكرارية من FGSM، تطبق PGD خطوات صغيرة متعددة من صعود التدرج مع إسقاط النتيجة مرة أخرى في مساحة الإدخال الصالحة. غالبًا ما ينتج عن هذه الطريقة هجمات أكثر فعالية.
- هجمات كارليني وفاجنر (C&W): تعتمد هذه الهجمات على التحسين وتهدف إلى العثور على الحد الأدنى من الاضطراب الذي يتسبب في سوء التصنيف. وهي معروفة بكونها فعالة للغاية ولكنها مكلفة من الناحية الحسابية.
الدفاعات ضد هجمات الخصوم
طور الباحثون والممارسون استراتيجيات مختلفة للدفاع ضد هجمات الخصوم. وفيما يلي بعض آليات الدفاع البارزة:
- التدريب العدائي: يتضمن ذلك زيادة مجموعة بيانات التدريب بأمثلة عدائية. من خلال تدريب النموذج على كلٍ من المدخلات النظيفة والخصومة على حدٍ سواء، يتعلم النموذج أن يكون أكثر قوة ضد مثل هذه الهجمات. تعرف على المزيد حول بيانات التدريب.
- التقطير الدفاعي: تتضمن هذه التقنية تدريب نموذج للتنبؤ بالاحتمالات المخففة الناتجة عن نموذج آخر تم تدريبه على بيانات نظيفة. ويهدف إلى جعل النموذج أقل حساسية للاضطرابات الصغيرة.
- المعالجة المسبقة للإدخال: يمكن أن يساعد تطبيق التحويلات على بيانات الإدخال، مثل الضغط أو تقليل الضوضاء أو التوزيع العشوائي، في التخفيف من آثار الاضطرابات العدائية. تعرف على المزيد حول المعالجة المسبقة للبيانات.
- إخفاء التدرج: يهدف هذا النهج إلى إخفاء تدرجات النموذج عن المهاجم، مما يجعل من الصعب صياغة أمثلة معادية. ومع ذلك، فقد ثبت أن هذه الطريقة أقل فعالية ضد الهجمات الأكثر تعقيدًا.
الهجمات العدائية مقابل التهديدات الأمنية الأخرى للذكاء الاصطناعي
على الرغم من أن الهجمات العدائية تمثل مصدر قلق كبير، إلا أنه من الضروري التمييز بينها وبين التهديدات الأمنية الأخرى للذكاء الاصطناعي:
- تسميم البيانات: كما ذكرنا سابقًا، فإن تسميم البيانات هو نوع من الهجمات العدائية التي تحدث أثناء مرحلة التدريب. أما التهديدات الأمنية الأخرى، مثل انتهاكات البيانات أو الوصول غير المصرح به، فقد لا تنطوي على تلاعب عدائي ولكنها لا تزال تعرض سلامة النظام للخطر.
- عكس النموذج: يهدف هذا الهجوم إلى إعادة بناء البيانات الحساسة من مجموعة التدريب عن طريق الاستعلام عن النموذج. على الرغم من أنه لا يتضمن أمثلة عدائية، إلا أنه يشكل خطرًا على الخصوصية، خاصةً عند التعامل مع بيانات حساسة مثل السجلات الطبية. تعرف على المزيد حول تحليل الصور الطبية.
- الهجمات المستترة: تتضمن هذه الهجمات إدخال مشغل خفي في النموذج أثناء التدريب، مما يجعله يتصرف بشكل خبيث عند وجود المشغل. على الرغم من ارتباطها بهجمات التسميم، إلا أن هجمات الباب الخلفي لها هدف محدد يتمثل في خلق ثغرة خفية.
مستقبل هجمات ودفاعات الخصوم
يتطور مجال الهجمات المعادية باستمرار، مع استمرار البحث في أساليب الهجوم الأكثر تطوراً وآليات الدفاع القوية. ومع تزايد اندماج أنظمة الذكاء الاصطناعي في التطبيقات الحيوية، فإن ضمان أمنها ضد الهجمات العدائية سيكون ذا أهمية قصوى.
تشمل الاتجاهات البحثية المستقبلية تطوير دفاعات أكثر قابلية للتعميم، وفهم الحدود الأساسية للمتانة، وإنشاء نماذج تكيفية يمكنها التكيف ديناميكيًا مع أنواع جديدة من الهجمات. بالإضافة إلى ذلك، قد يؤدي استكشاف التفاعل بين الذكاء الاصطناعي القابل للتفسير (XAI) والمتانة العدائية إلى أنظمة ذكاء اصطناعي أكثر شفافية وأماناً. تعرف على المزيد عن أخلاقيات الذكاء الاصطناعي.
للمزيد من القراءة عن الهجمات العدائية، يمكنك الاطلاع على هذه المصادر:
من خلال البقاء على اطلاع على أحدث التطورات في الهجمات والدفاعات المعادية، يمكن للممارسين المساهمة في بناء أنظمة ذكاء اصطناعي أكثر أمانًا وجدارة بالثقة Ultralytics YOLO .
