انضم إلينا ونحن نلخص الإنجازات التي حققتها سوني في معالجة الذكاء الاصطناعي المتطورة مع مستشعر IMX500 ومنصة AITRIOS، للمساعدة في تحسين Ultralytics YOLO النماذج.
يمكّن الذكاء الاصطناعي المتطور ( Edge AI ) نماذج الذكاء الاصطناعي (AI) من العمل مباشرةً على أجهزة مثل الهواتف الذكية والكاميرات والطائرات بدون طيار. وتتمثل ميزته الرئيسية في أنه يدعم اتخاذ القرارات بشكل أسرع وفي الوقت الفعلي دون الاعتماد على السحابة. في الواقع، تُظهر الدراسات أن استخدام الذكاء الاصطناعي على المنصات الطرفية يمكن أن يزيد من الكفاءة التشغيلية بنسبة تصل إلى 40%.
جعلت التطورات الأخيرة في مجال الذكاء الاصطناعي المتطور، لا سيما في مجال الرؤية الحاسوبية، من هذا المجال موضوعاً محورياً في YOLO Vision 2024 (YV24)، وهو الحدث السنوي المختلط Ultralytics الذي يجمع بين عشاق الذكاء الاصطناعي والخبراء لاستكشاف أحدث ما توصل إليه الذكاء الاصطناعي في مجال الرؤية. كان أحد أبرز الأحداث في هذا الحدث هو العرض التقديمي الرئيسي لشركة سوني، حيث عرضت الشركة أحدث حلولها الجديدة في مجال الذكاء الاصطناعي من أجهزة وبرامج الذكاء الاصطناعي. وقد تم عرض مستشعر IMX500 ومنصة AITRIOS، وعرضت سوني كيف أن هذه الابتكارات تجعل من الأسهل والأكثر كفاءة نشر نماذجUltralytics YOLO مثل Ultralytics YOLO11 و Ultralytics YOLOv8 على الحافة.
أدار الجلسة وي تانغ، مدير تطوير الأعمال الذي يركز على حلول التصوير من سوني، وأمير سيرفي، مدير منتجات التعلم العميق المتطور الذي يتمتع بخبرة في نشر نماذج التعلم العميق على الأجهزة المتطورة.
في هذا المقال، سنعيد النظر في حديث سوني في YV24 ونستكشف كيف يعمل مستشعر IMX500 ومنصة AITRIOS على تحسين استخدام نماذج YOLO لمعالجة الذكاء الاصطناعي في الوقت الحقيقي بشكل أسرع وفي الوقت الحقيقي. لنبدأ!
افتتحت وي تانغ الجلسة بالحديث عن هدف سوني لجعل الذكاء الاصطناعي المتطور متاحاً كما فعلوا مع التصوير الفوتوغرافي منذ سنوات. وأكدت على كيفية تركيز سوني الآن على توفير الذكاء الاصطناعي البصري المتقدم لعدد أكبر من الأشخاص من خلال الحوسبة المتطورة. أحد العوامل الدافعة وراء ذلك هو التأثير الإيجابي الذي يمكن أن يحدثه الذكاء الاصطناعي المتطور على البيئة. من خلال معالجة البيانات مباشرةً على الأجهزة بدلاً من الاعتماد على مراكز البيانات الضخمة، تساعد الحوسبة المتطورة على تقليل استخدام الطاقة وتقليل انبعاثات الكربون. إنه نهج أكثر ذكاءً ومراعاة للبيئة يتناسب تمامًا مع التزام سوني ببناء تكنولوجيا لا تعمل بشكل أفضل فحسب، بل تساعد أيضًا في خلق مستقبل أكثر استدامة.
وواصل وي شرح كيف تقوم شركة سوني لحلول أشباه الموصلات، وهي قسم سوني المتخصص في تقنيات التصوير والاستشعار، بإنشاء مستشعرات صور متقدمة. تُستخدم هذه المستشعرات في مجموعة متنوعة من الأجهزة، حيث تقوم بتحويل الضوء إلى إشارات إلكترونية لالتقاط الصور. يتم شحن أكثر من 1.2 مليار مستشعر كل عام، وهي موجودة في ما يقرب من نصف الهواتف المحمولة في العالم، مما يجعل سوني لاعباً رئيسياً في صناعة التصوير.
استناداً إلى هذه الخبرة، تعمل سوني الآن على المضي قدماً في هذا المجال من خلال تحويل هذه المستشعرات من أجهزة التقاط الصور إلى أدوات ذكية يمكنها معالجة البيانات في الوقت الفعلي، مما يتيح رؤى مدعومة بالذكاء الاصطناعي مباشرة على الأجهزة. قبل أن نناقش حلول الأجهزة والبرمجيات التي تستخدمها سوني لدعم هذا التحول، دعونا نفهم تحديات الذكاء الاصطناعي المتطورة التي تهدف هذه الابتكارات إلى حلها.
ينطوي تطوير حلول الذكاء الاصطناعي المتطورة على بعض التحديات الرئيسية، خاصةً عند العمل مع أجهزة مثل الكاميرات وأجهزة الاستشعار. فالعديد من هذه الأجهزة لديها طاقة وقدرة معالجة محدودة، مما يجعل من الصعب تشغيل نماذج الذكاء الاصطناعي المتقدمة بكفاءة.
فيما يلي بعض القيود الرئيسية الأخرى:
يُعدّ مستشعر الرؤية الذكي IMX500 من سوني جهازاً يغيّر قواعد اللعبة في معالجة الذكاء الاصطناعي المتطورة. إنه أول مستشعر رؤية ذكي في العالم مزوّد بقدرات ذكاء اصطناعي على الرقاقة. ويساعد هذا المستشعر في التغلب على العديد من التحديات في مجال الذكاء الاصطناعي المتطور، بما في ذلك اختناقات معالجة البيانات والمخاوف المتعلقة بالخصوصية وقيود الأداء.
بينما تقوم المستشعرات الأخرى بتمرير الصور والإطارات فقط، فإن IMX500 يحكي قصة كاملة. فهو يعالج البيانات مباشرة على المستشعر، مما يسمح للأجهزة بتوليد رؤى في الوقت الفعلي. وخلال الجلسة، قال وي تانغ: "من خلال الاستفادة من تقنية مستشعر الصور المتقدمة، نهدف إلى تمكين جيل جديد من التطبيقات التي يمكنها تحسين الحياة اليومية". وقد تم تصميم IMX500 لتحقيق هذا الهدف، حيث تم تصميمه لتحويل كيفية تعامل الأجهزة مع البيانات مباشرة على المستشعر، دون الحاجة إلى إرسالها إلى السحابة للمعالجة.
فيما يلي بعض ميزاته الرئيسية:
إن IMX500 ليس مجرد مستشعر كاميرا، بل هو أداة استشعار قوية تعمل على تحويل كيفية إدراك الأجهزة للعالم من حولها وتفاعلها معه. من خلال تضمين الذكاء الاصطناعي مباشرةً في المستشعر، تجعل سوني الذكاء الاصطناعي المتطور أكثر سهولة في صناعات مثل السيارات والرعاية الصحية والمدن الذكية. في الأقسام اللاحقة، سنتعمق في الأقسام اللاحقة في كيفية عمل IMX500 مع نماذج Ultralytics YOLO لتحسين اكتشاف الأجسام ومعالجة البيانات على الأجهزة المتطورة.
بعد تقديم مستشعر IMX500، أعربت وي تانغ عن أنه على الرغم من أهمية الأجهزة، إلا أنها ليست كافية بمفردها لمعالجة النطاق الكامل للتحديات التي ينطوي عليها نشر الذكاء الاصطناعي على الحافة. وتحدثت عن كيف أن دمج الذكاء الاصطناعي على أجهزة مثل الكاميرات والمستشعرات يتطلب أكثر من مجرد أجهزة متقدمة، بل يحتاج إلى برامج ذكية لإدارتها. وهنا يأتي دور منصة AITRIOS من سوني، حيث تقدم حلاً برمجياً موثوقاً مصمماً لجعل نشر الذكاء الاصطناعي على الأجهزة المتطورة أكثر بساطة وكفاءة.
تعمل AITRIOS كجسر بين نماذج الذكاء الاصطناعي المعقدة والقيود المفروضة على الأجهزة المتطورة. فهو يوفر للمطوّرين مجموعة من الأدوات لنشر نماذج الذكاء الاصطناعي المدربة مسبقاً بسرعة. ولكن الأهم من ذلك أنه يدعم إعادة التدريب المستمر حتى تظل نماذج الذكاء الاصطناعي قابلة للتكيف مع التغيرات في العالم الحقيقي.
كما سلّط وي الضوء على كيفية تبسيط AITRIOS للعملية بالنسبة لأولئك الذين ليس لديهم خبرة عميقة في الذكاء الاصطناعي، مما يوفر مرونة في تخصيص نماذج الذكاء الاصطناعي لحالات استخدام الذكاء الاصطناعي المتطورة المحددة. كما أنه يعالج التحديات الشائعة مثل قيود الذاكرة وانخفاض الأداء، مما يسهل دمج الذكاء الاصطناعي في الأجهزة الصغيرة دون التضحية بالدقة أو السرعة.
في الجزء الثاني من المحاضرة، تم تمرير الميكروفون إلى أمير، الذي تطرق إلى الجانب التقني لكيفية تحسين سوني لطرازاتYOLO على مستشعر IMX500.
بدأ أمير حديثه قائلاً: "YOLO نماذج هي نماذج متميزة وسهلة التحسين إلى حد ما، وذلك بفضل جلين والفريق. سأقنعك بذلك، لا تقلق." ثم أوضح أمير أنه في حين أن الكثير من التركيز ينصب عادةً على تحسين نموذج الذكاء الاصطناعي نفسه، فإن هذا النهج غالبًا ما يتجاهل مصدر قلق بالغ الأهمية: اختناقات ما بعد المعالجة.
أشار أمير إلى أنه في كثير من الحالات، بمجرد أن يكمل نموذج الذكاء الاصطناعي مهمته، يمكن أن تتسبب عملية نقل البيانات والتعامل مع المعالجة اللاحقة على الجهاز المضيف في حدوث تأخيرات كبيرة. ويؤدي نقل البيانات ذهاباً وإياباً بين الجهاز والمضيف إلى حدوث تأخيرات في زمن الاستجابة، وهو ما يمكن أن يكون عائقاً كبيراً أمام تحقيق أفضل أداء.
ولمعالجة هذه المشكلة، أكد أمير على أهمية النظر إلى النظام بأكمله من البداية إلى النهاية، بدلاً من التركيز فقط على نموذج الذكاء الاصطناعي. فمع مستشعر IMX500، اكتشفوا أن المعالجة اللاحقة كانت عنق الزجاجة الرئيسي الذي يبطئ كل شيء. وأشار إلى أن الإنجاز الحقيقي كان فتح القفل غير الأقصى على الرقاقة (NMS).
وسمح ذلك بحدوث المعالجة اللاحقة مباشرة على المستشعر، مما يلغي الحاجة إلى نقل كميات كبيرة من البيانات إلى جهاز مضيف. من خلال تشغيل NMS مباشرةً على IMX500، اخترقت سوني ما أطلق عليه أمير "السقف الزجاجي لما بعد المعالجة"، وحققت أداءً أفضل بكثير وتقليل زمن الوصول.
بعد ذلك، سوف نلقي نظرة على كيفية مساعدة هذا الابتكار لنماذج YOLO ، وخاصةً YOLOv8 نانو، في العمل بكفاءة أكبر على الأجهزة المتطورة، مما يخلق فرصًا جديدة لمعالجة الذكاء الاصطناعي في الوقت الفعلي على أجهزة أصغر حجماً ومحدودة الموارد.
وفي ختام المحاضرة، أوضح أمير كيف تمكنوا من مضاعفة أداء نموذج YOLOv8 نانو أربعة أضعاف من خلال تشغيل NMS على الحافة. وعرض ذلك على جهاز Raspberry Pi 5، الذي تم دمجه مع مستشعر IMX500 AI. قارن أمير الأداء عندما تم التعامل مع مرحلة ما بعد المعالجة على جهاز مضيف مقابل شريحة IMX500.
أظهرت النتائج بوضوح تحسناً كبيراً في الإطارات في الثانية (FPS) والكفاءة الكلية عندما تمت المعالجة على الرقاقة. وقد أدى التحسين إلى جعل اكتشاف الأجسام أسرع وأكثر سلاسة وأظهر أيضاً إمكانية معالجة الذكاء الاصطناعي في الوقت الحقيقي على أجهزة أصغر حجماً ومحدودة الموارد مثل Raspberry Pi.
يعمل مستشعر IMX500 من سوني ومنصة AITRIOS ونماذج Ultralytics YOLO على إعادة تشكيل تطوير الذكاء الاصطناعي المتطور. وتقلل معالجة الذكاء الاصطناعي على الرقاقة من نقل البيانات وزمن الاستجابة مع تعزيز الخصوصية والأمان والكفاءة. من خلال التركيز على النظام بأكمله، وليس فقط على نموذج الذكاء الاصطناعي، تجعل هذه الابتكارات الذكاء الاصطناعي المتطور في متناول المطورين ومن لا يمتلكون خبرة عميقة في الذكاء الاصطناعي. مع استمرار تقدم تقنية الذكاء الاصطناعي المتطور، من المرجح أن تتيح أجهزة أكثر ذكاءً وسرعة في اتخاذ القرار وحماية أقوى للخصوصية عبر مجموعة واسعة من الصناعات والتطبيقات.
ابقَ على اتصال مع مجتمعنا لمواصلة التعلم عن الذكاء الاصطناعي! اطّلع على مستودع GitHub الخاص بنا لاكتشاف كيفية استخدام الذكاء الاصطناعي لإنشاء حلول مبتكرة في مختلف الصناعات مثل الزراعة والتصنيع. 🚀
