انضم إلينا ونحن نغوص في نموذج Meta AI's Segment Anything Model 2 (SAM 2) ونفهم التطبيقات الآنية التي يمكن استخدامها في مختلف الصناعات.
في 29 يوليو 2024، أصدرت Meta AI الإصدار الثاني من نموذج Segment Anything Model، SAM 2. يمكن للنموذج الجديد تحديد وحدات البكسل التي تنتمي إلى كائن مستهدف في كل من الصور ومقاطع الفيديو! أفضل جزء هو أن النموذج قادر على تتبع كائن ما باستمرار عبر جميع إطارات الفيديو في الوقت الفعلي. SAM 2 يفتح إمكانيات مثيرة لتحرير الفيديو، وتجارب الواقع المختلط، والتعليق التوضيحي الأسرع للبيانات المرئية لتدريب أنظمة الرؤية الحاسوبية.
بناءً على نجاح البرنامج الأصلي SAM ، الذي استُخدم في مجالات مثل العلوم البحرية وصور الأقمار الصناعية والطب، يتصدى SAM 2 لتحديات مثل الأجسام سريعة الحركة والتغيرات في المظهر. دقته وكفاءته المحسّنة تجعله أداة متعددة الاستخدامات لمجموعة واسعة من التطبيقات. في هذه المقالة، سنركز على المجالات التي يمكن فيها تطبيقSAM 2 وسبب أهميته لمجتمع الذكاء الاصطناعي.
نموذج Segment Anything Model 2 هو نموذج أساسي متقدم يدعم التجزئة البصرية القابلة للم طالبة أو PVS في كل من الصور ومقاطع الفيديو. PVS هي تقنية يمكن للنموذج من خلالها تجزئة أو تحديد أجزاء مختلفة من الصورة أو الفيديو بناءً على مطالبات أو مدخلات محددة يقدمها المستخدم. يمكن أن تكون هذه المطالبات على شكل نقرات أو مربعات أو أقنعة تبرز المنطقة محل الاهتمام. يقوم النموذج بعد ذلك بإنشاء قناع تجزئة يحدد المنطقة المحددة.
تعتمد بنية SAM 2 على البنية الأصلية SAM من خلال التوسع من تجزئة الصور لتشمل تجزئة الفيديو أيضًا. وهي تتميز بوحدة فك ترميز قناع خفيفة الوزن تستخدم بيانات الصورة والمطالبات لإنشاء أقنعة التجزئة. بالنسبة لمقاطع الفيديو، يقدم SAM 2 نظام ذاكرة يساعده على تذكر المعلومات من الإطارات السابقة، مما يضمن التتبع الدقيق مع مرور الوقت. يتضمن نظام الذاكرة مكونات تخزن وتستدعي تفاصيل حول الكائنات التي يتم تجزئتها. SAM يمكن لـ 2 أيضًا التعامل مع حالات الانسداد، وتتبع الأجسام من خلال إطارات متعددة، وإدارة المطالبات الغامضة من خلال توليد العديد من الأقنعة الممكنة. SAM إن بنية 2 المتقدمة تجعلها ذات قدرة عالية في كل من البيئات المرئية الثابتة والديناميكية.
على وجه التحديد، فيما يتعلق بتجزئة الفيديو، يحقق SAM 2 دقة أعلى مع تفاعلات أقل بثلاثة أضعاف من المستخدم مقارنة بالطرق السابقة. بالنسبة لتجزئة الصور، يتفوق SAM 2 على نموذج تجزئة أي شيء الأصلي (SAM)، حيث إنه أسرع وأكثر دقة بست مرات. وقد تم عرض هذا التحسن في الورقة البحثية SAM 2 عبر 37 مجموعة بيانات مختلفة، بما في ذلك 23 مجموعة بيانات تم اختبار SAM عليها سابقًا.
ومن المثير للاهتمام أن برنامج Meta AI SAM 2 تم تطويره من خلال إنشاء أكبر مجموعة بيانات تجزئة للفيديو حتى الآن، وهي مجموعة بيانات SA-V. تتضمن مجموعة البيانات الشاملة أكثر من 50,000 مقطع فيديو و35.5 مليون قناع تجزئة وتم جمعها من خلال مساهمات المستخدمين التفاعلية. قدم المُعلّقون مطالبات وتصحيحات لمساعدة النموذج على التعلم من مجموعة واسعة من السيناريوهات وأنواع الكائنات.
بفضل إمكانياته المتقدمة في تجزئة الصور والفيديو، يمكن استخدام SAM 2 في مختلف الصناعات. دعنا نستكشف بعض هذه التطبيقات.
يمكن استخدام نموذج التجزئة الجديد من Meta AI في تطبيقات الواقع المعزز (AR) والواقع الافتراضي (VR). على سبيل المثال، يستطيع SAM 2 تحديد وتجزئة الأجسام في العالم الحقيقي بدقة وجعل التفاعل مع الأجسام الافتراضية أكثر واقعية. يمكن أن يكون مفيدًا في مجالات مختلفة مثل الألعاب والتعليم والتدريب، حيث يكون التفاعل الواقعي بين العناصر الافتراضية والحقيقية أمرًا ضروريًا.
مع تطور الأجهزة مثل نظارات الواقع المعزز التي أصبحت أكثر تطوراً، يمكن دمج قدرات SAM 2 فيها قريباً. تخيل أنك ترتدي النظارة وتنظر حول غرفة معيشتك. عندما تقطع النظارة وتلاحظ وعاء الماء الخاص بكلبك، قد تذكرك النظارة بإعادة ملئه، كما هو موضح في الصورة أدناه. أو، إذا كنت تطبخ وصفة جديدة، يمكن للنظارات أن تحدد المكونات الموجودة على سطح الطاولة وتوفر لك الإرشادات والنصائح خطوة بخطوة، مما يحسن من تجربة الطهي ويضمن حصولك على جميع العناصر الضرورية في متناول يدك.
أظهرت الأبحاث باستخدام النموذج SAM أنه يمكن تطبيقه في مجالات متخصصة مثل التصوير بالسونار. ينطوي التصوير بالسونار على تحديات فريدة من نوعها بسبب دقته المنخفضة ومستويات التشويش العالية والأشكال المعقدة للأجسام داخل الصور. من خلال الضبط الدقيق SAM لصور السونار، أثبت الباحثون قدرتها على تجزئة الأجسام المختلفة تحت الماء بدقة مثل الحطام البحري والتكوينات الجيولوجية وغيرها من العناصر ذات الأهمية. يمكن استخدام التصوير الدقيق والموثوق به تحت الماء في الأبحاث البحرية وعلم الآثار تحت الماء وإدارة مصايد الأسماك والمراقبة لمهام مثل رسم خرائط الموائل واكتشاف القطع الأثرية والكشف عن التهديدات.
%25201.avif)
نظرًا لأن SAM 2 يعتمد على العديد من التحديات التي يواجهها SAM ويحسنها، فإن لديه القدرة على تحسين تحليل التصوير بالسونار بشكل أكبر. ويمكن أن تساعد قدرات التجزئة الدقيقة في مختلف التطبيقات البحرية، بما في ذلك البحث العلمي ومصائد الأسماك. على سبيل المثال، يمكن لـ SAM 2 تحديد الهياكل تحت الماء بشكل فعال، والكشف عن الحطام البحري، وتحديد الأجسام في صور السونار ذات التطلع الأمامي، مما يساهم في استكشاف ورصد أكثر دقة وكفاءة تحت الماء.
فيما يلي الفوائد المحتملة لاستخدام SAM 2 لتحليل التصوير بالسونار:
من خلال دمج SAM 2 في عمليات التصوير بالسونار، يمكن للصناعة البحرية تحقيق كفاءة ودقة وموثوقية أعلى في الاستكشاف والتحليل تحت الماء، مما يؤدي في النهاية إلى نتائج أفضل في مجال البحوث البحرية.
ومن التطبيقات الأخرى للموقع SAM 2 في المركبات ذاتية القيادة. SAM 2 يمكنه تحديد الأجسام بدقة مثل المشاة والمركبات الأخرى وعلامات الطرق والعوائق في الوقت الفعلي. يُعد مستوى التفاصيل التي يمكن أن يوفرها SAM 2 ضرورياً لاتخاذ قرارات الملاحة الآمنة وتجنب الاصطدام. من خلال معالجة البيانات المرئية بدقة، يساعد SAM 2 في إنشاء خريطة مفصلة وموثوقة للبيئة ويؤدي إلى اتخاذ قرارات أفضل.
SAM إن قدرة 2 على العمل بشكل جيد في ظروف الإضاءة المختلفة وتغيرات الطقس والبيئات الديناميكية تجعله موثوقاً للمركبات ذاتية القيادة. سواء أكان شارعاً حضرياً مزدحماً أو طريقاً سريعاً ضبابياً، يمكن لنظام SAM 2 تحديد الأجسام وتقسيمها بدقة باستمرار حتى تتمكن السيارة من الاستجابة بشكل صحيح لمختلف المواقف.
ومع ذلك، هناك بعض القيود التي يجب وضعها في الاعتبار. بالنسبة للأجسام المعقدة وسريعة الحركة، يمكن أن يفوت SAM 2 في بعض الأحيان التفاصيل الدقيقة، ويمكن أن تصبح تنبؤاته غير مستقرة عبر الإطارات. أيضاً، يمكن أن يخلط SAM 2 أحياناً بين عدة أجسام متشابهة المظهر في المشاهد المزدحمة. هذه التحديات هي السبب وراء أهمية دمج أجهزة استشعار وتقنيات إضافية في تطبيقات القيادة الذاتية.
قد يكون الرصد البيئي باستخدام الرؤية الحاسوبية أمرًا صعبًا، خاصةً عندما يكون هناك نقص في البيانات المشروحة، ولكن هذا أيضًا ما يجعلها تطبيقًا مثيرًا للاهتمام لموقع SAM 2. SAM 2 يمكن استخدام 2 لتتبع وتحليل التغيرات في المناظر الطبيعية من خلال تجزئة وتحديد السمات البيئية المختلفة بدقة مثل الغابات والمسطحات المائية والمناطق الحضرية والأراضي الزراعية من صور الأقمار الصناعية أو صور الطائرات بدون طيار. على وجه التحديد، يساعد التجزئة الدقيقة في رصد إزالة الغابات والتوسع الحضري والتغيرات في استخدام الأراضي بمرور الوقت لتوفير بيانات قيمة للحفاظ على البيئة والتخطيط.
فيما يلي بعض فوائد استخدام نموذج مثل SAM 2 لتحليل التغيرات البيئية بمرور الوقت:
يعد العرض التوضيحي Segment Anything 2 طريقة رائعة لتجربة النموذج على مقطع فيديو. باستخدام إمكانيات PVS في SAM 2، أخذنا مقطع فيديو قديم على يوتيوبUltralytics وتمكنا من تجزئة ثلاثة أشياء أو أشخاص في الفيديو وتقطيعهم إلى أجزاء. تقليديًا، كان تحرير ثلاثة أفراد من مقطع فيديو كهذا يستغرق وقتًا طويلاً ومملًا ويتطلب إخفاء يدويًا إطارًا تلو الآخر. ومع ذلك، SAM 2 يبسط هذه العملية. من خلال بضع نقرات على العرض التوضيحي، يمكنك حماية هوية ثلاثة أشخاص مهمين في غضون ثوانٍ.
يتيح لك العرض التوضيحي أيضًا تجربة بعض المؤثرات البصرية المختلفة، مثل تسليط الضوء على الأجسام التي تحددها للتتبع ومسح الأجسام التي يتم تتبعها. إذا أعجبك العرض التوضيحي وكنت مستعدًا لبدء الابتكار باستخدام SAM 2، راجع صفحة مستندات النموذجUltralytics SAM 2 للحصول على إرشادات مفصلة حول كيفية استخدام النموذج بشكل عملي. استكشف الميزات وخطوات التثبيت والأمثلة للاستفادة الكاملة من إمكانات SAM 2 في مشاريعك!
يعمل نموذج تقسيم أي شيء من Meta AI's Segment Anything Model 2 (SAM 2) على تحويل تقسيم الفيديو والصور. مع تحسن مهام مثل تتبع الأشياء، نكتشف فرصًا جديدة في تحرير الفيديو والواقع المختلط والبحث العلمي والتصوير الطبي. من خلال جعل المهام المعقدة أسهل وتسريع عملية التجزئة التوضيحية SAM 2، فإن 2 مهيأ ليصبح أداة مهمة لمجتمع الذكاء الاصطناعي. مع استمرارنا في الاستكشاف والابتكار باستخدام نماذج مثل SAM 2، يمكننا توقع المزيد من التطبيقات الرائدة والتطورات في مختلف المجالات!
تعرّف على المزيد عن الذكاء الاصطناعي من خلال استكشاف مستودع GitHub الخاص بنا والانضمام إلى مجتمعنا. اطلع على صفحات الحلول الخاصة بنا للحصول على رؤى تفصيلية حول الذكاء الاصطناعي في التصنيع والرعاية الصحية. 🚀
