مجالات الإشعاع العصبي (NeRF)

المفهوم الأساسي للترددات الراديوية الجديدة

نموذج NeRF في جوهره هو نوع محدد من التمثيل العصبي الضمني. وهو يتضمن تدريب شبكة عصبونية عميقة، غالباً ما تكون متعددة الطبقات (MLP)، وعادةً ما يتم إنشاؤها باستخدام أطر مثل PyTorch أو TensorFlow. تتعلم هذه الشبكة دالةً تقوم بتعيين إحداثيات مكانية ثلاثية الأبعاد (الموقع x، y، z) واتجاه الرؤية ثنائي الأبعاد (من أين تنظر الكاميرا) إلى اللون (قيم RGB) وكثافة الحجم (بشكل أساسي، مدى عتامة أو شفافية تلك النقطة) في تلك النقطة المحددة في الفضاء كما تُرى من ذلك الاتجاه.

تستخدم عملية التدريب مجموعة من الصور ثنائية الأبعاد المدخلة لمشهد مأخوذة من مواضع واتجاهات الكاميرا المعروفة. يتطلب ذلك بيانات معايرة دقيقة للكاميرا لبيانات التدريب. تتعلّم الشبكة من خلال مقارنة وحدات البكسل المعروضة من تمثيلها الحالي مع وحدات البكسل الفعلية في صور الإدخال، وتعديل أوزان نموذجها من خلال الترحيل العكسي لتقليل الفرق. من خلال الاستعلام عن هذه الدالة المستفادة للعديد من النقاط على طول أشعة الكاميرا التي تمر عبر بكسلات الكاميرا الافتراضية، يمكن لـ NeRF عرض صور مفصلة للغاية من وجهات نظر جديدة تمامًا. يتطلب تدريب هذه النماذج في كثير من الأحيان قوة حاسوبية كبيرة، وعادةً ما يتم الاستفادة من وحدات معالجة الرسومات. للتعمق أكثر في التفاصيل التقنية، يمكن الاطلاع على الورقة البحثية الأصلية"NeRF: تمثيل المشاهد كمجالات إشعاع عصبي لتوليف الرؤية".

الملاءمة والأهمية

تكمن أهمية NeRF في قدرتها غير المسبوقة على التقاط وتقديم مناظر واقعية للمشاهد المعقدة. وهي تتفوق في تمثيل التفاصيل المعقدة والتأثيرات المعتمدة على المنظر مثل الانعكاسات والانكسارات والشفافية والإضاءة المعقدة، والتي غالباً ما تكون صعبة بالنسبة لطرق الرسومات ثلاثية الأبعاد التقليدية مثل شبكات المضلعات أو فوكسلات. نظرًا لأن تمثيل المشهد بأكمله يتم تخزينه ضمنيًا داخل أوزان الشبكة العصبية المدربة، يمكن لنماذج NeRF تحقيق تمثيلات مضغوطة للغاية مقارنة بالطرق الصريحة مثل السحب النقطية الكثيفة أو الشبكات عالية الدقة، خاصةً بالنسبة للمشاهد المعقدة بصريًا. يدفع هذا التقدم حدود إعادة البناء ثلاثي الأبعاد والحوسبة البصرية.

تقنية NeRF مقابل تقنيات التمثيل ثلاثي الأبعاد الأخرى

من المهم تمييز NeRF عن الطرق الأخرى المستخدمة في النمذجة ثلاثية الأبعاد والرؤية الحاسوبية:

• التمثيلات الصريحة (الشبكات والسحب النقطية والفوكسلات): تحدد الطرق التقليدية الهندسة بشكل صريح باستخدام الرؤوس أو الأوجه أو النقاط أو خلايا الشبكة. على الرغم من فعاليتها في العديد من المهام، إلا أنها يمكن أن تواجه صعوبات مع الأنسجة المعقدة والشفافية والتأثيرات المعتمدة على العرض، ويمكن أن تصبح أحجام الملفات كبيرة جدًا للمشاهد التفصيلية. تقدم NeRF تمثيلًا ضمنيًا، وتعلم دالة مستمرة.
• المسح التصويري الضوئي: تستخدم هذه التقنية أيضًا صورًا متعددة ثنائية الأبعاد لإعادة بناء مشاهد ثلاثية الأبعاد، وغالبًا ما ينتج عنها شبكات أو سحب نقطية(ويكيبيديا المسح التصويري). على الرغم من نضج هذه التقنية، إلا أن المسح التصويري الضوئي يمكن أن يعاني أحياناً من مشاكل في الأسطح الخالية من النسيج والانعكاسات والهياكل الرقيقة مقارنةً بقدرات تركيب المشاهد في NeRF.
• مهام السيرة الذاتية الأخرى: يركز NeRF على تمثيل المشهد وتركيبه. ويختلف هذا عن مهام مثل اكتشاف الكائنات (تحديد موقع الكائنات ذات المربعات المحدودة) أو تصنيف الصور (تصنيف الصورة) أو تجزئة الصور (التصنيف على مستوى البكسل)، والتي تحلل محتوى الصورة بدلاً من إنشاء طرق عرض جديدة لمشهد ثلاثي الأبعاد. ومع ذلك، من المحتمل أن يكون NeRF مكملاً لهذه المهام من خلال توفير سياق مشهد أكثر ثراءً.

التطبيقات الواقعية

تجد تقنية الترددات الراديوية الجديدة تطبيقات سريعة في مختلف المجالات:

• الواقع الافتراضي والواقع المعزز (VR/AR): إنشاء بيئات وعناصر افتراضية واقعية للغاية لتجارب غامرة. تقوم شركات مثل Meta باستكشاف تقنيات مماثلة لمنصات الواقع الافتراضيوالواقع المعزز المستقبلية مثل Meta Quest.
• الترفيه والمؤثرات البصرية (VFX): توليد ممثلين رقميين واقعيين ومجموعات ومؤثرات رقمية واقعية للأفلام والألعاب، مما يقلل من الحاجة إلى النمذجة اليدوية المعقدة(Autodesk VFX Solutions).
• التوائم الرقمية والمحاكاة: بناء نسخ متماثلة افتراضية عالية الدقة لأشياء أو بيئات واقعية للمحاكاة أو التدريب أو الفحص. وهذا مناسب للتطبيقات الصناعية التي تستخدم منصات مثل NVIDIA Omniverse.
• الروبوتات والأنظمة ذاتية القيادة: تعزيز فهم المشهد للروبوتات والمركبات ذاتية القيادة من خلال توفير خرائط ثلاثية الأبعاد مفصلة من بيانات أجهزة الاستشعار، مما قد يحسن الملاحة والتفاعل(الذكاء الاصطناعي في السيارات ذاتية القيادة). تستكشف المؤسسات البحثية والشركات مثل وايمو وبوسطن ديناميكس الإدراك المتقدم ثلاثي الأبعاد.
• التجارة الإلكترونية والأرشفة: إنشاء تصوّرات تفاعلية ثلاثية الأبعاد للمنتجات أو مواقع التراث الثقافي من التقاط صور بسيطة.

يستمر تطوير NeRF والتقنيات ذات الصلة بشكل سريع، مدفوعًا بمجتمعات بحثية مثل SIGGRAPH والأدوات التي يمكن الوصول إليها من خلال منصات مثل Ultralytics HUB التي تسهل نشر النموذج ودمجه في أنظمة الذكاء الاصطناعي الأوسع، بما في ذلك تلك التي تستخدم Ultralytics YOLO للإدراك ثنائي الأبعاد.