بحيرة البيانات

كيفية عمل بحيرات البيانات في الذكاء الاصطناعي والتعلم الآلي

في سير العمل النموذجي للذكاء الاصطناعي، تعمل بحيرة البيانات كمصدر أساسي للحقيقة لجميع مصادر البيانات المحتملة. تبدأ العملية باستيعاب البيانات، حيث يتم تحميل البيانات الأولية من مصادر مختلفة - مثل سجلات المستخدم، وموجزات الوسائط الاجتماعية، وقراءات مستشعرات إنترنت الأشياء، والصور، ومقاطع الفيديو - إلى بحيرة البيانات. يتم تخزين هذه البيانات في حالتها الأصلية غير المعدلة. عندما يبدأ مشروع ما، مثل تدريب نموذج جديد للرؤية الحاسوبية، يمكن للمهندسين الوصول إلى البحيرة لاستخراج مجموعة فرعية ذات صلة من البيانات. ويعني نهج "المخطط عند القراءة" هذا أنه يتم تطبيق البنية أثناء مراحل تحليل البيانات والمعالجة المسبقة لل بيانات، وليس عند الاستيعاب. هذه المرونة أمر بالغ الأهمية للتطوير التكراري للتعلم الآلي، حيث يمكن أن تتغير متطلبات البيانات مع تطور النموذج. يقدم مزودو الحوسبة السحابية الرئيسيون مثل AWS و Google Cloud خدمات قوية لبناء بحيرات البيانات وإدارتها.

تطبيقات الذكاء الاصطناعي/التعلم الآلي في العالم الحقيقي

تُعد بحيرات البيانات أساسية لتطوير حلول الذكاء الاصطناعي واسعة النطاق التي تعتمد على مجموعات بيانات متنوعة وضخمة.

1. تطويرالمركبات ذاتية القيادة: يولد أسطول من السيارات ذاتية القيادة تيرابايت من بيانات الاستشعار الخام يومياً، بما في ذلك سحب نقاط LiDAR، ومقاطع الفيديو عالية الدقة، وقراءات الرادار. يتم بث هذه البيانات الضخمة في بحيرة بيانات. يمكن للمهندسين والباحثين لاحقاً الاستعلام عن هذا المستودع الضخم للعثور على سيناريوهات نادرة أو صعبة - مثل عبور أحد المشاة بشكل غير متوقع لطريق ليلاً - لاستخدامها في تدريب النموذج والمحاكاة. ويتيح ذلك التحسين المستمر لنماذج الإدراك لمهام مثل اكتشاف الأجسام ويضمن أن تكون قوية ضد الحالات الحادة. وغالباً ما تُستخدم منصات مثل Databricks لإدارة عمليات سير العمل هذه.
2. تحليل الصور الطبية: تقوم المستشفيات والمؤسسات البحثية بجمع الصور الطبية (التصوير بالرنين المغناطيسي والأشعة السينية والأشعة المقطعية) من أجهزة مختلفة بتنسيقات مختلفة. ومن خلال تجميع هذه البيانات في بحيرة بيانات، فإنها تُنشئ مجموعة بيانات غنية ومتنوعة للبحث والتطوير. يمكن لعلماء البيانات الوصول إلى بيانات التصوير الأولية هذه لتطوير نماذج الذكاء الاصطناعي التشخيصية، على سبيل المثال، من خلال تدريب نموذج YOLO على مجموعة مثل مجموعة بيانات أورام الدماغ. يحافظ تخزين البيانات الأولية على التفاصيل المهمة التي قد تُفقد في التنسيقات التي تمت معالجتها مسبقاً، مما يدعم الذكاء الاصطناعي الأكثر دقة في حلول الرعاية الصحية.

التمييز بين المفاهيم ذات الصلة

من المهم التفريق بين بحيرات البيانات ونماذج تخزين البيانات الأخرى.

• مستودع البيانات مقابل بحيرة البيانات: يكمن الفرق الأساسي في بنية البيانات والغرض منها. يقوم مستودع البيانات بتخزين البيانات المهيكلة والمفلترة التي تمت معالجتها لغرض معين، وعادةً ما تكون تحليلات الأعمال. على النقيض من ذلك، تقوم بحيرة البيانات بتخزين البيانات الخام غير المفلترة من جميع الأنواع (المنظمة وشبه المنظمة وغير المنظمة) دون مخطط محدد مسبقًا. وهذا يجعل بحيرات البيانات أكثر ملاءمة للطبيعة الاستكشافية للتعلم الآلي.
• قاعدة البيانات مقابل بحيرة البيانات: تتطلب قاعدة البيانات التقليدية، وخاصةً قاعدة البيانات العلائقية مثل SQL، أن تتناسب البيانات مع مخطط صارم ومحدد مسبقًا قبل أن تتم كتابتها. يُعرف هذا باسم "المخطط عند الكتابة". تستخدم بحيرات البيانات نهج "المخطط عند القراءة"، مما يوفر المرونة اللازمة للتعامل مع تنسيقات البيانات المتنوعة الشائعة في الذكاء الاصطناعي، مثل الصور والنصوص وسجلات الاستشعار. بينما يتم تحسين قواعد البيانات للاستعلامات السريعة للمعاملات، فإن بحيرات البيانات مصممة للمعالجة التحليلية واسعة النطاق باستخدام أدوات مثل Apache Spark.
• استخراج البيانات مقابل بحيرة البيانات: بحيرة البيانات هي مستودع تخزين. من ناحية أخرى، التنقيب عن البيانات هو عملية اكتشاف الأنماط والرؤى من مجموعات البيانات الكبيرة. يتم تطبيق تقنيات التنقيب عن البيانات على البيانات المخزنة داخل بحيرة البيانات.

الفوائد والتحديات

الفوائد:

• المرونة: تخزين أي نوع بيانات من أي مصدر دون هيكلة مسبقة.
• قابلية التوسع: التعامل بسهولة مع أحجام البيانات الضخمة، من تيرابايت إلى بيتابايت، باستخدام أنظمة التخزين الموزعة مثل Apache Hadoop.
• الفعالية من حيث التكلفة: تستفيد من التخزين السلعي منخفض التكلفة، مما يجعل الاحتفاظ بكميات هائلة من البيانات في متناول اليد.
• إضفاء الطابع الديمقراطي على البيانات: جعل البيانات الخام متاحة لفرق مختلفة (علماء البيانات والمحللين ومهندسي تعلّم الآلة) لحالات استخدام متعددة، من إعداد التقارير إلى التعلّم العميق.
• التثبيت المستقبلي: الاحتفاظ بالبيانات الخام إلى أجل غير مسمى، مما يسمح بالتحليل المستقبلي باستخدام أدوات وتقنيات جديدة غير موجودة اليوم.

التحديات:

• حوكمة البيانات: يمكن أن يكون ضمان جودة البيانات ونسبها والتحكم في الوصول إليها أمرًا معقدًا.
• الأمان: تتطلب حماية البيانات الخام الحساسة تدابير قوية لأمن البيانات وخصوصية البيانات.
• خطر مستنقع البيانات: بدون الإدارة السليمة والبيانات الوصفية والفهرسة المناسبة، يمكن أن تصبح بحيرة البيانات غير منظمة ويصعب استخدامها بفعالية، وتتحول إلى "مستنقع بيانات"، وهو مفهوم توضحه شركات إدارة البيانات الرائدة.
• التعقيد: يتطلب مهارات متخصصة للإدارة والتحليل. تعد ممارسات عمليات إدارة العمليات الإدارية الفعالة أمرًا حاسمًا لإدارة دورة الحياة بدءًا من استيعاب البيانات إلى نشر النموذج.