Lago de datos

Conceptos básicos

La idea fundamental de un Lago de Datos es proporcionar una solución de almacenamiento rentable y altamente escalable para Big Data. Las características clave son:

• Esquema en lectura: A diferencia de los almacenes de datos (esquema en escritura), los Lagos de Datos aplican la estructura o esquema sólo cuando se leen los datos para su análisis. Esto permite una ingestión más rápida de los datos en bruto.
• Almacenamiento de datos brutos: Los datos se almacenan en su formato original, sin procesar. Así se conservan todos los detalles, que podrían ser útiles para futuros análisis imprevistos o para el entrenamiento de modelos ML.
• Escalabilidad: Normalmente construidos sobre sistemas de archivos distribuidos o almacenamiento en la nube como Amazon S3 o Google Cloud Storage, los Lagos de Datos pueden escalar fácilmente a petabytes o incluso exabytes de datos.
• Diversos tipos de datos: Acomoda una amplia variedad de formatos de datos de diferentes fuentes, cruciales para un análisis exhaustivo en áreas como la Visión por Computadora (CV). Para más información, consulta la documentación de AWS sobre Lagos de Datos.

Lago de datos Vs. Almacén de datos

Aunque tanto los Lagos de Datos como los Almacenes de Datos se utilizan para almacenar grandes cantidades de datos, tienen finalidades distintas y manejan los datos de manera diferente.

• Almacén de datos: Almacena datos filtrados y estructurados que ya han sido procesados para un fin específico (esquema en escritura). Optimizado para informes de inteligencia empresarial y consultas SQL. Piensa en él como en un almacén de agua embotellada: purificada y lista para beber. Explora los conceptos de Almacenamiento de Datos de IBM para más detalles.
• Lago de datos: Almacena datos sin procesar en su formato nativo (esquema en lectura). Ideal para la exploración de datos, la minería de datos y el entrenamiento de modelos de Aprendizaje Automático (ML) que requieren acceso a datos originales sin procesar. Piensa en ello como en un lago natural: agua en su forma bruta procedente de diversas fuentes. El preprocesamiento de datos se produce después de la recuperación de datos, adaptándose a la tarea analítica específica.

Relevancia en la IA y el aprendizaje automático

Los lagos de datos son fundamentales para muchos flujos de trabajo de IA y ML, especialmente en el Aprendizaje Profundo (AD). La capacidad de almacenar cantidades masivas de datos sin procesar y diversos es esencial para entrenar modelos sofisticados. Los científicos de datos pueden acceder a estos datos brutos para tareas como el análisis exploratorio, la limpieza de datos, la ingeniería de características y la creación de datos de entrenamiento de alta calidad. Por ejemplo, plataformas como Ultralytics HUB pueden aprovechar conjuntos de datos (a menudo curados y gestionados dentro de los Lagos de Datos o procedentes de ellos) para entrenar modelos personalizados como Ultralytics YOLO para tareas como la detección de objetos, la segmentación de imágenes o la clasificación de imágenes. El proceso suele implicar una amplia recopilación y anotación de datos, incluso antes de que lleguen al lago.

Aplicaciones en el mundo real

Los lagos de datos permiten potentes aplicaciones de IA/ML al proporcionar el volumen y la variedad de datos necesarios. He aquí dos ejemplos:

1. Desarrollo de vehículos autónomos: Las empresas que desarrollan vehículos autón omos recopilan grandes cantidades de datos de sensores (alimentación de cámaras, nubes de puntos LiDAR, radares, GPS) de flotas de prueba. Estos datos en bruto se vuelcan en un Lago de Datos. Los ingenieros y científicos de datos acceden a estos datos para entrenar y validar modelos de aprendizaje profundo para tareas como modelos de detección de objetos para identificar peatones y otros vehículos, mantenimiento de carril y navegación. Comprueba cómo empresas como Waymo utilizan la tecnología para las capacidades de autoconducción.
2. Construir sistemas de recomendación personalizados: Las plataformas de comercio electrónico y los servicios de streaming utilizan Data Lakes para almacenar diversos datos de interacción de los usuarios: clics, historial de visionado, registros de compra, actividad en redes sociales y datos demográficos de los usuarios. Estos datos en bruto se procesan utilizando herramientas como Apache Spark directamente en el Lago de Datos. A continuación, se entrenan modelos de aprendizaje automático con estos datos procesados para generar sistemas de recomendación personalizados, mejorando el compromiso del usuario y las ventas, como se ve en las soluciones minoristas impulsadas por la IA.

Beneficios y retos

Ventajas:

• Flexibilidad: Almacena cualquier tipo de datos sin estructuración previa.
• Escalabilidad: Maneja fácilmente volúmenes masivos de datos.
• Rentabilidad: Aprovecha las opciones de almacenamiento de bajo coste.
• Democratización de datos: Hace que los datos brutos sean accesibles a varios equipos (científicos de datos, analistas).
• A prueba de futuro: Conserva los datos brutos para futuros casos de uso desconocidos.

Desafíos:

• Gobernanza de datos: Garantizar la calidad de los datos, el linaje y el control de acceso puede ser complejo.
• La seguridad: Proteger los datos sensibles en bruto requiere medidas sólidas de seguridad y privacidad de los datos.
• Riesgo de pantano de datos: Sin una gestión y metadatos adecuados, un Lago de Datos puede quedar desorganizado y ser difícil de utilizar con eficacia (un "pantano de datos").
• Complejidad: Requiere habilidades especializadas para la gestión y el análisis. Las prácticas MLOps eficaces son cruciales.

Los lagos de datos proporcionan la escala y flexibilidad necesarias para manejar el creciente volumen y variedad de datos que se requieren para impulsar las soluciones modernas de IA. Son un componente crítico de la infraestructura de datos que sustenta la analítica avanzada y la innovación del aprendizaje automático.