Búsqueda vectorial

¿Cómo funciona la búsqueda vectorial?

El proceso de búsqueda vectorial implica varios pasos clave que transforman los datos en bruto en un formato de búsqueda basado en el significado. Se basa en modelos de aprendizaje profundo y algoritmos eficientes.

1. Generar incrustaciones: En primer lugar, un modelo de aprendizaje automático, como un transformador o una red neuronal convolucional (CNN), convierte los elementos de datos (por ejemplo, frases, imágenes, perfiles de usuario) en vectores numéricos de alta dimensión denominados incrustaciones. Cada vector captura la esencia semántica del elemento.
2. Indexación: Estos vectores generados se almacenan e indexan en una base de datos vectorial especializada. Estas bases de datos, como Pinecone o Milvus, están optimizadas para gestionar y consultar eficazmente grandes cantidades de datos vectoriales.
3. Consulta: Cuando un usuario envía una consulta (como una frase de texto o una imagen), se convierte en un vector utilizando el mismo modelo.
4. Cálculo de similitudes: A continuación, el sistema utiliza algoritmos para encontrar los vectores de la base de datos más "cercanos" al vector de consulta. Para ello se suelen utilizar métricas de distancia como la similitud coseno o la distancia euclídea. Para manejar conjuntos de datos masivos, los sistemas suelen utilizar algoritmos de aproximación al vecino más cercano (RNA ), como ScaNN o Faiss, para una búsqueda rápida y escalable que encuentra coincidencias muy relevantes, si no exactas.

Aplicaciones reales

La búsqueda vectorial es la tecnología en la que se basan muchas funciones avanzadas de IA. Permite a los sistemas ir más allá de la simple comparación y ofrecer resultados contextualizados en diversos sectores.

• Búsqueda semántica de imágenes: En lugar de basarse en etiquetas o nombres de archivo manuales, los usuarios pueden buscar imágenes utilizando frases descriptivas en lenguaje natural. Por ejemplo, un usuario puede buscar "un coche circulando por una carretera de montaña al atardecer", y el sistema recuperará imágenes visualmente similares, entendiendo los conceptos de "coche", "montaña" y "atardecer" en su contexto. Puede explorar cómo funciona esto con la guía de búsqueda por similitud de Ultralytics.
• Sistemas de recomendación: Las plataformas de comercio electrónico y streaming utilizan la búsqueda vectorial para recomendar productos o contenidos. Si ves una película de ciencia ficción, el servicio puede encontrar y sugerir otras películas similares en género, tono y argumento comparando sus incrustaciones vectoriales. Esta es una función básica de la IA en el comercio minorista para mejorar la experiencia y el compromiso del usuario.

Búsqueda vectorial frente a conceptos afines

Es útil distinguir la búsqueda vectorial de otros términos relacionados para comprender su papel específico en el ecosistema de la IA.

• Búsqueda por palabras clave: La búsqueda tradicional de palabras clave se basa en palabras o frases exactas. Tiene problemas con los sinónimos, el contexto y los matices lingüísticos. La búsqueda vectorial, en cambio, entiende las relaciones semánticas, lo que le permite encontrar resultados relevantes aunque las palabras clave no coincidan exactamente.
• Búsqueda semántica: La búsqueda semántica es el concepto amplio de comprender la intención y el significado contextual de una consulta. La búsqueda vectorial es un método básico utilizado para implementar la búsqueda semántica. Mientras que la búsqueda semántica es el "qué" (la comprensión del significado), la búsqueda vectorial es el "cómo" (el mecanismo de recuperación basado en la proximidad vectorial).
• Incrustaciones: Las incrustaciones son las representaciones vectoriales de los datos. La búsqueda vectorial es el proceso de consulta de una colección de incrustaciones para encontrar las más similares. Las incrustaciones son los datos, mientras que la búsqueda vectorial es la acción realizada sobre esos datos.
• Base de datos vectorial: Una base de datos v ectorial es la infraestructura especializada para almacenar, indexar y consultar eficazmente las incrustaciones. Plataformas como Ultralytics HUB ayudan a gestionar los conjuntos de datos y modelos que producen estas incrustaciones para su uso en sistemas de búsqueda vectorial.

Al aprovechar la potencia de las incrustaciones y los sofisticados algoritmos de búsqueda, la búsqueda vectorial tiende un puente entre la intención humana y los datos digitales, lo que la convierte en un componente esencial para muchas aplicaciones inteligentes, desde el procesamiento del lenguaje natural (PLN) hasta las tareas avanzadas de visión por ordenador.