Búsqueda vectorial

Cómo funciona la búsqueda vectorial

El proceso suele implicar varios pasos clave:

1. Generación de incrustaciones: Los datos se convierten en vectores de alta dimensión (incrustaciones) utilizando modelos de aprendizaje profundo (DL) preentrenados, como BERT para texto o Transformadores de Visión (ViT) para imágenes. Estos modelos se entrenan en vastos conjuntos de datos para aprender representaciones significativas. Por ejemplo Ultralytics YOLO de Ultralytics, conocidos principalmente por la detección de objetos, también generan vectores de características que podrían adaptarse a tareas de búsqueda visual.
2. Indexación: Los vectores generados se almacenan e indexan en una base de datos vectorial especializada. Estas bases de datos están optimizadas para consultar eficazmente datos de alta dimensión, a menudo utilizando algoritmos de Vecino más Próximo Aproximado (RNA) como HNSW (Hierarchical Navigable Small World) o ScaNN (Scalable Nearest Neighbors). Las técnicas de RNA cambian una pequeña cantidad de precisión por mejoras significativas en la velocidad, haciendo que la búsqueda vectorial sea viable para grandes conjuntos de datos.
3. Consulta: Cuando se realiza una consulta de búsqueda (por ejemplo, una frase de texto o una imagen), primero se convierte al mismo formato vectorial utilizando el mismo modelo de incrustación.
4. Cálculo de la similitud: A continuación, la base de datos vectorial busca en su índice los vectores más parecidos al vector de consulta en función de una métrica de distancia elegida (por ejemplo, similitud coseno, distancia euclídea, producto punto).
5. Recuperación: Los elementos correspondientes a los vectores más cercanos se devuelven como resultados de la búsqueda.

Conceptos y tecnologías clave

• Incrustaciones vectoriales: Representaciones numéricas que captan el significado semántico. Los modelos las aprenden durante el entrenamiento en grandes conjuntos de datos como ImageNet.
• Bases de datos vectoriales: Sistemas como Pinecone, Weaviate, Milvus y Chroma DB están diseñados para almacenar y consultar vectores.
• Métricas de similitud: Funciones matemáticas (por ejemplo, Similitud del Coseno, Distancia Euclídea) utilizadas para medir la "cercanía" entre vectores.
• Vecino más próximo aproximado (RNA): Algoritmos que encuentran eficientemente los vecinos más próximos probables, cruciales para el rendimiento a gran escala. Bibliotecas como Faiss (Facebook AI Similarity Search) proporcionan implementaciones.
• Reducción de la dimensionalidad: A veces pueden utilizarse técnicas como el ACP (Análisis de Componentes Principales) para reducir las dimensiones de los vectores, acelerando potencialmente la búsqueda a costa de cierta pérdida de información.

Aplicaciones en el mundo real

La búsqueda vectorial permite una amplia gama de aplicaciones inteligentes:

• Búsqueda semántica: Potenciación de motores de búsqueda (como Google Search) o bases de conocimiento internas para comprender la intención de la consulta más allá de las palabras clave. Por ejemplo, la búsqueda de "ideas para cenas saludables" puede devolver recetas de ensaladas, pollo a la parrilla y cuencos de quinoa, aunque esas palabras exactas no estén en los documentos, porque sus incrustaciones vectoriales tienen un significado cercano.
• Sistemas de recomendación: Plataformas como Netflix o Spotify utilizan la búsqueda vectorial para encontrar elementos (películas, canciones, productos) similares a los que le han gustado a un usuario o con los que ha interactuado anteriormente, basándose en las similitudes de sus representaciones vectoriales.
• Reconocimiento y búsqueda de imágenes: Encontrar imágenes visualmente similares (búsqueda inversa de imágenes) o identificar productos en fotos para el comercio electrónico. Se trata de un área de aplicación fundamental dentro de la Visión por Computador (VC).
• Detección de anomalías: Identificación de puntos de datos inusuales (por ejemplo, transacciones fraudulentas, intrusiones en la red) cuyos vectores se alejan de los grupos de vectores de datos normales.
• Procesamiento del Lenguaje Natural (PLN): Mejora de aplicaciones como la respuesta a preguntas, la detección de duplicados y la agrupación de datos de texto según el tema o el sentimiento.
• Generación mejorada por recuperación (RAG): Se utiliza en los Modelos de Grandes Lenguajes (LLM ) para recuperar el contexto relevante de una base de conocimientos antes de generar una respuesta, lo que mejora la precisión de los hechos y reduce las alucinaciones.

Búsqueda vectorial vs. Búsqueda por palabra clave

La principal diferencia radica en cómo se determina la similitud:

• Búsqueda por palabras clave: Busca palabras o frases exactas utilizando técnicas como los índices invertidos. Lucha con los sinónimos, el contexto y las variaciones del lenguaje.
• Búsqueda vectorial: Coincide basándose en la similitud semántica capturada en incrustaciones vectoriales. Puede encontrar resultados relevantes aunque las palabras clave exactas no coincidan, comprendiendo la intención o el concepto subyacente.

Aunque la búsqueda vectorial ofrece resultados más matizados, requiere importantes recursos informáticos para la generación de incrustaciones y la indexación, a menudo gestionados eficazmente mediante plataformas como Ultralytics HUB para la gestión de modelos y conjuntos de datos. Los sistemas modernos suelen combinar la búsqueda por palabras clave y la búsqueda vectorial (búsqueda híbrida) para aprovechar los puntos fuertes de cada enfoque. Puedes explorar varios tutoriales y guías para comprender cómo se aplican en estos sistemas conceptos relacionados, como el despliegue de modelos y las métricas de rendimiento.