Recherche vectorielle

Comprendre les emboîtements de vecteurs

Le concept de base de la recherche vectorielle est l'intégration de vecteurs. Les données, qu'il s'agisse de texte, d'images, d'audio ou d'autres types, sont transformées en représentations numériques appelées vecteurs à l'aide de modèles d'intégration. Ces vecteurs existent dans un espace à haute dimension où les éléments ayant des significations ou des caractéristiques similaires sont placés à proximité les uns des autres. Par exemple, dans le traitement du langage naturel (NLP), des modèles comme BERT convertissent les phrases en vecteurs, garantissant que les phrases véhiculant des idées similaires ont des représentations vectorielles proches. De même, dans le domaine de la vision artificielle (CV), des modèles tels que Ultralytics YOLO peuvent générer des vecteurs de caractéristiques pour les images, ce qui permet de comparer les similarités visuelles. Une fois les données intégrées, les algorithmes de recherche vectorielle utilisent des mesures de distance, telles que la similarité cosinusienne ou la distance euclidienne, pour quantifier la "proximité" entre les vecteurs. Une requête (également convertie en vecteur) est comparée aux vecteurs de la base de données, et les éléments correspondant aux vecteurs les plus proches sont renvoyés comme résultats de la recherche.

Comment fonctionne la recherche vectorielle

La mise en œuvre d'une recherche vectorielle comporte généralement les étapes suivantes :

1. Génération d'intégration : Convertit ton ensemble de données (images, texte, etc.) en encastrements vectoriels à l'aide d'un modèle pré-entraîné ou personnalisé.
2. Indexation : Stocke ces vecteurs dans une base de données vectorielle spécialisée ou un index conçu pour une recherche de similarité efficace. Pinecone et Milvus en sont des exemples.
3. Recherche : Convertir la requête de recherche (par exemple, une image ou une phrase de texte) en un vecteur en utilisant le même modèle d'intégration.
4. Recherche : Utilise un algorithme comme la recherche du plus proche voisin (ANN) pour trouver efficacement les vecteurs de l'index qui sont les plus proches du vecteur de la requête en fonction de la métrique de distance choisie.
5. Récupération : Renvoie les éléments de données originaux correspondant aux vecteurs les plus proches trouvés.

Applications de la recherche vectorielle

La recherche vectorielle permet un large éventail d'applications sophistiquées en matière d'intelligence artificielle :

• Systèmes de recommandation: Des plateformes comme Netflix ou Spotify représentent les utilisateurs et les éléments (films, chansons) sous forme de vecteurs. La recherche vectorielle permet de trouver des éléments dont les vecteurs sont proches du vecteur d'un utilisateur (représentant ses préférences), ce qui conduit à des recommandations personnalisées.
• Recherche visuelle : Les sites de commerce électronique permettent aux utilisateurs de télécharger une image d'un produit qu'ils aiment. Le système convertit l'image en vecteur et utilise la recherche vectorielle pour trouver des produits visuellement similaires dans l'inventaire. Cela repose en grande partie sur des enchâssements de reconnaissance d'image efficaces. Les outils des plateformes comme Ultralytics HUB peuvent aider à gérer les ensembles de données utilisés pour former des modèles pour de telles tâches.
• Recherche sémantique: Amélioration des moteurs de recherche ou des chatbots pour comprendre le sens derrière les requêtes. Au lieu de faire correspondre des mots-clés, la recherche vectorielle trouve des documents ou des réponses qui sont contextuellement pertinents. C'est crucial pour des fonctionnalités comme l'explorateurUltralytics qui permet de rechercher des ensembles de données à l'aide du langage naturel.
• Détection d'anomalie: Dans le domaine de la cybersécurité ou de la détection des fraudes, les modèles de comportement normaux peuvent être représentés sous forme de grappes de vecteurs. La recherche vectorielle peut identifier des points de données (anomalies potentielles) qui se situent loin de ces grappes.
• Systèmes de réponse aux questions : Trouver des passages pertinents dans une grande base de connaissances pour répondre aux questions de l'utilisateur, souvent utilisés dans le cadre des systèmes de génération améliorée par récupération (RAG).

Recherche vectorielle vs. recherche sémantique

Bien que souvent utilisés ensemble, la recherche vectorielle et la recherche sémantique sont des concepts distincts. La recherche sémantique se réfère à l'objectif de comprendre l'intention de l'utilisateur et la signification contextuelle de sa requête afin de fournir des résultats pertinents. La recherche vectorielle est une méthode ou un mécanisme fréquemment utilisé pour mettre en œuvre la recherche sémantique. Elle permet d'obtenir une pertinence sémantique en trouvant des éléments qui sont "proches" dans l'espace vectoriel, où la proximité représente la similarité sémantique. Par conséquent, la recherche vectorielle est le moteur qui alimente de nombreuses applications de recherche sémantique en opérant sur les enchâssements de vecteurs qui capturent le sens. Des modèles avancés comme YOLO exploitent ces concepts pour la détection d'objets à vocabulaire ouvert.