Recherche vectorielle

Comment fonctionne la recherche vectorielle ?

Le processus de recherche vectorielle implique plusieurs étapes clés qui transforment les données brutes en un format de recherche basé sur le sens. Il est alimenté par des modèles d'apprentissage profond et des algorithmes efficaces.

1. Générer des enregistrements : Tout d'abord, un modèle d'apprentissage automatique, tel qu'un transformateur ou un réseau neuronal convolutif (CNN), convertit les éléments de données (par exemple, les phrases, les images, les profils d'utilisateurs) en vecteurs numériques à haute dimension appelés " embeddings". Chaque vecteur capture l'essence sémantique de l'élément.
2. Indexation : Les vecteurs générés sont stockés et indexés dans une base de données vectorielle spécialisée. Ces bases de données, telles que Pinecone ou Milvus, sont optimisées pour gérer et interroger efficacement de grandes quantités de données vectorielles.
3. Requête : Lorsqu'un utilisateur soumet une requête (comme une phrase de texte ou une image), celle-ci est convertie en vecteur à l'aide du même modèle.
4. Calcul de similarité : Le système utilise ensuite des algorithmes pour trouver les vecteurs de la base de données qui sont "les plus proches" du vecteur interrogé. Cette opération est souvent réalisée à l'aide de mesures de distance telles que la similarité cosinusoïdale ou la distance euclidienne. Pour traiter des ensembles de données volumineux, les systèmes utilisent généralement des algorithmes ANN (Approximate Nearest Neighbor) tels que ScaNN ou Faiss pour une recherche rapide et évolutive qui trouve des correspondances très pertinentes, voire exactes.

Applications dans le monde réel

La recherche vectorielle est la technologie qui sous-tend de nombreuses fonctionnalités avancées de l'IA. Elle permet aux systèmes d'aller au-delà de la simple mise en correspondance et de fournir des résultats tenant compte du contexte dans divers secteurs d'activité.

• Recherche sémantique d'images: Au lieu de s'appuyer sur des étiquettes ou des noms de fichiers manuels, les utilisateurs peuvent rechercher des images à l'aide de phrases descriptives en langage naturel. Par exemple, un utilisateur peut rechercher "une voiture roulant sur une route de montagne au coucher du soleil", et le système retrouvera des images visuellement similaires, en comprenant les concepts de "voiture", "montagne" et "coucher du soleil" dans leur contexte. Vous pouvez explorer comment cela fonctionne avec le guide de recherche de similarité d'Ultralytics.
• Systèmes de recommandation: Les plateformes de commerce électronique et de diffusion en continu utilisent la recherche vectorielle pour recommander des produits ou des contenus. Si vous regardez un film de science-fiction, le service peut trouver et suggérer d'autres films similaires en termes de genre, de ton et d'intrigue en comparant leurs vecteurs. Il s'agit d'une fonction essentielle de l'IA dans le commerce de détail pour améliorer l'expérience et l'engagement de l'utilisateur.

Recherche vectorielle et concepts connexes

Il est utile de distinguer la recherche vectorielle d'autres termes connexes pour comprendre son rôle spécifique dans l'écosystème de l'IA.

• Recherche par mot-clé : La recherche traditionnelle par mot-clé repose sur la correspondance avec des mots ou des phrases exacts. Elle se heurte aux synonymes, au contexte et aux nuances linguistiques. La recherche vectorielle, en revanche, comprend les relations sémantiques, ce qui lui permet de trouver des résultats pertinents même si les mots-clés ne correspondent pas exactement.
• Recherche sémantique : La recherche sémantique est le concept général qui consiste à comprendre l'intention et la signification contextuelle d'une requête. La recherche vectorielle est une méthode fondamentale utilisée pour mettre en œuvre la recherche sémantique. Alors que la recherche sémantique est le "quoi" (comprendre le sens), la recherche vectorielle est le "comment" (le mécanisme de recherche basé sur la proximité des vecteurs).
• Embeddings : Les embeddings sont les représentations vectorielles des données. La recherche vectorielle est le processus d'interrogation d'une collection d'encastrements pour trouver les plus similaires. Les embeddings sont les données, tandis que la recherche vectorielle est l'action effectuée sur ces données.
• Base de données vectorielles : Une base de données vectorielle est l'infrastructure spécialisée pour le stockage, l'indexation et l'interrogation efficace des données intégrées. Des plateformes comme Ultralytics HUB aident à gérer les ensembles de données et les modèles qui produisent ces enchâssements pour les utiliser dans les systèmes de recherche vectorielle.

En tirant parti de la puissance des enchâssements et des algorithmes de recherche sophistiqués, la recherche vectorielle comble le fossé entre l'intention humaine et les données numériques, ce qui en fait un composant essentiel pour de nombreuses applications intelligentes, du traitement du langage naturel (NLP) aux tâches avancées de vision par ordinateur.