Vektorsuche

So funktioniert die Vektorsuche

Der Prozess umfasst in der Regel mehrere wichtige Schritte:

1. Erzeugung von Einbettungen: Die Daten werden mithilfe von vorab trainierten Deep-Learning-Modellen (DL) wie BERT für Text oder Vision Transformers (ViT) für Bilder in hochdimensionale Vektoren (Einbettungen) umgewandelt. Diese Modelle werden auf großen Datensätzen trainiert, um sinnvolle Darstellungen zu lernen. Ein Beispiel, Ultralytics YOLO Modelle, die in erster Linie für die Objekterkennung bekannt sind, erzeugen auch Merkmalsvektoren, die für visuelle Suchaufgaben genutzt werden können.
2. Indizierung: Die erzeugten Vektoren werden in einer speziellen Vektordatenbank gespeichert und indiziert. Diese Datenbanken sind für die effiziente Abfrage hochdimensionaler Daten optimiert und verwenden häufig Algorithmen der approximativen nächsten Nachbarn (ANN) wie HNSW (Hierarchical Navigable Small World) oder ScaNN (Scalable Nearest Neighbors). Die ANN-Techniken tauschen einen kleinen Teil der Genauigkeit gegen erhebliche Geschwindigkeitsverbesserungen ein und machen die Vektorsuche für große Datensätze praktikabel.
3. Abfragen: Wenn eine Suchanfrage gestellt wird (z. B. eine Textphrase oder ein Bild), wird sie zunächst mit demselben Einbettungsmodell in dasselbe Vektorformat umgewandelt.
4. Ähnlichkeitsberechnung: Die Vektordatenbank durchsucht dann ihren Index, um die Vektoren zu finden, die dem Abfragevektor am ähnlichsten sind, und zwar auf der Grundlage einer gewählten Distanzmetrik (z. B. Kosinusähnlichkeit, euklidischer Abstand, Punktprodukt).
5. Abrufen: Die Elemente, die den am nächsten liegenden Vektoren entsprechen, werden als Suchergebnisse zurückgegeben.

Wichtige Konzepte und Technologien

• Vektorielle Einbettungen: Numerische Repräsentationen, die die semantische Bedeutung erfassen. Modelle lernen diese beim Training auf großen Datensätzen wie ImageNet.
• Vektordatenbanken: Systeme wie Pinecone, Weaviate, Milvus und Chroma DB sind für die Speicherung und Abfrage von Vektoren konzipiert.
• Ähnlichkeitsmetriken: Mathematische Funktionen (z. B. Cosinus Ähnlichkeit, Euklidischer Abstand), die verwendet werden, um die "Nähe" zwischen Vektoren zu messen.
• Approximate Nearest Neighbor (ANN): Algorithmen, die effizient wahrscheinliche nächste Nachbarn finden, entscheidend für die Leistung in großem Maßstab. Bibliotheken wie Faiss (Facebook AI Similarity Search) bieten Implementierungen an.
• Dimensionalitätsreduktion: Techniken wie die PCA (Principal Component Analysis) können manchmal verwendet werden, um die Dimensionen der Vektoren zu reduzieren und so die Suche zu beschleunigen, auch wenn dadurch ein gewisser Informationsverlust entsteht.

Anwendungen in der realen Welt

Die Vektorsuche ermöglicht eine breite Palette von intelligenten Anwendungen:

• Semantische Suche: Die Nutzung von Suchmaschinen (wie Google Search) oder internen Wissensdatenbanken, um die Absicht einer Suchanfrage über Schlüsselwörter hinaus zu verstehen. Eine Suche nach "gesunden Essensideen" kann zum Beispiel Rezepte für Salate, gegrilltes Hähnchen und Quinoa-Bowls liefern, auch wenn diese Wörter nicht in den Dokumenten vorkommen, weil ihre Vektoreinbettungen der Bedeutung nach ähnlich sind.
• Empfehlungssysteme: Plattformen wie Netflix oder Spotify nutzen die Vektorsuche, um anhand von Ähnlichkeiten in den Vektordarstellungen ähnliche Artikel (Filme, Lieder, Produkte) zu finden, die einem Nutzer gefallen oder mit denen er zuvor interagiert hat.
• Bilderkennung und -suche: Suche nach visuell ähnlichen Bildern (umgekehrte Bildsuche) oder Identifizierung von Produkten auf Fotos für den E-Commerce. Dies ist ein zentraler Anwendungsbereich der Computer Vision (CV).
• Anomalie-Erkennung: Erkennung ungewöhnlicher Datenpunkte (z. B. betrügerische Transaktionen, Netzwerkeinbrüche), deren Vektoren weit von den Clustern normaler Datenvektoren entfernt sind.
• Natürliche Sprachverarbeitung (NLP): Verbesserung von Anwendungen wie der Beantwortung von Fragen, der Erkennung von Duplikaten und dem Clustern von Textdaten auf der Grundlage von Themen oder Stimmungen.
• Retrieval-Augmented Generation (RAG): Wird in Large Language Models (LLMs ) verwendet, um relevanten Kontext aus einer Wissensbasis abzurufen, bevor eine Antwort generiert wird, was die Genauigkeit der Fakten verbessert und Halluzinationen reduziert.

Vektorsuche vs. Schlagwortsuche

Der Hauptunterschied liegt darin, wie die Ähnlichkeit bestimmt wird:

• Schlüsselwortsuche: Findet exakte Wörter oder Phrasen mit Techniken wie umgekehrten Indizes. Sie kämpft mit Synonymen, Kontext und sprachlichen Variationen.
• Vektorsuche: Die Suche basiert auf semantischer Ähnlichkeit, die in Vektoreinbettungen erfasst wird. Sie kann relevante Ergebnisse finden, auch wenn die genauen Suchbegriffe nicht übereinstimmen, da sie die zugrunde liegende Absicht oder das Konzept versteht.

Die Vektorsuche bietet zwar differenziertere Ergebnisse, erfordert aber erhebliche Rechenressourcen für die Erstellung von Einbettungen und die Indizierung, die oft durch Plattformen wie Ultralytics HUB für das Modell- und Datensatzmanagement effizient verwaltet werden. Moderne Systeme kombinieren oft sowohl die Schlagwort- als auch die Vektorsuche (hybride Suche), um die Stärken der beiden Ansätze zu nutzen. Du kannst verschiedene Tutorials und Leitfäden lesen, um zu verstehen, wie verwandte Konzepte wie Modellbereitstellung und Leistungskennzahlen in diesen Systemen angewendet werden.