Reranker

Wie Rerankers funktionieren

Der Hauptgrund für den Einsatz eines Rerankers ist der Ausgleich zwischen Geschwindigkeit und Genauigkeit. Anfängliche Retrievalsysteme, wie z. B. die schlagwortbasierte Suche oder die ANN-Suche (Approximate Nearest Neighbour) auf Einbettungen, müssen potenziell riesige Datensätze (wie Webdokumente, Produktkataloge oder Bilddatenbanken) schnell durchsuchen, um potenziell relevante Elemente zu identifizieren. Diese Systeme der ersten Stufe legen den Schwerpunkt auf Schnelligkeit und eine hohe Trefferquote, d. h. sie versuchen, alle potenziell relevanten Elemente zu finden, auch wenn das bedeutet, dass sie einige weniger relevante Elemente einschließen. Sie liefern oft eine größere Anzahl von Kandidaten, als letztendlich benötigt wird.

Ein Reranker nimmt dann eine kleinere Teilmenge dieser Top-Kandidaten (z. B. die 100 besten Ergebnisse der ersten Suche) und wendet ein leistungsfähigeres, rechenintensiveres Modell an. Dieses Modell kann die Beziehung zwischen der Suchanfrage des Nutzers und den einzelnen Kandidaten genauer analysieren. Übliche Techniken sind komplexe Deep Learning (DL) -Modelle wie Transformers, insbesondere Varianten, die als Cross-Encoder bekannt sind. Cross-Encoder werten die Suchanfrage und einen Suchbegriff gemeinsam aus und ermöglichen so ein umfassendes Verständnis der kontextuellen Relevanz, das oft besser ist als die erste Suchphase, in der die Einbettung von Suchanfrage und Suchbegriff getrennt bewertet wird. Der Reranker gibt für jeden Kandidaten eine neue, verfeinerte Relevanzbewertung aus, die es dem System ermöglicht, die relevantesten Artikel zuerst zu präsentieren und so die Genauigkeit der Endergebnisse zu verbessern.

Reranking vs. Initial Retrieval

Es ist wichtig, zwischen Rerankern und der ersten Abruf- oder Rankingphase zu unterscheiden:

• Erstes Abrufen (erste Stufe):
  • Ziel: Schnelles Auffinden einer großen Menge potenziell relevanter Kandidaten aus einem großen Korpus. Priorität haben Geschwindigkeit und Wiedererkennung.
  • Methoden: Häufig werden Techniken wie invertierte Indizes(Apache Lucene, Elasticsearch), ANN-Suche auf Einbettungen oder einfachere Bewertungsfunktionen verwendet.
  • Komplexität: Rechnerisch günstiger pro Artikel, skalierbar für Milliarden von Artikeln.
• Reranking (Zweite Stufe):
  • Ziel: Eine kleinere Gruppe von Spitzenkandidaten aus der ersten Stufe genau neu ordnen. Priorität haben Präzision und Relevanz.
  • Methoden: Verwendet komplexere Modelle wie BERT-basierte Cross-Encoder, Transformers oder andere ausgeklügelte Feature-Interaktionen. Die Techniken beinhalten oft eine Abstimmung der Hyperparameter für eine optimale Leistung.
  • Komplexität: Der Rechenaufwand pro Item ist höher, wird aber nur auf eine begrenzte Anzahl von Kandidaten angewandt (z. B. die 50-200 besten).

Anwendungen und Beispiele

Reranker sind in vielen modernen KI-Anwendungen unerlässlich:

• Web-Suchmaschinen: Unternehmen wie Google und Microsoft Bing verwenden mehrstufige Rankingsysteme, bei denen Reranker eine entscheidende Rolle bei der Verfeinerung der Top-Suchergebnisse spielen, die den Nutzern präsentiert werden, und berücksichtigen dabei nuancierte Faktoren, die über die einfache Übereinstimmung von Suchbegriffen hinausgehen. Dies ist ein zentraler Bestandteil der Information Retrieval Forschung.
• E-Commerce-Plattformen: Websites wie Amazon nutzen Rerankers, um Produktempfehlungen und Suchergebnisse zu verfeinern. Dabei werden den Nutzern Artikel angezeigt, die sie auf der Grundlage komplexer Muster des Nutzerverhaltens und der Artikelmerkmale mit höherer Wahrscheinlichkeit kaufen würden. Dies wird in Untersuchungen von Seiten wie Amazon Science detailliert beschrieben.
• Retrieval-Augmented Generation (RAG): In Systemen, die große Sprachmodelle (Large Language Models, LLMs) verwenden, ruft RAG zunächst relevante Dokumente ab, um den Kontext zu liefern. Ein Reranker kann dann diese abgerufenen Dokumente verfeinern und sicherstellen, dass der relevanteste Kontext an das LLM weitergegeben wird, um eine genauere und fundiertere Antwort zu generieren. Dienste wie die Cohere Rerank API sind speziell für diesen Zweck entwickelt worden.
• Computer Vision Post-Processing: Obwohl sie traditionell nicht als "Reranker" bezeichnet werden, werden Techniken wie die Non-Maximum Suppression (NMS) in Objekterkennungsmodellen wie Ultralytics YOLO verwendet werden, teilen eine ähnliche Philosophie. NMS verfeinert eine anfängliche Gruppe von vorhergesagten Bounding Boxes auf der Grundlage von Konfidenzwerten und Überschneidungen(IoU), wobei die wahrscheinlichsten Erkennungen beibehalten und überflüssige unterdrückt werden, ähnlich wie bei der Verfeinerung der ersten Kandidaten. Hier findest du Tipps zur Modellschulung und kannst Leistungsvergleiche für solche Modelle durchführen. Für das Training dieser Modelle werden häufig Plattformen wie Ultralytics HUB zur Verwaltung von Datensätzen und Experimenten eingesetzt.