Database vettoriale

Concetti e funzionalità principali

I database vettoriali funzionano secondo il principio della ricerca vettoriale, che consiste nel trovare i vettori nel database che sono "più vicini" a un determinato vettore di interrogazione. Questa vicinanza viene tipicamente misurata utilizzando metriche di distanza come la somiglianza coseno-temporale o la distanza euclidea. Il flusso di lavoro principale prevede:

1. Generazione di embedding: I dati (ad esempio, testo, immagini) vengono convertiti in vettori utilizzando un modello di embedding (come BERT per il testo o un modello di embedding per le immagini). Ultralytics YOLO per le immagini). Questi vettori catturano l'essenza semantica dei dati in uno spazio ad alta dimensionalità.
2. Indicizzazione: I vettori generati vengono memorizzati nel database vettoriale. Per consentire un rapido recupero, il database utilizza algoritmi di indicizzazione specializzati, in particolare tecniche di ricerca approssimate per vicini (ANN) come HNSW (Hierarchical Navigable Small World) o IVF (Inverted File Index). Questi indici consentono di effettuare ricerche di somiglianza in modo rapido anche su miliardi di vettori, scambiando una perfetta accuratezza con un significativo guadagno di velocità, che è fondamentale per l'inferenza in tempo reale. Le librerie ANN più diffuse sono FAISS e ScaNN.
3. Interrogazione: Quando riceve una query (anch'essa convertita in un vettore), il database utilizza i suoi indici per trovare e restituire in modo efficiente i vettori più simili al vettore della query in base alla metrica di distanza scelta.

Database vettoriali vs. database tradizionali

I database tradizionali (come i database SQL o NoSQL) sono progettati per i dati strutturati o semi-strutturati e si basano sulla corrispondenza esatta utilizzando i metodi di indicizzazione standard dei database (ad esempio, gli alberi B). Non sono intrinsecamente in grado di gestire la ricerca di similarità richiesta per i dati non strutturati rappresentati come vettori.

Le differenze principali includono:

• Tipo di dati: I database tradizionali gestiscono dati alfanumerici, JSON, ecc. I database vettoriali gestiscono vettori numerici ad alta dimensione.
• Tipo di interrogazione: I database tradizionali eseguono corrispondenze esatte, query a range o ricerche per parole chiave. I database vettoriali eseguono ricerche di somiglianza (ricerca dei vicini).
• Indicizzazione: I database tradizionali utilizzano indici come i B-trees o gli indici hash. I database vettoriali utilizzano indici ANN.

Applicazioni nell'IA e nell'apprendimento automatico

I database vettoriali sono la spina dorsale di numerose applicazioni di intelligenza artificiale:

• Ricerca semantica: Consentire ai motori di ricerca o alle basi di conoscenza interne di trovare risultati basati sul significato piuttosto che sulle sole parole chiave. Ad esempio, la ricerca di "idee salutari per il pranzo" potrebbe restituire ricette di insalate e ciotole di cereali, anche se non contengono i termini esatti della ricerca.
• Sistemi di raccomandazione: Alimentano piattaforme come Netflix o Spotify per suggerire film o canzoni simili a quelli che sono piaciuti in precedenza a un utente, basandosi su embeddings di contenuti e profili di utenti.
• Riconoscimento delle immagini e ricerca visiva: Permettere agli utenti di trovare immagini simili(ricerca inversa di immagini) o consentire la scoperta di prodotti nell'e-commerce caricando un'immagine. Si tratta di un'applicazione chiave della computer vision (CV). Piattaforme come Ultralytics HUB potrebbero sfruttare i database vettoriali per la gestione e la ricerca di grandi set di dati visivi.
• Elaborazione del linguaggio naturale (NLP): Supporta applicazioni come i sistemi di risposta alle domande, i chatbot e il clustering dei documenti grazie alla comprensione della semantica del testo.
• Retrieval-Augmented Generation (RAG): Migliora i modelli linguistici di grandi dimensioni (LLM) recuperando informazioni rilevanti e aggiornate da un database vettoriale per fondare le risposte del modello su dati concreti, riducendo le allucinazioni.
• Rilevamento di anomalie: Identificazione di punti di dati insoliti (vettori) che si trovano lontano da cluster densi nello spazio vettoriale, utile per il rilevamento di frodi o il monitoraggio del sistema.
• Strumenti di esplorazione dei dati: Strumenti come Ultralytics Explorer utilizzano gli embeddings per aiutare gli utenti a visualizzare e comprendere grandi set di dati raggruppando punti di dati simili.

Database vettoriali più diffusi

Sono disponibili diversi database vettoriali open-source e commerciali, tra cui:

• Pinecone: Un popolare servizio di database vettoriale gestito.
• Milvus: un database vettoriale open-source progettato per la scalabilità.
• Weaviate: Un database vettoriale open-source e AI-native con funzionalità grafiche.
• Chroma DB: un database di incorporamento open-source incentrato sull'esperienza degli sviluppatori.
• Qdrant: Un database vettoriale open-source e un motore di ricerca delle somiglianze.

L'ascesa dei database vettoriali riflette la crescente importanza delle incorporazioni e della ricerca di similarità nella creazione di sofisticate applicazioni di intelligenza artificiale, determinando una crescita significativa del mercato dei database vettoriali. Si tratta di una componente infrastrutturale fondamentale per sfruttare in modo efficace le intuizioni acquisite dai moderni modelli di apprendimento automatico.