Incorporazione Stocastica dei Vicini distribuita a t (t-SNE)

Capire il t-SNE

L'idea alla base di t-SNE è quella di preservare la struttura locale dei dati. Modella la somiglianza tra i punti di dati ad alta dimensione come probabilità condizionali e poi cerca di trovare un incorporamento a bassa dimensione che produca una distribuzione di probabilità simile tra i punti mappati. A differenza dei metodi lineari come l'analisi delle componenti principali (PCA), t-SNE è non lineare e probabilistico. Questo le permette di catturare relazioni complesse che la PCA potrebbe non cogliere, soprattutto quando i dati si trovano su collettori curvi. Tuttavia, la PCA riesce a preservare meglio la struttura globale e la varianza dei dati.

L'algoritmo calcola le somiglianze a coppie tra punti sia in alta che in bassa dimensione. Utilizza una distribuzione gaussiana nello spazio ad alta dimensione e una distribuzione t (nello specifico, una distribuzione t di Student con un grado di libertà) nello spazio a bassa dimensione. L'uso della distribuzione t aiuta ad alleviare il "problema dell'affollamento" (in cui i punti tendono a raggrupparsi al centro della mappa) e a separare più efficacemente i punti dissimili nella mappa a bassa dimensione. Il processo consiste nel minimizzare la divergenza tra queste due distribuzioni utilizzando la discesa del gradiente. Per una spiegazione tecnica dettagliata, consulta l'articolo originale su t-SNE.

Applicazioni in AI e ML

t-SNE è principalmente una tecnica di visualizzazione, preziosa per esplorare e comprendere i dati ad alta dimensionalità generati dai modelli di intelligenza artificiale. Ecco alcuni esempi:

• Visualizzare gli embeddings delle parole: Nell'elaborazione del linguaggio naturale (NLP), modelli come BERT o GPT generano rappresentazioni vettoriali ad alta dimensione(embeddings) per parole o frasi. L'applicazione di t-SNE a questi embeddings permette ai ricercatori di visualizzare le relazioni semantiche, mostrando potenzialmente parole con significati simili che si raggruppano insieme nel grafico 2D. Questo aiuta a capire la qualità della modellazione linguistica appresa.
• Capire le rappresentazioni delle caratteristiche delle CNN: Nella computer vision (CV), le reti neurali convoluzionali (CNN), come quelle utilizzate in Ultralytics YOLO per il rilevamento degli oggetti, apprendono caratteristiche gerarchiche. t-SNE può essere applicato alle attivazioni degli strati intermedi o finali di un set di dati (ad esempio, ImageNet). La visualizzazione di queste mappe di caratteristiche aiuta a capire quanto bene il modello separa le diverse classi di oggetti e può fornire spunti durante lo sviluppo del modello, magari anche durante l'addestramento dei modelli su Ultralytics HUB.

Considerazioni chiave

Pur essendo potente, t-SNE ha delle caratteristiche che gli utenti devono conoscere:

• Costo computazionale: t-SNE può essere intensivo dal punto di vista computazionale, soprattutto per i set di dati molto grandi, poiché richiede il calcolo delle somiglianze a coppie.
• Sensibilità agli iperparametri: I risultati sono sensibili agli iperparametri, in particolare alla "perplessità", che influenza il numero di vicini locali considerati per ogni punto. Spesso è necessaria un'adeguata regolazione dell'iperparametro. Implementazioni come quella di scikit-learn offrono controlli per questi parametri.
• Interpretazione: Le dimensioni dei cluster e le distanze tra di essi nel grafico t-SNE non sempre corrispondono direttamente alle dimensioni o alle separazioni effettive dei cluster nello spazio originale ad alta dimensionalità. Il grafico rivela principalmente le somiglianze e i raggruppamenti locali. È uno strumento di esplorazione piuttosto che un'analisi di clustering definitiva come K-Means.

In sintesi, la t-SNE è uno strumento prezioso nel kit di strumenti dell'Intelligenza Artificiale (AI) per la visualizzazione e l'intuizione di insiemi di dati complessi e ad alta dimensionalità, a complemento di altri metodi analitici.