Tokenizzazione

Rilevanza e applicazioni nel mondo reale

La tokenizzazione è fondamentale perché la maggior parte delle architetture di deep learning richiede input numerici piuttosto che testo grezzo o pixel. Convertendo i dati in token discreti, possiamo poi mappare questi token in rappresentazioni numeriche, come gli embeddings. Questi vettori numerici catturano il significato semantico e le relazioni, consentendo ai modelli costruiti con framework come PyTorch o TensorFlow di apprendere dai dati. Questo passo fondamentale è alla base di numerose applicazioni di IA:

1. Elaborazione del linguaggio naturale (NLP): La tokenizzazione è fondamentale per quasi tutte le attività di NLP.

   • Traduzione automatica: I servizi come Google Translate digitalizzano la frase in ingresso nella lingua di partenza, elaborano questi token utilizzando modelli complessi (spesso basati sull'architettura Transformer ) e generano quindi token nella lingua di arrivo, che vengono infine assemblati nella frase tradotta.
   • Sentiment Analysis: Per determinare se una recensione di un cliente è positiva o negativa, il testo viene prima tokenizzato. Il modello analizza poi questi token per classificare il sentiment complessivo. Per saperne di più sulla Sentiment Analysis. Anche tecniche come la sintonizzazione dei prompt si basano sulla manipolazione delle sequenze di token. Per gli sviluppatori, librerie come spaCy e NLTK offrono potenti strumenti di tokenizzazione.

2. Visione artificiale (CV): Sebbene sia tradizionalmente associato alla PNL, il concetto si estende alla computer vision.

   • Trasformatori di visione (ViT): In modelli come Vision Transformers (ViT), le immagini vengono suddivise in patch di dimensioni fisse. Come spiegato nel documento di ricerca originale del ViT, queste patch vengono trattate come "gettoni visivi" e appiattite in sequenze. Queste sequenze vengono poi inserite in una rete Transformer, che utilizza meccanismi come l'autoattenzione per comprendere le relazioni tra le diverse parti dell'immagine. Ciò consente di svolgere compiti come la classificazione delle immagini e il rilevamento degli oggetti.
   • Modelli multimodali: Modelli come CLIP e YOLO-World sono un ponte tra la visione e il linguaggio, in quanto elaborano sia i token testuali che quelli visivi per eseguire compiti come il rilevamento di oggetti a scatto zero. Allo stesso modo, anche i modelli avanzati di segmentazione delle immagini, come il Segment Anything Model (SAM), utilizzano concetti simili ai token.

Metodi comuni di tokenizzazione

Esistono diverse strategie per la tokenizzazione dei dati, ognuna con i propri compromessi. La scelta del metodo può avere un impatto significativo sulle prestazioni del modello.

• Tokenizzazione basata sulle parole: Questo metodo divide il testo in base agli spazi e alla punteggiatura. Pur essendo semplice e intuitivo, ha difficoltà con i grandi vocabolari e con le parole "fuori vocabolario" (parole non viste durante l'addestramento).
• Tokenizzazione basata sui caratteri: Questo metodo suddivide il testo in singoli caratteri. Risolve il problema della mancanza di vocabolario, ma può produrre sequenze molto lunghe che perdono il significato semantico di alto livello, rendendo più difficile per i modelli apprendere le relazioni tra le parole.
• Tokenizzazione di sottoparole: Si tratta di un approccio ibrido che è diventato lo standard per i moderni modelli NLP. Spezza le parole in sottounità più piccole e significative. Le parole comuni rimangono come singoli token, mentre le parole rare vengono suddivise in più token di sottoparole. Questo metodo gestisce in modo efficiente le parole complesse ed evita il problema del fuori vocabolario. Gli algoritmi più diffusi sono Byte Pair Encoding (BPE) e WordPiece, utilizzati in modelli come BERT e GPT.

Tokenizzazione vs. Token

È importante distinguere tra "Tokenizzazione" e"Token".

• Tokenizzazione: Si riferisce al processo di scomposizione dei dati in unità più piccole. È una fase di pre-elaborazione fondamentale per il funzionamento dei modelli linguistici.
• Token: Si riferisce al risultato del processo di tokenizzazione - l'unità individuale (parola, sottoparola, carattere o patch di immagine) che il modello elabora.

La comprensione della tokenizzazione è fondamentale per capire come i modelli di intelligenza artificiale interpretano e apprendono da diversi tipi di dati. La gestione dei set di dati e l'addestramento dei modelli spesso coinvolge piattaforme come Ultralytics HUB, che aiutano a semplificare la preelaborazione dei dati e i flussi di lavoro per l'addestramento dei modelli. Con l'evoluzione dell'IA, i metodi di tokenizzazione continuano ad adattarsi, svolgendo un ruolo chiave nella costruzione di modelli più sofisticati per compiti che vanno dalla generazione di testi alla complessa comprensione visiva in campi come i veicoli autonomi e l'analisi delle immagini mediche.