L'apprendimento per trasferimento è una tecnica di Machine Learning (ML) in cui un modello sviluppato per un compito viene riutilizzato come punto di partenza per un modello su un secondo compito correlato. Invece di costruire un modello da zero, l'apprendimento per trasferimento sfrutta le conoscenze (caratteristiche, pesi) apprese da un compito di partenza, riducendo in modo significativo il tempo di formazione, i requisiti di dati e le risorse computazionali necessarie per il compito di arrivo. Questo approccio è particolarmente vantaggioso quando il compito di destinazione ha pochi dati etichettati.
Come funziona l'apprendimento per trasferimento
Il processo inizia tipicamente con un modello pre-addestrato su un ampio set di dati generali, come ImageNet per i compiti di immagine o grandi corpora di testo per l'elaborazione del linguaggio naturale (NLP). Questo pre-addestramento permette al modello, spesso un modello di Deep Learning (DL) come una Rete Neurale Convoluzionale (CNN) o un Trasformatore, di apprendere caratteristiche generali: bordi, texture, schemi nelle immagini o grammatica e semantica nei testi.
Per il nuovo compito, questo modello pre-addestrato viene adattato. Le strategie più comuni includono:
- Utilizzo del modello pre-addestrato come estrattore di caratteristiche: Gli strati iniziali del modello pre-addestrato vengono mantenuti congelati (i loro pesi non vengono aggiornati) e solo il classificatore finale o gli strati specifici del compito vengono addestrati sul nuovo set di dati.
- Messa a punto: Si tratta di scongelare alcuni o tutti gli strati pre-addestrati e di continuare il processo di addestramento(backpropagation) sul nuovo set di dati, in genere con un tasso di apprendimento inferiore per evitare di alterare drasticamente le caratteristiche apprese. La messa a punto permette al modello di specializzare le sue conoscenze generali per le sfumature specifiche del compito da svolgere.
Vantaggi dell'apprendimento per trasferimento
L'impiego dell'apprendimento per trasferimento offre diversi vantaggi chiave:
- Riduzione del fabbisogno di dati: Raggiunge buone prestazioni anche con set di dati di destinazione più piccoli.
- Sviluppo più veloce: Riduce notevolmente i tempi di formazione dei modelli.
- Miglioramento delle prestazioni: Spesso porta a un'accuratezza maggiore e a una migliore generalizzazione rispetto alla formazione da zero, soprattutto su compiti complessi.
- Efficienza delle risorse: Risparmia i costi di calcolo (GPU tempo, energia) associati a una formazione estesa.
Apprendimento per trasferimento e concetti correlati
- Sintonizzazione fine: Come già detto, il fine-tuning è un metodo specifico utilizzato nell'ambito dell'apprendimento per trasferimento, in cui i pesi pre-addestrati vengono aggiustati durante l'addestramento sul nuovo compito. L'apprendimento per trasferimento è il concetto più ampio di sfruttamento della conoscenza, che potrebbe anche comportare l'utilizzo del modello pre-addestrato come estrattore di caratteristiche fisse, senza messa a punto.
- Apprendimento Zero-Shot: A differenza dell'apprendimento per trasferimento, che adatta un modello a un nuovo compito utilizzando spesso nuovi dati etichettati, l'apprendimento Zero-Shot mira a svolgere compiti (come la classificazione) su classi che il modello non ha mai visto durante l'addestramento, basandosi su informazioni ausiliarie o spazi di attributi condivisi.
- Formazione da zero: Questo è l'approccio tradizionale in cui i pesi del modello vengono inizializzati in modo casuale e addestrati esclusivamente sul set di dati di destinazione, richiedendo un numero di dati e di tempo significativamente maggiore.
IT
EN
ZH
KO
JA
RU
DE
FR
ES
PT
AR
TR
VI
