L'apprendimento auto-supervisionato è un approccio all'apprendimento automatico che sfrutta i dati non etichettati per addestrare i modelli. A differenza dell'apprendimento supervisionato, che richiede set di dati etichettati, l'apprendimento auto-supervisionato crea le proprie etichette dalla struttura intrinseca dei dati non etichettati stessi. Questo metodo è particolarmente utile in campi come la computer vision (CV) e l'elaborazione del linguaggio naturale (NLP), dove sono disponibili grandi quantità di dati non etichettati, ma l'etichettatura manuale è costosa e richiede molto tempo.
Come funziona l'apprendimento auto-supervisionato
L'idea centrale dell'apprendimento auto-supervisionato è quella di progettare un "compito pretestuoso" che permetta a un modello di apprendere rappresentazioni utili da dati non etichettati. Questo compito pre-testuale è formulato in modo tale che la sua risoluzione richieda la comprensione di schemi significativi nei dati. Ad esempio, nell'elaborazione delle immagini, un compito pretestuoso potrebbe essere quello di prevedere la rotazione applicata a un'immagine o di colorare un'immagine in scala di grigi. Nell'elaborazione del linguaggio, un compito pretestuoso comune è la modellazione del linguaggio mascherato, in cui il modello predice le parole mascherate in una frase.
Una volta che il modello è stato addestrato su un compito preliminare utilizzando una grande quantità di dati non etichettati, apprende caratteristiche e rappresentazioni generali dei dati. Queste rappresentazioni apprese possono poi essere trasferite e perfezionate per compiti successivi, come il rilevamento di oggetti, la classificazione di immagini o la segmentazione di immagini, spesso con una quantità di dati etichettati significativamente inferiore a quella necessaria per un addestramento puramente supervisionato. Questa capacità di apprendimento per trasferimento è un vantaggio fondamentale dell'apprendimento auto-supervisionato.
Applicazioni dell'apprendimento auto-supervisionato
L'apprendimento auto-supervisionato ha trovato applicazione in diversi ambiti, soprattutto quando i dati etichettati sono scarsi o costosi da ottenere:
- Visione artificiale: Nell'analisi delle immagini mediche, l'apprendimento auto-supervisionato può pre-addestrare i modelli su grandi set di immagini mediche prive di etichetta (come le radiografie o le risonanze magnetiche). Questi modelli pre-addestrati possono poi essere messi a punto per compiti diagnostici specifici utilizzando dati etichettati limitati, migliorando l'accuratezza e l'efficienza dell'interpretazione delle immagini mediche. Ad esempio, modelli come Ultralytics YOLOv8 possono beneficiare di un pre-addestramento auto-supervisionato per migliorare le loro prestazioni nell'individuazione di anomalie nelle immagini mediche.
- Elaborazione del linguaggio naturale: I modelli linguistici di grandi dimensioni (LLM) come il GPT-4 sono spesso pre-addestrati utilizzando tecniche di apprendimento auto-supervisionato su enormi quantità di dati testuali. Questo pre-addestramento consente loro di apprendere le capacità generali di comprensione e generazione del linguaggio, che vengono poi messe a punto per compiti specifici di NLP come la sintesi di testi, la traduzione o l'analisi del sentimento. Tecniche come il prompt tuning sfruttano ulteriormente questi modelli pre-addestrati per un adattamento efficiente a nuovi compiti.
Apprendimento auto-supervisionato vs. concetti simili
È importante distinguere l'apprendimento auto-supervisionato da altri paradigmi di apprendimento automatico correlati:
- Apprendimento non supervisionato: Sebbene entrambi utilizzino dati non etichettati, l'apprendimento non supervisionato mira a trovare strutture o schemi intrinseci nei dati senza un compito specifico in mente (ad esempio, clustering, riduzione della dimensionalità). L'apprendimento auto-supervisionato, invece, formula un compito preliminare per apprendere rappresentazioni utili per i compiti successivi.
- Apprendimento semi-supervisionato: L'apprendimento semi-supervisionato utilizza una combinazione di dati etichettati e non etichettati, ma si basa comunque su una certa quantità di dati etichettati per la formazione. L'apprendimento auto-supervisionato si concentra principalmente sull'apprendimento da dati non etichettati e poi potenzialmente sulla messa a punto con una piccola quantità di dati etichettati.
L'apprendimento auto-supervisionato rappresenta un progresso significativo nell'apprendimento automatico, in quanto consente di utilizzare in modo efficace le grandi quantità di dati non etichettati disponibili e di ridurre la dipendenza da costosi set di dati etichettati. Con l'evoluzione di modelli come Ultralytics YOLO11 continueranno a evolversi, le tecniche auto-supervisionate avranno probabilmente un ruolo sempre più importante nel migliorare le loro prestazioni e la loro applicabilità in diverse applicazioni di AI visiva.
