Segmentazione semantica

Come funziona la segmentazione semantica

L'obiettivo principale della segmentazione semantica è quello di classificare ogni pixel di un'immagine in un insieme predefinito di categorie. Ad esempio, in un'immagine contenente più auto, pedoni e alberi, un modello di segmentazione semantica etichetterà tutti i pixel che compongono un' auto come "auto", tutti i pixel di un pedone come "pedone" e tutti i pixel di un albero come "albero". Tratta tutte le istanze della stessa classe di oggetti in modo identico.

La moderna segmentazione semantica si basa molto sul deep learning, in particolare sulle reti neurali convoluzionali (CNN). Questi modelli vengono in genere addestrati con tecniche di apprendimento supervisionato, che richiedono grandi set di dati con annotazioni dettagliate a livello di pixel. Il processo prevede l'inserimento di un'immagine nella rete, che poi produce una mappa di segmentazione. Questa mappa è essenzialmente un'immagine in cui il valore di ogni pixel (spesso rappresentato da un colore) corrisponde all'etichetta di classe prevista, separando visivamente diverse categorie come "strada", "edificio", "persona", ecc. La qualità dell'etichettatura dei dati è fondamentale per formare modelli accurati.

Differenze chiave rispetto ad altri compiti di segmentazione

È importante distinguere la segmentazione semantica dalle attività di computer vision correlate:

• Classificazione dell'immagine: Assegna una singola etichetta all'intera immagine (ad esempio, "questa immagine contiene un gatto"). Non individua o delinea gli oggetti.
• Rilevamento degli oggetti: Identifica e localizza gli oggetti utilizzando i riquadri di delimitazione. Indica la posizione degli oggetti ma non la loro forma esatta a livello di pixel.
• Segmentazione delle istanze: Fa un passo avanti rispetto alla segmentazione semantica, non solo classificando ogni pixel ma anche distinguendo tra diverse istanze della stessa classe di oggetti. Ad esempio, assegna un ID e una maschera unici a ogni singola auto presente nella scena. Per maggiori dettagli, consulta questa guida che mette a confronto la segmentazione di istanza e quella semantica.
• Segmentazione panottica: Combina la segmentazione semantica e quella di istanza, fornendo un'etichetta di categoria per ogni pixel e ID di istanza univoci per gli oggetti contabilissimi ("cose") e raggruppando le regioni di sfondo non contabilissime ("cose") come il cielo o la strada.

Applicazioni del mondo reale

La comprensione dettagliata della scena fornita dalla segmentazione semantica è fondamentale per molte applicazioni del mondo reale:

• Guida autonoma: Le auto a guida autonoma utilizzano la segmentazione semantica per comprendere con precisione l'ambiente circostante. Classificando i pixel appartenenti a strade, corsie, marciapiedi, pedoni, altri veicoli e ostacoli, il sistema di guida autonoma può prendere decisioni di navigazione più sicure. Si tratta di un componente chiave dell'intelligenza artificiale per le soluzioni automobilistiche.
• Analisi delle immagini mediche: Nel settore sanitario, la segmentazione semantica aiuta ad analizzare scansioni mediche come risonanze magnetiche o TAC. Può delineare automaticamente gli organi, identificare e misurare tumori o lesioni ed evidenziare le anomalie con una precisione a livello di pixel. Ad esempio, i modelliYOLO Ultralytics possono essere utilizzati per il rilevamento dei tumori, aiutando i radiologi nella diagnosi e nella pianificazione dei trattamenti basati su tecniche di imaging medico dettagliate.
• Analisi delle immagini satellitari: Utilizzato per la classificazione della copertura del suolo, il monitoraggio della deforestazione, la pianificazione urbana e le applicazioni agricole. È in grado di distinguere tra foreste, corpi idrici, campi e aree edificate dalle foto satellitari, come mostrano gli esempi dell'Osservatorio della Terra della NASA. Scopri di più sull'uso della computer vision per analizzare le immagini satellitari.
• Robotica: Consente ai robot di percepire e interagire con l'ambiente in modo più efficace, comprendendo la disposizione e gli oggetti all'interno di una scena. Scopri come integrare la computer vision nella robotica.

Modelli e strumenti

La segmentazione semantica impiega spesso modelli di deep learning, in particolare architetture derivate dalle CNN.

• Architetture: Tra le prime architetture più diffuse ci sono le Fully Convolutional Networks (FCN), che hanno sostituito gli strati completamente connessi delle reti di classificazione con strati convoluzionali per produrre mappe spaziali, e le U-Net, che utilizzano una struttura encoder-decoder con connessioni saltate, particolarmente efficaci per la segmentazione delle immagini biomediche.
• Modelli moderni: Modelli all'avanguardia come Ultralytics YOLOv8 e il più recente YOLO11 offrono anche potenti funzionalità per varie attività di segmentazione, bilanciando velocità e precisione.
• Piattaforme di formazione: Strumenti come Ultralytics HUB offrono piattaforme per gestire set di dati come quello ampiamente utilizzato di COCO Segmentation, addestrare modelli personalizzati ed esplorare le opzioni di distribuzione dei modelli.
• Framework: Lo sviluppo utilizza spesso framework come PyTorch e TensorFlow. Tecniche come l'aumento dei dati sono comunemente utilizzate per migliorare la robustezza del modello.