U-Net

Architettura di base

L'architettura di U-Net è composta da due percorsi principali collegati in modo da assomigliare alla lettera "U": un percorso di contrazione (noto anche come encoder) e un percorso di espansione (noto anche come decoder).

1. Percorso di contrazione (Encoder): Questo percorso segue l'architettura tipica di una CNN. Consiste nell'applicazione ripetuta di due convoluzioni 3x3 (convoluzioni non imbottite), ognuna seguita da una funzione di attivazione ReLU (Rectified Linear Unit) e poi da un'operazione di pooling 2x2 max con passo 2 per il ricampionamento. A ogni passo di downsampling, il numero di canali delle caratteristiche viene raddoppiato. Questo percorso cattura il contesto dell'immagine di ingresso, riducendo progressivamente la risoluzione spaziale e aumentando le informazioni sulle caratteristiche.
2. Percorso espansivo (Decoder): Questo percorso consiste in passaggi ripetuti di up-sampling della mappa delle caratteristiche seguiti da una convoluzione 2x2 ("up-convolution") che dimezza il numero di canali delle caratteristiche, una concatenazione con la mappa delle caratteristiche ritagliata corrispondente dal percorso di contrazione e due convoluzioni 3x3, ciascuna seguita da una ReLU. Il ritaglio è necessario a causa della perdita di pixel di confine in ogni convoluzione. Lo strato finale utilizza una convoluzione 1x1 per mappare ogni vettore di caratteristiche al numero di classi desiderato. Questo percorso consente una localizzazione precisa aumentando gradualmente la risoluzione dell'output e combinandola con le caratteristiche ad alta risoluzione del percorso di contrazione tramite connessioni di salto. Le architetture encoder-decoder come U-Net sono comuni nelle attività di segmentazione.
3. Connessioni a salto: L'innovazione chiave che collega questi due percorsi è l'uso delle connessioni di salto. Queste connessioni copiano le mappe di caratteristiche dai livelli del percorso di contrazione e le concatenano con le corrispondenti mappe di caratteristiche campionate nel percorso di espansione. Questo permette al decodificatore di accedere direttamente alle caratteristiche ad alta risoluzione apprese dal codificatore, il che è fondamentale per produrre mappe di segmentazione con dettagli precisi.

Caratteristiche e vantaggi principali

Il design di U-Net offre diversi vantaggi, in particolare per le attività di segmentazione:

• Localizzazione precisa: Il percorso ampio combinato con le connessioni saltate permette alla rete di generare maschere di segmentazione con dettagli molto precisi.
• Efficienza con piccoli set di dati: U-Net può essere addestrata in modo efficace anche con set di dati di formazione relativamente piccoli, cosa comune nell'analisi delle immagini mediche. L'uso di un ampio incremento dei dati viene spesso impiegato insieme a U-Net per insegnare alla rete le invarianze desiderate.
• Formazione end-to-end: L'intera rete può essere addestrata direttamente dalle immagini di ingresso alle mappe di segmentazione di uscita, semplificando la pipeline di addestramento.
• Buona generalizzazione: Ha dimostrato ottime prestazioni non solo nell'imaging medico ma anche in altri ambiti che richiedono una segmentazione precisa.

Applicazioni del mondo reale

Sebbene sia stata inizialmente progettata per l'imaging biomedico, l'architettura di U-Net è versatile ed è stata adattata a numerose applicazioni:

• Analisi delle immagini mediche: La sua applicazione principale rimane la segmentazione di immagini mediche come le risonanze magnetiche(esempio di dataset sul tumore cerebrale), le TAC e le immagini di microscopia per compiti come il rilevamento dei tumoriUltralytics blog diUltralytics sul rilevamento dei tumori), la segmentazione degli organi e il conteggio delle cellule. Per saperne di più leggi le recensioni sulla segmentazione delle immagini biomediche. Aiuta ad automatizzare l'analisi in conformità con gli standard come DICOM.
• Analisi delle immagini satellitari: U-Net è utilizzato per la classificazione della copertura del suolo, l'estrazione della rete stradale, la segmentazione dell'impronta degli edifici e il monitoraggio dei cambiamenti ambientali dalle immagini satellitari o aeree. Esplora le varie applicazioni di telerilevamento.
• Guida autonoma: Segmentare le corsie stradali, i pedoni e gli altri veicoli per comprendere la scena.
• Controllo della qualità industriale: Rilevare i difetti o segmentare i componenti nei processi produttivi(AI in Manufacturing).
• Agricoltura: Segmentare le colture, le erbacce o valutare la salute delle piante dalle immagini dei droni(AI in Agricoltura).

Distinguere U-Net da concetti simili

U-Net si concentra principalmente sulla segmentazione semantica, assegnando un'etichetta di classe (ad esempio, "tumore", "strada", "edificio") a ciascun pixel di un'immagine. Questo differisce da:

• Segmentazione delle istanze: Questo compito non si limita a classificare i pixel, ma distingue anche le singole istanze di oggetti appartenenti alla stessa classe (ad esempio, etichettando distintamente auto_1, auto_2, auto_3). Sebbene U-Net possa essere adattata per la segmentazione delle istanze, modelli come Mask R-CNN sono spesso più adatti a questo scopo.
• Rilevamento degli oggetti: Si tratta di identificare gli oggetti e disegnare dei riquadri di delimitazione attorno ad essi, piuttosto che classificare ogni pixel. Modelli come Ultralytics YOLO sono lo stato dell'arte per il rilevamento degli oggetti, noti per la loro velocità e precisione.
• Modelli di segmentazione moderni: Mentre U-Net rimane influente, le nuove architetture, comprese le varianti di segmentazione di modelli come Ultralytics YOLOv8 e YOLO11offrono potenti capacità di segmentazione, spesso ottimizzate per un'inferenza più rapida in tempo reale e sfruttando i progressi del deep learning, come i blocchi trasformatori o i progetti privi di ancore.

Formazione e strumenti

L'addestramento di una U-Net richiede dati annotati a livello di pixel, dove ogni pixel delle immagini di addestramento viene etichettato con la classe corrispondente. Questo processo di annotazione dei dati può richiedere molto lavoro, soprattutto nel caso di immagini mediche o satellitari complesse. I modelli U-Net sono in genere implementati e addestrati utilizzando i più diffusi framework di deep learning, come ad esempio PyTorchPyTorch sito ufficiale diPyTorch ) e TensorFlowTensorFlow ). Librerie come OpenCV sono spesso utilizzate per il caricamento e la pre-elaborazione delle immagini. Piattaforme come Ultralytics HUB possono aiutare a gestire i dataset e a semplificare il processo di formazione dei modelli, anche per attività di segmentazione complesse. Un addestramento efficace spesso comporta un'attenta regolazione degli iperparametri e l'esplorazione di diversi algoritmi di ottimizzazione.