Segmentazione dell'istanza

Come funziona la segmentazione delle istanze

I modelli di segmentazione delle istanze analizzano un'immagine per individuare prima i potenziali oggetti e poi, per ogni oggetto rilevato, prevedere quali pixel appartengono a quella specifica istanza. Gli approcci tradizionali, come l'influente architettura Mask R-CNN, spesso impiegano un processo in due fasi: in primo luogo, eseguono il rilevamento degli oggetti per generare proposte di bounding box e, in secondo luogo, generano una maschera di segmentazione all'interno di ogni box proposto. Pur essendo efficaci, questi metodi possono essere impegnativi dal punto di vista computazionale.

Approcci più recenti, tra cui modelli come Ultralytics YOLOutilizzano spesso pipeline a fase singola. Questi modelli predicono simultaneamente i riquadri di delimitazione, le etichette di classe e le maschere di istanza in un unico passaggio attraverso la rete neurale (NN), ottenendo miglioramenti significativi in termini di velocità e rendendoli adatti all'inferenza in tempo reale. L'addestramento di questi modelli richiede dataset di grandi dimensioni con annotazioni a livello di pixel, come il dataset COCO, ampiamente utilizzato, in particolare le sue annotazioni di segmentazione. Il processo di addestramento prevede l'utilizzo di tecniche di deep learning (DL), che sfruttano le reti neurali convoluzionali (CNN) per apprendere caratteristiche visive complesse.

Segmentazione delle istanze e compiti correlati

È importante differenziare la segmentazione delle istanze da altri compiti di segmentazione delle immagini:

• Rilevamento di oggetti: Identifica la presenza e la posizione degli oggetti utilizzando i riquadri di delimitazione, ma non fornisce informazioni sulla forma. La segmentazione delle istanze va oltre, delineando i pixel esatti di ogni oggetto.
• Segmentazione semantica: Assegna un'etichetta di classe a ogni pixel di un'immagine (ad esempio, "auto", "persona", "strada"). Tuttavia, non distingue tra diverse istanze della stessa classe. Tutte le auto, ad esempio, farebbero parte dello stesso segmento "auto". Per saperne di più, consulta questa guida sulla segmentazione delle istanze rispetto alla segmentazione semantica.
• Segmentazione panottica: Combina la segmentazione semantica e quella per istanze. Assegna un'etichetta di classe a ogni pixel (come la segmentazione semantica) e identifica in modo univoco ogni istanza di oggetto (come la segmentazione di istanza).

La segmentazione delle istanze si concentra in modo specifico sull'individuazione e la delimitazione delle singole istanze degli oggetti, fornendo un'elevata precisione per quanto riguarda i confini e la separazione degli oggetti.

Applicazioni della segmentazione delle istanze

La capacità di identificare e isolare con precisione i singoli oggetti rende la segmentazione delle istanze preziosa in numerosi campi:

• Guida autonoma: Le auto a guida autonoma si basano sulla segmentazione delle istanze per percepire accuratamente l'ambiente circostante. La distinzione tra singoli veicoli, pedoni, ciclisti e ostacoli, anche in scene confuse o sovrapposte, è fondamentale per una navigazione e un processo decisionale sicuri. Aziende come Waymo utilizzano ampiamente queste tecniche.
• Analisi delle immagini mediche: In radiologia e patologia, la segmentazione delle istanze aiuta a delineare strutture specifiche come tumori, organi o cellule nelle scansioni(TC, RM, ecc.). Questa precisione a livello di pixel aiuta nella diagnosi, nella misurazione delle dimensioni del tumore, nella pianificazione degli interventi chirurgici e nel monitoraggio della progressione della malattia. Ad esempio, l'utilizzo di YOLO11 per il rilevamento dei tumori mostra questa applicazione nel contesto più ampio dell'IA nel settore sanitario.
• Robotica: I robot che svolgono attività come la presa o la manipolazione in ambienti non strutturati devono identificare e localizzare con precisione i singoli oggetti. La segmentazione delle istanze permette ai robot di comprendere la forma esatta e i confini degli oggetti per interagire con successo, aspetto che viene approfondito in AI in Robotica.
• Analisi delle immagini satellitari: Si utilizza per la mappatura dettagliata della copertura del suolo, per il monitoraggio dell'espansione urbana attraverso l'identificazione di singoli edifici o per il rilevamento di oggetti specifici come navi o veicoli. Questo livello di dettaglio supporta il monitoraggio ambientale, la gestione delle risorse e la raccolta di informazioni. Esplora le tecniche generali di analisi delle immagini satellitari.
• Monitoraggio agricolo: Aiuta a contare singole piante o frutti, a valutare lo stato di salute delle colture per singola pianta o a identificare specifici tipi di erbe infestanti per interventi mirati, contribuendo all'agricoltura di precisione.

Segmentazione delle istanze con Ultralytics YOLO

Ultralytics offre modelli all'avanguardia in grado di eseguire un'efficiente segmentazione delle istanze. Modelli come YOLOv8 e YOLO11 sono progettati per offrire prestazioni elevate in diversi compiti di computer vision, tra cui la segmentazione delle istanze(vedi i dettagli del compito di segmentazione). Gli utenti possono sfruttare i modelli pre-addestrati o eseguire una messa a punto su set di dati personalizzati utilizzando strumenti come la piattaforma Ultralytics HUB, che semplifica il flusso di lavoro dell'apprendimento automatico (ML) dalla gestione dei dati alla distribuzione dei modelli. Per l'implementazione pratica, sono disponibili risorse come i tutorial sulla segmentazione con modelli Ultralytics YOLOv8 pre-addestrati o le guide sull'isolamento degli oggetti di segmentazione. Puoi anche imparare a usare Ultralytics YOLO11 per la segmentazione dei modelli. I framework più diffusi come PyTorch e TensorFlow sono comunemente utilizzati per sviluppare e distribuire questi modelli.