Segmentation sémantique

Qu'est-ce que la segmentation sémantique ?

L'objectif principal de la segmentation sémantique est de diviser une image en régions significatives correspondant à différentes catégories d'objets. Par exemple, dans une image contenant plusieurs voitures, piétons et arbres, un modèle de segmentation sémantique qualifierait tous les pixels composant une voiture de "voiture", tous les pixels d'un piéton de "piéton" et tous les pixels d'un arbre d'"arbre". Il traite toutes les instances d'une même classe d'objets de manière identique. Cela contraste avec la classification d'images, qui attribue une seule étiquette à l'ensemble de l'image, et avec la détection d'objets, qui dessine des boîtes de délimitation autour des objets détectés mais ne décrit pas leur forme exacte.

Les modèles de segmentation sémantique sont généralement formés à l'aide de techniques d'apprentissage supervisé, nécessitant des ensembles de données avec des annotations détaillées au niveau des pixels. Le résultat est généralement une carte de segmentation, c'est-à-dire une image où la valeur (ou la couleur) de chaque pixel correspond à son étiquette de classe prédite.

Principales différences avec les autres tâches de segmentation

Il est important de distinguer la segmentation sémantique des tâches connexes :

• Segmentation par instance: Alors que la segmentation sémantique étiquette de la même façon tous les pixels appartenant à la classe "voiture", la segmentation d'instance va plus loin. Elle identifie et segmente séparément chaque instance individuelle d'un objet. Ainsi, trois voitures différentes sur une image recevront chacune un masque de segmentation unique, même si elles appartiennent toutes à la classe "voiture". Tu peux apprendre à utiliser Ultralytics YOLO pour la segmentation par instance.
• Segmentation panoptique: Cette tâche combine la segmentation sémantique et la segmentation par instance. Elle attribue une étiquette de classe à chaque pixel (comme la segmentation sémantique) et identifie également de façon unique chaque instance d'objet (comme la segmentation d'instance), ce qui permet une compréhension unifiée de la scène.

Applications de la segmentation sémantique

La compréhension détaillée de la scène fournie par la segmentation sémantique est cruciale pour de nombreuses applications du monde réel :

1. Conduite autonome: Les voitures autonomes s'appuient fortement sur la segmentation sémantique pour comprendre leur environnement. En classant les pixels dans des catégories telles que "route", "trottoir", "piéton", "véhicule" et "obstacle", le système de conduite autonome peut prendre des décisions éclairées en matière de navigation et de sécurité.
2. Analyse d'images médicales: Dans le domaine de la santé, la segmentation sémantique permet d'analyser les scanners médicaux tels que les IRM ou les tomodensitogrammes. Elle permet de délimiter précisément les organes, les tissus ou les anomalies telles que les tumeurs, ce qui aide les médecins à poser un diagnostic, à planifier un traitement et à suivre l'évolution de la maladie. Par exemple, les modèlesYOLO 'Ultralytics peuvent être utilisés pour la détection des tumeurs.
3. Analyse de l'imagerie satellitaire: Utilisée pour classer les types de couverture terrestre (par exemple, forêt, eau, zones urbaines), surveiller la déforestation, cartographier l'étalement urbain ou évaluer la santé des cultures dans le cadre de l'agriculture de précision. L 'IA par vision offre de nombreux avantages pour l'agriculture.
4. Robotique : Permet aux robots de percevoir leur environnement avec plus de détails, ce qui est nécessaire pour des tâches telles que la manipulation d'objets et la navigation dans des environnements complexes. En savoir plus sur l'intégration de la vision par ordinateur dans la robotique.

Modèles et outils

La segmentation sémantique emploie souvent des modèles d'apprentissage profond, en particulier des réseaux neuronaux convolutifs (CNN). Les architectures telles que les réseaux entièrement convolutifs (FCN) et U-Net sont des choix populaires. Les modèles modernes comme Ultralytics YOLOv8 offrent également de puissantes capacités pour les tâches de segmentation. Des outils comme Ultralytics HUB offrent des plateformes pour former, gérer des ensembles de données comme COCO et déployer des modèles de segmentation de manière efficace.