Segmentation sémantique

La segmentation sémantique est une tâche cruciale de vision par ordinateur qui consiste à classer chaque pixel d'une image dans des catégories ou classes prédéfinies. Contrairement à d'autres tâches de vision par ordinateur, la segmentation sémantique fournit une prédiction dense, attribuant une étiquette à chaque pixel, ce qui permet une compréhension fine de la scène. Cette technique va au-delà de la simple détection d'objets ; elle décrit et classe les objets eux-mêmes, ce qui permet une interprétation plus riche du contenu de l'image.

Qu'est-ce que la segmentation sémantique ?

La segmentation sémantique vise à comprendre et à étiqueter chaque pixel d'une image en fonction de ce qu'il représente. Cela va au-delà de la classification d'images de base, qui ne prédit qu'une seule étiquette pour une image entière, et de la détection d'objets, qui dessine des boîtes de délimitation autour des objets. La segmentation sémantique, en revanche, délimite précisément les frontières des objets au niveau des pixels. Par exemple, dans une image d'une scène de rue, la segmentation sémantique identifierait non seulement les voitures, les piétons et les routes, mais décrirait également la forme exacte de chaque voiture, piéton et surface de la route, en étiquetant chaque pixel comme appartenant à l'une de ces classes.

Cette classification au niveau du pixel fait de la segmentation sémantique un outil puissant pour les applications nécessitant une compréhension détaillée de la scène. Il s'agit d'une forme d'apprentissage supervisé, où les modèles sont formés sur des ensembles de données avec des annotations au niveau du pixel. Le résultat est une image segmentée où chaque segment correspond à une classe d'objet spécifique. Des modèles avancés comme Ultralytics YOLOv8 et Segment Anything Model (SAM ) peuvent être utilisés pour des tâches de segmentation sémantique efficaces et précises.

Applications de la segmentation sémantique

La segmentation sémantique a un large éventail d'applications dans divers secteurs :

• Conduite autonome: Dans les voitures à conduite autonome, la segmentation sémantique est essentielle à la compréhension des scènes. Elle aide les véhicules à faire la différence entre les routes, les trottoirs, les piétons, les panneaux de signalisation et les autres véhicules, ce qui permet une navigation et une prise de décision plus sûres. Par exemple, la segmentation précise des surfaces routières permet de s'assurer que le véhicule respecte les marquages de voie, tandis que l'identification des piétons et des cyclistes permet d'éviter les accidents. En savoir plus sur l'IA dans les voitures auto-conduites.
• Analyse d'images médicales: Dans le domaine de la santé, la segmentation sémantique est largement utilisée dans l'analyse d'images médicales. Elle peut aider à identifier et à délimiter les régions d'intérêt dans les scanners médicaux tels que les tomodensitogrammes, les IRM et les rayons X. Elle peut par exemple être utilisée pour segmenter les tumeurs, les organes et d'autres structures anatomiques. Par exemple, elle peut être utilisée pour segmenter les tumeurs, les organes et d'autres structures anatomiques, ce qui facilite le diagnostic, la planification du traitement et le suivi de l'évolution de la maladie. Explore comment Ultralytics YOLO est utilisé pour la détection des tumeurs dans l'imagerie médicale.
• Analyse de l'imagerie satellitaire et aérienne: La segmentation sémantique joue un rôle crucial dans l'analyse des images satellites et aériennes. Elle peut être utilisée pour la classification de l'occupation des sols, la planification urbaine et la surveillance de l'environnement. En segmentant les images en catégories telles que les bâtiments, les forêts, les plans d'eau et les routes, elle fournit des données précieuses pour le développement urbain, la surveillance de l'agriculture et la réponse aux catastrophes. Découvre comment la vision par ordinateur analyse les images satellites.
• Agriculture et agriculture de précision: En agriculture, la segmentation sémantique peut être utilisée pour l'analyse des cultures et de la végétation. Elle permet de distinguer les cultures des mauvaises herbes, d'évaluer la santé des plantes et de surveiller l'état des champs. Cela permet de mettre en place des techniques d'agriculture de précision, d'optimiser l'utilisation des ressources et d'améliorer le rendement des cultures. Découvre les principaux avantages de l'utilisation de l'IA de vision pour l'agriculture.

Segmentation sémantique vs. détection d'objets et segmentation d'instances

Bien que la segmentation sémantique, la détection d'objets et la segmentation d'instances soient toutes des tâches de vision par ordinateur axées sur la compréhension de la scène, elles diffèrent dans leur résultat et leur niveau de détail.

• Détection d'objets: Identifie les objets dans une image et les localise à l'aide de boîtes de délimitation. Elle indique la nature et l'emplacement des objets, mais pas leur forme précise ni les détails au niveau des pixels. Par exemple, il peut détecter "voiture" et dessiner une boîte autour de chaque voiture dans une scène de rue.
• Segmentation sémantique: Classe chaque pixel d'une image dans des classes prédéfinies, ce qui permet de comprendre la scène au niveau du pixel. Elle indique ce que chaque pixel représente. Elle fait la distinction entre les classes, mais pas entre les instances individuelles d'une même classe. Par exemple, elle étiquette tous les pixels de voiture comme "voiture" et tous les pixels de route comme "route", quel que soit le nombre de voitures ou de routes présentes.
• Segmentation d'instance: Combine les aspects de la détection d'objets et de la segmentation sémantique. Elle détecte chaque instance d'objet dans une image et segmente chaque instance séparément. Elle indique non seulement la nature et l'emplacement des objets, mais différencie également les instances individuelles d'une même classe d'objets. Par exemple, il segmente individuellement chaque voiture dans une scène de rue, même si elles appartiennent à la même classe "voiture".

En résumé, la segmentation sémantique fournit une classification détaillée des images par pixel, cruciale pour les applications nécessitant une compréhension fine de la scène. Des outils comme Ultralytics HUB simplifient le processus de formation et de déploiement des modèles de segmentation sémantique, rendant ainsi cette puissante technologie plus accessible.