Segmentation d'instance

La segmentation d'instance est une technique sophistiquée de vision par ordinateur (CV) qui identifie et délimite chaque objet distinct d'intérêt dans une image au niveau des pixels. Alors que la détection d'objets standard localise les éléments à l'aide de rectangles englobants, la segmentation d'instance approfondit l' analyse en générant un masque précis pour chaque entité détectée. Cette capacité permet aux modèles d'intelligence artificielle (IA) de distinguer les objets individuels d'une même classe, par exemple en séparant deux personnes qui se chevauchent, ce qui permet une compréhension plus riche et plus détaillée de la scène visuelle par rapport aux méthodes de classification plus simples.

Distinction entre les types de segmentation

Pour bien comprendre l'utilité de la segmentation d'instances, il est utile de la différencier d'autres tâches connexes de traitement d'images . Chaque méthode offre un niveau de granularité différent en fonction des exigences de l'application.

• Segmentation sémantique: Cette approche classe chaque pixel d'une image dans une catégorie (par exemple, « route », « ciel », « voiture »). Cependant, elle ne fait pas la distinction entre les objets distincts d'une même catégorie. Si trois voitures sont garées les unes à côté des autres, la segmentation sémantique les considère comme une seule région « voiture ».
• Segmentation d'instance: cette méthode traite chaque objet comme une entité unique. Elle détecte les instances individuelles et attribue une étiquette unique aux pixels de chacune d'entre elles . Dans l'exemple des voitures garées, la segmentation d'instance créerait trois masques distincts, identifiant séparément la « voiture A », la « voiture B » et la « voiture C ».
• Segmentation panoptique: une approche hybride qui combine l'étiquetage d'arrière-plan de la segmentation sémantique avec l'identification d'objets comptables de la segmentation d'instances.

Les mécanismes de l'analyse au niveau des pixels

Les modèles modernes de segmentation d'instances s'appuient généralement sur des architectures avancées d'apprentissage profond (DL), en particulier les réseaux neuronaux convolutifs (CNN). Ces réseaux extraient des caractéristiques d'une image afin de prédire à la fois la classe d'un objet et son contour spatial. Historiquement, les architectures en deux étapes telles que Mask R-CNN étaient la norme, proposant d'abord des régions d'intérêt, puis les affinant en masques.

Cependant, les progrès récents ont conduit à la création de détecteurs à étape unique tels que YOLO26, qui effectuent simultanément la détection et la segmentation . Cette approche « de bout en bout » améliore considérablement les vitesses d'inférence en temps réel, ce qui permet d' appliquer une segmentation de haute précision aux flux vidéo en direct sur du matériel grand public.

Applications concrètes

Les limites précises fournies par la segmentation d'instance sont essentielles pour les industries où la compréhension de la forme et de la position exactes d'un objet est nécessaire à la prise de décision.

• L'IA dans le domaine de la santé: dans le domaine du diagnostic médical, il est essentiel d'identifier la taille et la forme exactes des tumeurs ou des lésions. La segmentation d'instance permet aux modèles de délimiter les anomalies dans les IRM avec une grande précision, aidant ainsi les radiologues à planifier les traitements et à surveiller la progression de la maladie.
• Véhicules autonomes: Les voitures autonomes s'appuient sur la segmentation pour naviguer dans des environnements complexes. À l'aide de jeux de données tels que Cityscapes, les véhicules peuvent identifier les surfaces praticables, reconnaître les marquages au sol et distinguer les piétons individuels dans les passages piétons encombrés afin d'assurer la sécurité.
• IA dans l'agriculture: l'agriculture de précision utilise la segmentation pour surveiller la santé des cultures. Des robots équipés de systèmes de vision peuvent identifier chaque fruit pour une récolte automatisée ou detect des mauvaises herbes detect pour une application ciblée d'herbicides, réduisant ainsi l'utilisation de produits chimiques et optimisant le rendement.

Mise en œuvre de la segmentation avec Python

Les développeurs peuvent facilement mettre en œuvre la segmentation des instances à l'aide de la fonction ultralytics bibliothèque. L'exemple suivant montre comment charger un modèle pré-entraîné. YOLO26 modèle et générer des masques de segmentation pour une image.

from ultralytics import YOLO

# Load a pre-trained YOLO26 instance segmentation model
# The 'n' suffix denotes the nano version, optimized for speed
model = YOLO("yolo26n-seg.pt")

# Run inference on an image
# This predicts classes, bounding boxes, and masks
results = model("https://ultralytics.com/images/bus.jpg")

# Visualize the results
# Displays the image with overlaid segmentation masks
results[0].show()

Défis et formation sur les modèles

Bien que puissante, la segmentation d'instances est très gourmande en ressources informatiques par rapport à la simple détection de cadres de sélection. La génération de masques au pixel près nécessite d'importantes GPU et une annotation précise des données. L'annotation des données pour ces tâches implique de dessiner des polygones serrés autour de chaque objet, ce qui peut prendre beaucoup de temps.

Pour rationaliser ce processus, les équipes utilisent souvent des outils tels que Ultralytics , qui offre des fonctionnalités de gestion des ensembles de données, d' annotation automatique et de formation basée sur le cloud. Cela permet aux développeurs d'affiner les modèles sur des données personnalisées, telles que des pièces industrielles spécifiques ou des échantillons biologiques, et de les déployer efficacement sur des appareils d'IA de pointe à l'aide de formats optimisés tels que ONNX ou TensorRT.