Segmentation des instances

La segmentation d'instance est une technique sophistiquée de vision par ordinateur qui étend les capacités de détection d'objets en identifiant non seulement la présence et l'emplacement des objets dans une image, mais en délimitant également les frontières exactes de chaque instance d'objet. Cela signifie que la segmentation d'instance peut faire la distinction entre plusieurs objets de la même classe qui sont proches les uns des autres ou qui se chevauchent, en fournissant un masque au niveau du pixel pour chaque objet. Ce niveau de détail est crucial pour les applications qui nécessitent une compréhension précise de la scène, comme la conduite autonome, l'imagerie médicale et la manipulation robotique.

Principales différences avec les termes apparentés

Bien que la segmentation des instances soit liée à d'autres tâches de vision par ordinateur, elle offre des capacités uniques :

• Détection d'objets: La détection d'objets identifie la présence et l'emplacement des objets dans une image, généralement à l'aide de boîtes de délimitation. Cependant, elle ne fournit pas d'informations sur la forme ou l'étendue des objets. La segmentation des instances va plus loin en délimitant les frontières précises de chaque objet.
• Segmentation sémantique: La segmentation sémantique classe chaque pixel d'une image dans une classe spécifique, en colorant essentiellement tous les pixels appartenant à la même classe avec la même couleur. Cependant, elle ne fait pas la distinction entre les différentes instances d'une même classe. Par exemple, toutes les voitures d'une image seraient étiquetées comme "voiture", mais les voitures individuelles ne seraient pas différenciées.
• Segmentation panoptique: La segmentation panoptique combine la segmentation sémantique et la segmentation d'instance, fournissant à la fois une classification au niveau des pixels et une différenciation des instances d'objets individuels. Alors que la segmentation panoptique offre une compréhension globale de la scène, la segmentation par instance se concentre spécifiquement sur la distinction des instances d'objets individuels.

Applications dans le monde réel

La segmentation des instances est utilisée dans une variété d'applications du monde réel où une délimitation précise des objets est essentielle :

• Conduite autonome: Dans les voitures à conduite autonome, la segmentation des instances permet d'identifier et de distinguer les véhicules individuels, les piétons et les autres objets sur la route. Cela est crucial pour prendre des décisions de conduite précises, comme maintenir une distance de sécurité avec les autres voitures ou éviter les collisions avec les piétons. Par exemple, le système peut faire la différence entre plusieurs voitures dans un embouteillage, ce qui permet au véhicule de naviguer en toute sécurité dans des scénarios complexes.
• Imagerie médicale: La segmentation des instances est utilisée pour identifier et segmenter des cellules, des organes ou des tumeurs individuels dans les images médicales telles que les IRM ou les tomodensitogrammes. Cette précision est essentielle pour établir un diagnostic exact, planifier un traitement et suivre l'évolution d'une maladie. Par exemple, la segmentation de tumeurs individuelles dans un scanner cérébral peut aider les médecins à planifier la radiothérapie ou l'ablation chirurgicale avec une plus grande précision. En savoir plus sur l'IA dans le domaine de la santé.

Informations techniques

Les modèles de segmentation des instances s'appuient généralement sur des architectures de détection d'objets, telles que les réseaux neuronaux convolutionnels (CNN). Une approche populaire consiste à utiliser un détecteur en deux étapes, où la première étape propose des régions d'intérêt (boîtes de délimitation) et la deuxième étape affine ces régions pour produire des masques au niveau des pixels. Mask R-CNN est un exemple bien connu de cette approche, qui étend le modèle de détection d'objets Faster R-CNN en ajoutant une branche pour prédire les masques de segmentation sur chaque région d'intérêt (RdI).

Outils et cadres de travail

Plusieurs outils et frameworks prennent en charge la segmentation des instances, ce qui la rend accessible aux chercheurs et aux développeurs :

• TensorFlow et PyTorch: Ces cadres populaires d'apprentissage automatique fournissent les éléments de base pour la mise en œuvre de modèles de segmentation d'instance. Ils offrent flexibilité et contrôle sur l'architecture du modèle et le processus de formation. En savoir plus sur TensorFlow et PyTorch.
• Ultralytics YOLO: Les modèles Ultralytics YOLO , réputés pour la détection d'objets en temps réel, prennent également en charge les tâches de segmentation d'instances. Ces modèles offrent un équilibre entre vitesse et précision, ce qui les rend adaptés aux applications en temps réel.
• Ultralytics HUB: Cette plateforme simplifie le processus de formation et de déploiement des modèles de segmentation des instances, permettant aux utilisateurs de se concentrer sur leur application spécifique sans se perdre dans les détails techniques de la mise en œuvre des modèles. Explore comment tu peux en tirer parti avec Ultralytics HUB.

En fournissant des masques détaillés au niveau des pixels pour chaque instance d'objet, la segmentation d'instance améliore la capacité des systèmes d'IA à comprendre le monde visuel et à interagir avec lui, ce qui favorise les avancées dans divers domaines.