Segmentação semântica

A segmentação semântica é uma tarefa crucial da visão computacional que envolve a classificação de cada pixel de uma imagem em categorias ou classes predefinidas. Ao contrário de outras tarefas de visão computacional, a segmentação semântica fornece uma previsão densa, atribuindo um rótulo a cada pixel, permitindo uma compreensão detalhada da cena. Esta técnica vai além da simples deteção de objectos; delineia e classifica os próprios objectos, proporcionando uma interpretação mais rica do conteúdo da imagem.

O que é a segmentação semântica?

A segmentação semântica tem como objetivo compreender e rotular cada pixel de uma imagem de acordo com o que representa. Isto vai além da classificação básica de imagens, que apenas prevê uma única etiqueta para uma imagem inteira, e da deteção de objectos, que desenha caixas delimitadoras à volta dos objectos. A segmentação semântica, pelo contrário, delineia com precisão os limites dos objectos ao nível do pixel. Por exemplo, numa imagem de uma cena de rua, a segmentação semântica não só identificaria carros, peões e estradas, mas também delinearia a forma exacta de cada carro, peão e superfície da estrada, rotulando cada pixel como pertencente a uma destas classes.

Esta classificação ao nível do pixel torna a segmentação semântica uma ferramenta poderosa para aplicações que requerem uma compreensão detalhada da cena. É uma forma de aprendizagem supervisionada, em que os modelos são treinados em conjuntos de dados com anotações ao nível do pixel. O resultado é uma imagem segmentada em que cada segmento corresponde a uma classe de objeto específica. Modelos avançados como o Ultralytics YOLOv8 e o Segment Anything Model (SAM ) podem ser utilizados para tarefas de segmentação semântica eficientes e precisas.

Aplicações da segmentação semântica

A segmentação semântica tem uma vasta gama de aplicações em vários sectores:

• Condução autónoma: Nos carros autónomos, a segmentação semântica é essencial para a compreensão da cena. Ajuda os veículos a distinguir entre estradas, passeios, peões, sinais de trânsito e outros veículos, permitindo uma navegação e tomada de decisões mais seguras. Por exemplo, segmentar com precisão as superfícies das estradas garante que o veículo se mantém dentro das marcações da faixa de rodagem, enquanto a identificação de peões e ciclistas ajuda a evitar acidentes. Sabe mais sobre a IA nos automóveis autónomos.
• Análise de imagens médicas: Nos cuidados de saúde, a segmentação semântica é utilizada extensivamente na análise de imagens médicas. Pode ajudar a identificar e delinear regiões de interesse em exames médicos, como tomografias computadorizadas, ressonâncias magnéticas e raios X. Por exemplo, pode ser utilizada para segmentar tumores, órgãos e outras estruturas anatómicas, ajudando no diagnóstico, no planeamento do tratamento e na monitorização da progressão da doença. Explora como oUltralytics YOLO é utilizado para a deteção de tumores em imagiologia médica.
• Análise de imagens aéreas e de satélite: A segmentação semântica desempenha um papel crucial na análise de imagens aéreas e de satélite. Pode ser utilizada para a classificação da ocupação do solo, planeamento urbano e monitorização ambiental. Ao segmentar imagens em categorias como edifícios, florestas, corpos de água e estradas, fornece dados valiosos para o desenvolvimento urbano, monitorização agrícola e resposta a catástrofes. Descobre como a visão por computador analisa as imagens de satélite.
• Agricultura e agricultura de precisão: Na agricultura, a segmentação semântica pode ser utilizada para a análise de culturas e vegetação. Ajuda a distinguir entre culturas e ervas daninhas, a avaliar a saúde das plantas e a monitorizar as condições do campo. Isto permite técnicas de agricultura de precisão, optimizando a utilização de recursos e melhorando o rendimento das colheitas. Conhece os principais benefícios da utilização da IA de visão para a agricultura.

Segmentação semântica vs. deteção de objectos e segmentação de instâncias

Embora a segmentação semântica, a deteção de objectos e a segmentação de instâncias sejam tarefas de visão por computador centradas na compreensão da cena, diferem no seu resultado e nível de detalhe.

• Deteção de objectos: Identifica objectos numa imagem e localiza-os utilizando caixas delimitadoras. Diz o que e onde estão os objectos, mas não a sua forma precisa ou detalhes ao nível dos pixels. Por exemplo, pode detetar "carro" e desenhar uma caixa à volta de cada carro numa cena de rua.
• Segmentação semântica: Classifica cada pixel de uma imagem em classes predefinidas, fornecendo uma compreensão da cena ao nível do pixel. Diz o que cada pixel representa. Distingue entre classes, mas não instâncias individuais da mesma classe. Por exemplo, rotula todos os pixels de carros como 'carro' e todos os pixels de estradas como 'estrada', independentemente do número de carros ou estradas presentes.
• Segmentação de instâncias: Combina aspectos da deteção de objectos e da segmentação semântica. Detecta cada instância de objeto numa imagem e segmenta cada instância separadamente. Não só diz o que e onde estão os objectos, como também diferencia entre instâncias individuais da mesma classe de objectos. Por exemplo, segmenta individualmente cada carro numa cena de rua, mesmo que pertençam à mesma classe "carro".

Em suma, a segmentação semântica fornece uma classificação detalhada e por pixéis das imagens, crucial para aplicações que necessitem de uma compreensão detalhada da cena. Ferramentas como o Ultralytics HUB simplificam o processo de formação e implementação de modelos de segmentação semântica, tornando esta poderosa tecnologia mais acessível.