Apresentando a Segmentação de Instância em YOLOv5 v7.0

YOLOv5 Av7.0, a versão mais recente da nossa arquitetura de IA, foi lançada e estamos entusiasmados por apresentar os nossos novos modelos de segmentação de instâncias!

Enquanto trabalhávamos nesta última versão, mantivemos dois objectivos em primeiro plano. O primeiro era a nossa missão de tornar a IA fácil, e o segundo era o nosso objetivo de redefinir o verdadeiro significado de "topo de gama".

Por isso, com melhorias significativas, correcções e actualizações, fizemos exatamente isso. Mantendo os mesmos fluxos de trabalho simples dos nossos modelos de deteção de objectos existentes em YOLOv5 , agora é mais fácil do que nunca treinar, validar e implementar os teus modelos com YOLOv5 v7.0. Além disso, superamos todos os benchmarks SOTA, tornando o YOLOv5 o mais rápido e preciso do mundo.

Como este é o nosso primeiro lançamento de modelos de segmentação, estamos imensamente orgulhosos deste marco. Devemos muitos agradecimentos à nossa comunidade dedicada e aos nossos colaboradores, que ajudaram a tornar este lançamento possível.  

Por isso, começa a ler as notas de lançamento de YOLOv5 v7.0!

Importante YOLOv5 Actualizações

Eis o que foi atualizado em YOLOv5 desde o nosso último lançamento de YOLOv5 v6 .2 em agosto de 2022.

• Modelos de segmentação ⭐ NOVO: SOTA YOLOv5-seg COCO-pretrained modelos de segmentação estão agora disponíveis pela primeira vez(#9052 por @glenn-jocher, @AyushExel, e @Laughing-q)
• PaddlePaddle Exporta: Exporta qualquer modelo YOLOv5 (cls, seg, det) para o formato Paddle com python export.py --include paddle #9459 by @glenn-jocher)
• YOLOv5 AutoCache: Usa python train.py --cache ram irá agora analisar a memória disponível e comparar com a utilização prevista da RAM do conjunto de dados. Isso reduz o risco de cache e deve ajudar a melhorar a adoção do recurso de cache de conjunto de dados, que pode acelerar significativamente o treinamento.(#10027 por @glenn-jocher)
• Comet Integração de registo e visualização: Gratuito para sempre, Comet permite-te guardar YOLOv5 modelos, retomar o treino e visualizar e depurar interactivamente as previsões.(#9232 por @DN6)

Novos pontos de controlo de segmentação

Treinámos os modelos de segmentação YOLOv5 no COCO durante 300 épocas com o tamanho de imagem 640 utilizando GPUs A100. Exportámos todos os modelos para ONNX FP32 para testes de velocidade em CPU e para TensorRT FP16 para testes de velocidade em GPU . Executámos todos os testes de velocidade em computadores portáteis Google Colab Pro para facilitar a reprodução.

• Todos os pontos de controlo são treinados para 300 épocas com o optimizador SGD com lr0=0,01 e weight_decay=5e-5 com o tamanho de imagem 640 e todas as definições predefinidas. Todas as execuções são registadas aqui.
• Os valores de precisão são para um modelo único e uma escala única no conjunto de dados COCO. Reproduzir por python segment/val.py --data coco.yaml --weights yolov5s-seg.pt
• Velocidade média de 100 imagens de inferência usando uma instância Colab Pro A100 High-RAM. Os valores indicam apenas a velocidade de inferência (o NMS acrescenta cerca de 1ms por imagem). Reproduzir por python segment/val.py --data coco.yaml --weights yolov5s-seg.pt --batch 1
• Exporta para ONNX em FP32 e TensorRT em FP16 com export.py. Reproduzir por python export.py --weights yolov5s-seg.pt --include engine --device 0 --half

Exemplos de uso da nova segmentação

Comboio

YOLOv5 O treino de segmentação suporta o descarregamento automático do conjunto de dados de segmentação COCO128-seg com o argumento --data coco128-seg.yaml e o descarregamento manual do conjunto de dados COCO-segments com bash data/scripts/get_coco.sh --train --val --segments e depois python train.py --data coco.yaml.

Único-GPU

python segment/train.py --model yolov5s-seg.pt --data coco128-seg.yaml --epochs 5 --img 640

Multi-GPU DDP

python -m torch.distributed.run --nproc_per_node 4 --master_port 1 segment/train.py --model yolov5s-seg.pt --data coco128-seg.yaml --epochs 5 --img 640 --device 0,1,2,3

Val

Valida a precisão do YOLOv5m-seg no conjunto de dados ImageNet-1k:

bash data/scripts/get_coco.sh --val --segments # descarrega COCO val segments split (780MB, 5000 imagens) python segment/val.py --weights yolov5s-seg.pt --data coco.yaml --img 640 # valida

Prevê

Utiliza o YOLOv5m-seg pré-treinado para prever bus.jpg:

python segment/predict.py --weights yolov5m-seg.pt --data data/images/bus.jpg

model = torch.hub.load('ultralytics/yolov5', 'custom', 'yolov5m-seg.pt') # carrega a partir de PyTorch Hub (AVISO: inferência ainda não suportada)

Exportação

Exporta o modelo YOLOv5s-seg para ONNX e TensorRT:

python export.py --weights yolov5s-seg.pt --include onnx engine --img 640 --device 0

Tens alguma dúvida? Pergunta no fórumUltralytics , levanta um problema ou envia um PR no repositório. Também podes começar com o nosso bloco de notas Colab de segmentaçãoYOLOv5 para tutoriais de início rápido.

‍