A importância de conjuntos de dados de visão computacional de alta qualidade

Em 2019, a adoção da inteligência artificial (IA) pelas empresas tinha aumentado 270% em relação aos quatro anos anteriores. Esse crescimento alimentou a rápida integração de aplicações de visão computacional (CV) - sistemas de IA que permitem que as máquinas interpretem e analisem dados visuais do mundo ao seu redor. Estas aplicações estão na base de uma vasta gama de tecnologias, desde a deteção de doenças em imagiologia médica e a viabilização de veículos autónomos até à otimização do fluxo de tráfego nos transportes e ao reforço da vigilância em sistemas de segurança. 

A precisão notável e o desempenho inigualável dos modelos de visão computacional de ponta, como o Ultralytics YOLO11 impulsionaram em grande parte este crescimento exponencial. No entanto, o desempenho destes modelos depende em grande medida da qualidade e da quantidade dos dados utilizados para treinar, validar e testar os modelos. 

Sem dados suficientes e de alta qualidade, os modelos de visão computacional podem ser difíceis de treinar e ajustar de forma eficaz para atender aos padrões da indústria. Neste artigo, exploraremos o papel vital dos dados na criação de modelos de visão computacional e por que os dados de alta qualidade são tão importantes na visão computacional. Também apresentaremos algumas dicas para ajudar-te a criar conjuntos de dados de alta qualidade enquanto trabalhas no treinamento de modelos personalizados de visão computacional. Vamos começar!

O papel dos dados na construção de modelos de visão computacional

Os modelos de visão por computador podem ser treinados em grandes conjuntos de dados de imagens e vídeos para reconhecer padrões e fazer previsões precisas. Por exemplo, um modelo de deteção de objectos pode ser treinado em centenas - ou mesmo milhares - de imagens e vídeos rotulados para identificar objectos com precisão. 

A qualidade e a quantidade destes dados de treino influenciam o desempenho do modelo. 

Uma vez que os modelos de visão por computador só podem aprender com os dados a que estão expostos, o fornecimento de dados de alta qualidade e de exemplos diversificados é crucial para o seu sucesso. Sem conjuntos de dados suficientes e diversificados, estes modelos podem não conseguir analisar com precisão os cenários do mundo real e podem produzir resultados tendenciosos ou incorrectos. 

É por isso que é importante entender claramente o papel dos dados no treinamento de modelos . Antes de analisarmos as caraterísticas dos dados de alta qualidade, vamos compreender os tipos de conjuntos de dados que podes encontrar ao treinar modelos de visão computacional.

Tipos de conjuntos de dados de visão computacional

Na visão por computador, os dados utilizados no processo de formação são categorizados em três tipos, cada um com um objetivo específico. Segue-se uma breve descrição de cada tipo:

• Dados de formação: Este é o principal conjunto de dados utilizado para treinar o modelo a partir do zero. Consiste em imagens e vídeos com etiquetas predefinidas, permitindo que o modelo aprenda padrões e reconheça objectos. 
• Dados de validação: Trata-se de um conjunto de dados utilizado para verificar o desempenho de um modelo enquanto está a ser treinado. Ajuda a garantir que o modelo funciona corretamente em dados novos e não vistos.
• Dados de teste: Um conjunto separado de dados utilizado para avaliar o desempenho final de um modelo treinado. Verifica até que ponto o modelo consegue fazer previsões em dados completamente novos e não vistos.

‍

As 5 principais caraterísticas dos conjuntos de dados de visão computacional de alta qualidade

Independentemente do tipo de conjunto de dados, dados de alta qualidade são essenciais para a construção de modelos de visão computacional bem-sucedidos. Aqui estão algumas das principais caraterísticas que tornam um conjunto de dados de alta qualidade:

• Precisão: Idealmente, os dados devem refletir fielmente situações do mundo real e incluir etiquetas corretas. Por exemplo, no que diz respeito à IA de visão no sector da saúde, as imagens de raios X ou de exames devem ser rotuladas com precisão para ajudar o modelo a aprender corretamente. 
• Diversidade: Um bom conjunto de dados inclui uma variedade de exemplos para ajudar o modelo a ter um bom desempenho em diferentes situações. Por exemplo, se um modelo está a aprender a detetar carros, o conjunto de dados deve incluir carros de diferentes formas, tamanhos e cores em vários cenários (dia, noite, chuva, etc.).
• Consistência: Os conjuntos de dados de alta qualidade seguem um formato uniforme e padrões de qualidade. Por exemplo, as imagens devem ter resoluções semelhantes (não algumas desfocadas e outras nítidas) e passar pelos mesmos passos de pré-processamento, como redimensionamento ou ajustes de cor, para que o modelo aprenda com informações consistentes.
• Atualidade: Os conjuntos de dados que são actualizados regularmente podem acompanhar as alterações do mundo real. Digamos que estás a treinar um modelo para detetar todos os tipos de veículos. Se forem introduzidos novos veículos, como scooters eléctricos, estes devem ser adicionados ao conjunto de dados para garantir que o modelo se mantém preciso e atualizado.
• Privacidade: Se um conjunto de dados incluir informações sensíveis, como fotografias de pessoas, deve respeitar as regras de privacidade. Técnicas como a anonimização (remoção de pormenores identificáveis) e o mascaramento de dados (ocultação de partes sensíveis) podem proteger a privacidade, ao mesmo tempo que permitem utilizar os dados de forma segura.

Desafios causados por dados de baixa qualidade

Embora seja importante compreender as caraterísticas dos dados de alta qualidade, é igualmente vital considerar como os dados de baixa qualidade podem afetar os teus modelos de visão por computador.

Problemas como o sobreajuste e o subajuste podem afetar gravemente o desempenho do modelo. O sobre ajuste ocorre quando um modelo tem um bom desempenho nos dados de treino, mas tem dificuldades com dados novos ou não vistos, muitas vezes porque o conjunto de dados não tem variedade. O subajuste, por outro lado, ocorre quando o conjunto de dados não fornece exemplos ou qualidade suficientes para o modelo aprender padrões significativos. Para evitar estes problemas, é essencial manter conjuntos de dados diversificados, imparciais e de alta qualidade, garantindo um desempenho fiável tanto na formação como nas aplicações do mundo real.

‍

Os dados de baixa qualidade também podem dificultar a extração e a aprendizagem de padrões significativos a partir de dados em bruto, um processo conhecido como extração de caraterísticas. Se o conjunto de dados estiver incompleto, for irrelevante ou não tiver diversidade, o modelo pode ter dificuldade em funcionar eficazmente. 

Por vezes, os dados de baixa qualidade podem ser o resultado da simplificação dos dados. A simplificação de dados pode ajudar a economizar espaço de armazenamento e reduzir os custos de processamento, mas a simplificação excessiva pode remover detalhes importantes que o modelo precisa para funcionar bem. É por isso que é tão importante manter dados de alta qualidade durante todo o processo de visão computacional, desde a coleta até a implantação. Como regra geral, os conjuntos de dados devem incluir caraterísticas essenciais, mantendo-se diversificados e precisos para garantir previsões de modelos fiáveis.

‍

Dicas para manter a qualidade do teu conjunto de dados de visão computacional

Agora que já compreendemos a importância de dados de elevada qualidade e o impacto de dados de baixa qualidade, vamos explorar a forma de garantir que o teu conjunto de dados cumpre padrões elevados.

Tudo começa com uma recolha de dados fiável. A utilização de diversas fontes, como o crowdsourcing, dados de regiões geográficas variadas e a geração de dados sintéticos , reduz a parcialidade e ajuda os modelos a lidar com cenários do mundo real. Uma vez recolhidos os dados, o pré-processamento é fundamental. Técnicas como a normalização, que dimensiona os valores de pixel para um intervalo consistente, e o aumento, que aplica transformações como rotação, inversão e zoom, melhoram o conjunto de dados. Estes passos ajudam o teu modelo a generalizar melhor e a tornar-se mais robusto, reduzindo o risco de sobreajuste.

Dividir corretamente os conjuntos de dados é outro passo fundamental. Uma abordagem comum é atribuir 70% dos dados para treino, 15% para validação e 15% para teste. Verificar duas vezes se não há sobreposição entre estes conjuntos evita a fuga de dados e garante uma avaliação exacta do modelo.

‍

Também podes utilizar modelos pré-treinados como YOLO11 para poupar tempo e recursos computacionais. YOLO11 Os modelos pré-treinados, treinados em grandes conjuntos de dados e concebidos para várias tarefas de visão computacional, podem ser ajustados no teu conjunto de dados específico para satisfazer as tuas necessidades. Ao ajustar o modelo aos teus dados, podes evitar o sobreajuste e manter um bom desempenho. 

O caminho a seguir para os conjuntos de dados de visão computacional

Tradicionalmente, a comunidade de IA tem-se concentrado em melhorar o desempenho através da criação de modelos mais profundos com mais camadas. No entanto, à medida que a IA continua a evoluir, o foco está a mudar da otimização de modelos para a melhoria da qualidade dos conjuntos de dados. Andrew Ng, muitas vezes referido como o "pai da IA", acredita que "a mudança mais importante que o mundo da IA precisa de fazer nesta década será uma mudança para a IA centrada nos dados". 

Esta abordagem enfatiza o refinamento dos conjuntos de dados, melhorando a precisão dos rótulos, removendo exemplos ruidosos e garantindo a diversidade. Para a visão computacional, estes princípios são essenciais para resolver questões como enviesamento e dados de baixa qualidade, permitindo que os modelos tenham um desempenho fiável em cenários do mundo real.

Olhando para o futuro, o avanço da visão computacional dependerá da criação de conjuntos de dados mais pequenos e de alta qualidade, em vez da recolha de grandes quantidades de dados. De acordo com Andrew Ng, "Melhorar os dados não é um passo único de pré-processamento; é uma parte essencial do processo iterativo de desenvolvimento do modelo de aprendizagem automática ". Ao concentrar-se em princípios centrados nos dados, a visão computacional continuará a tornar-se mais acessível, eficiente e com impacto em várias indústrias.

Principais conclusões

Os dados desempenham um papel crítico durante todo o ciclo de vida de um modelo de visão. Da coleta de dados ao pré-processamento, treinamento, validação e teste, a qualidade dos dados afeta diretamente o desempenho e a confiabilidade do modelo. Ao dar prioridade a dados de alta qualidade e rotulagem precisa, podemos construir modelos robustos de visão computacional que fornecem resultados confiáveis e precisos. 

À medida que avançamos em direção a um futuro orientado por dados, é essencial abordar considerações éticas para mitigar os riscos relacionados a preconceitos e regulamentos de privacidade. Em última análise, garantir a integridade e a justiça dos dados é fundamental para desbloquear todo o potencial das tecnologias de visão computacional.

Junta-te à nossa comunidade e consulta o nosso repositório GitHub para saberes mais sobre IA. Consulta as nossas páginas de soluções para explorares mais aplicações de IA em sectores como a agricultura e o fabrico.