Limpeza de dados

Relevância na IA e na aprendizagem automática

Em IA e ML, a qualidade dos dados de treino tem um impacto direto na precisão do modelo e na sua capacidade de generalizar para dados novos e não vistos. A limpeza de dados é um primeiro passo fundamental no fluxo de trabalho de ML, muitas vezes precedendo tarefas como a engenharia de caraterísticas e o treino de modelos. Modelos como o Ultralytics YOLOutilizados para tarefas exigentes como a deteção de objectos ou a segmentação de instâncias, dependem fortemente de conjuntos de dados limpos e bem estruturados para aprenderem eficazmente. Erros como imagens mal rotuladas, formatos de caixa delimitadora inconsistentes, valores em falta ou entradas duplicadas podem degradar significativamente o desempenho e levar a previsões pouco fiáveis em aplicações do mundo real. A resolução destes problemas através da limpeza de dados ajuda a garantir que o modelo aprende padrões significativos em vez de ruído ou erros presentes nos dados em bruto, evitando problemas como o sobreajuste.

Tarefas comuns de limpeza de dados

A limpeza de dados envolve várias técnicas adaptadas aos problemas específicos de um conjunto de dados. As tarefas mais comuns incluem:

• Tratamento de dados em falta: Identificar entradas com valores em falta e decidir se os remove, se os estima (imputação) ou se utiliza algoritmos robustos para dados em falta. Existem várias estratégias para tratar os dados em falta, consoante o contexto.
• Correção de erros e inconsistências: Corrige erros de digitação, padroniza unidades ou formatos (por exemplo, formatos de data, capitalização) e resolve pontos de dados contraditórios. Isto é crucial para manter a integridade dos dados.
• Remoção de registos duplicados: Identifica e elimina entradas idênticas ou quase idênticas que podem distorcer a análise ou o treino de modelos.
• Manipulação de outliers: Detecta pontos de dados que diferem significativamente de outras observações. Dependendo da causa, os outliers podem ser removidos, corrigidos ou mantidos. Podem ser utilizados vários métodos de deteção de outliers.
• Resolve erros estruturais: Corrige problemas relacionados com a estrutura de dados, tais como convenções de nomenclatura inconsistentes ou entradas mal colocadas.

Aplicações no mundo real

A limpeza de dados é indispensável em inúmeras aplicações de IA/ML:

1. Análise de imagens médicas: Em conjuntos de dados de cuidados de saúde, como o conjunto de dados de tumores cerebrais, a limpeza de dados envolve a remoção de exames de baixa qualidade ou corrompidos (por exemplo, imagens desfocadas), a normalização de formatos de imagem (como DICOM), a correção de diagnósticos incorrectos e a garantia de que a privacidade dos dados dos pacientes é mantida de acordo com regulamentos como HIPAA. Dados limpos são vitais para treinar modelos de diagnóstico fiáveis. Os Institutos Nacionais de Saúde (NIH) dão ênfase à qualidade dos dados na investigação biomédica. Explora mais sobre IA nos cuidados de saúde.
2. Gestão de inventário de retalho: Para os sistemas que utilizam a visão por computador para rastrear o stock, como os que potencialmente utilizam o conjunto de dados SKU-110K, a limpeza envolve a correção de produtos mal identificados em imagens, a remoção de entradas duplicadas causadas por erros de digitalização, a normalização de nomes ou códigos de produtos em diferentes fontes de dados e o tratamento de inconsistências nos registos de vendas utilizados para sistemas de previsão ou recomendação da procura. Isto garante contagens de stock precisas e operações eficientes da cadeia de fornecimento, contribuindo para alcançar a eficiência do retalho com IA. Plataformas como o Google Cloud AI for Retail dependem frequentemente de dados de entrada limpos.

Limpeza de dados vs. conceitos relacionados

É importante distinguir a limpeza de dados das etapas de preparação de dados relacionadas:

• Pré-processamento de dados: Este é um termo mais abrangente que engloba a limpeza de dados, mas também inclui outras transformações para preparar os dados para modelos de ML, como a normalização (dimensionamento de caraterísticas numéricas), codificação de variáveis categóricas e extração de caraterísticas. Enquanto a limpeza se centra na correção de erros, o pré-processamento centra-se na formatação de dados para algoritmos. Para mais informações, consulta o guiaUltralytics sobre o pré-processamento de dados anotados.
• Etiquetagem de dados: Este é o processo de adicionar etiquetas informativas ou anotações (rótulos) a dados em bruto, como desenhar caixas delimitadoras à volta de objectos em imagens para aprendizagem supervisionada. A limpeza de dados pode envolver a correção de etiquetas incorrectas identificadas durante as verificações de qualidade, mas é distinta do ato inicial de etiquetagem. O guia de Recolha e Anotação de Dados fornece informações sobre a rotulagem. OUltralytics HUB oferece ferramentas para gerir conjuntos de dados etiquetados.
• Aumento de dados: Esta técnica aumenta artificialmente o tamanho e a diversidade do conjunto de dados de treino, criando cópias modificadas dos dados existentes (por exemplo, rodando imagens, alterando o brilho). O aumento de dados visa melhorar a generalização e a robustez do modelo, enquanto a limpeza de dados se concentra em melhorar a qualidade dos dados originais. Saiba mais em O guia definitivo para aumento de dados em 2025.

A limpeza de dados é uma prática fundamental, muitas vezes iterativa, que aumenta significativamente a fiabilidade e o desempenho dos sistemas de IA, garantindo que os dados subjacentes são sólidos. Ferramentas como a biblioteca Pandas são normalmente utilizadas para tarefas de manipulação e limpeza de dados em fluxos de trabalho de ML Python. Garantir a qualidade dos dados através de uma limpeza rigorosa é vital para desenvolver uma IA fiável, especialmente quando se trabalha com tarefas complexas de visão por computador (CV) ou conjuntos de dados de referência em grande escala como o COCO ou o ImageNet.