Deteção de anomalias
Descubra como a deteção de anomalias em IA/ML identifica padrões invulgares nos dados, com aplicações na prevenção de fraudes, cuidados de saúde e muito mais.
A deteção de anomalias é uma técnica utilizada na aprendizagem automática (ML) para identificar itens, eventos ou observações raros que levantam suspeitas por diferirem significativamente da maioria dos dados. Estas instâncias não conformes são conhecidas como anomalias, outliers ou novidades. O objetivo principal é distinguir automaticamente os pontos de dados normais dos anormais. Esta capacidade é fundamental numa vasta gama de domínios, uma vez que permite a identificação proactiva de problemas como falhas de equipamento, fraudes financeiras, violações de segurança e problemas médicos. No contexto da Visão por Computador (CV), a deteção de anomalias consiste em encontrar padrões ou objectos invulgares em imagens e vídeos que não correspondam ao comportamento esperado.
Deteção de Anomalias vs. Deteção de Objectos
É importante diferenciar a deteção de anomalias da deteção de objectos.
- Deteção de objectos: Esta tarefa centra-se na identificação e localização de instâncias de classes de objectos conhecidas numa imagem. Por exemplo, um modelo de deteção de objectos é treinado para encontrar todos os carros, peões e sinais de trânsito numa imagem de vista de rua. O modelo sabe o que está a procurar com base em categorias predefinidas nos seus dados de treino.
- Deteção de anomalias: Esta tarefa consiste em identificar qualquer coisa que se desvie de uma definição aprendida de "normal". Em muitos casos, o sistema não sabe de antemão qual será o aspeto da anomalia. Por exemplo, pode ser treinado com milhares de imagens de produtos sem defeitos e encarregado de assinalar qualquer imperfeição, quer seja um risco, uma mossa ou uma descoloração - tipos de defeitos que pode nunca ter visto antes.
Embora um modelo como o Ultralytics YOLO possa ser treinado de forma personalizada para executar uma versão da deteção de anomalias, tratando defeitos específicos como objectos, as abordagens fundamentais são diferentes. A deteção tradicional de objetos requer exemplos de cada classe que deve ser encontrada, enquanto muitos métodos de deteção de anomalias requerem apenas dados que representam um estado normal.
Métodos de deteção de anomalias
As técnicas de deteção de anomalias podem ser classificadas em termos gerais com base na disponibilidade de etiquetas no conjunto de dados:
- Aprendizagem supervisionada: Este método requer um conjunto de dados que tenha sido rotulado com exemplos "normais" e "anómalos". Um modelo de classificação é treinado para distinguir entre os dois. Esta abordagem é altamente eficaz, mas limitada pela necessidade de um conjunto de dados grande e bem rotulado, que pode ser difícil de obter, uma vez que as anomalias são, por definição, raras.
- Aprendizagem semi-supervisionada: Esta é a abordagem mais comum, em que o modelo é treinado apenas num conjunto de dados de exemplos normais. O sistema aprende os padrões normais e assinala qualquer ponto de dados que se desvie deste modelo aprendido como uma anomalia. Esta abordagem é muito prática para cenários em que as anomalias são diversas e imprevisíveis.
- Aprendizagem não supervisionada: Este método funciona sem quaisquer rótulos. Funciona com base no pressuposto de que as anomalias são poucas e distintas dos pontos de dados normais. Algoritmos como o agrupamento (por exemplo, DBSCAN) ou métodos estatísticos são utilizados para agrupar pontos de dados, com pontos isolados ou pequenos agrupamentos identificados como anomalias. É possível encontrar uma panorâmica abrangente de vários métodos em estudos académicos sobre o tema, como"Deep Learning for Anomaly Detection: A Survey".
Aplicações no mundo real
A deteção de anomalias é uma pedra angular de muitos sistemas inteligentes, fornecendo informações críticas em todos os sectores.
- Controlo da qualidade do fabrico: Numa linha de montagem, os sistemas de visão por computador podem monitorizar produtos em tempo real. Um modelo treinado em imagens de artigos perfeitos pode detetar instantaneamente defeitos como fissuras, desalinhamentos ou componentes em falta. Esta inspeção automatizada, frequentemente explorada no fabrico inteligente, melhora a qualidade e reduz o desperdício de forma muito mais eficiente do que as verificações manuais.
- Segurança e vigilância: Em espaços públicos ou instalações seguras, os sistemas de vigilância alimentados por IA podem detetar eventos anómalos. Os exemplos incluem a identificação de um veículo a conduzir contra o tráfego, a deteção de um saco abandonado num aeroporto ou a sinalização de acesso não autorizado a uma área restrita. Estes sistemas podem fornecer alertas em tempo real ao pessoal de segurança.
- IA nos cuidados de saúde: A deteção de anomalias ajuda na análise de imagens médicas, destacando células potencialmente cancerosas em exames ou identificando batimentos cardíacos irregulares a partir de dados de ECG.
- Deteção de fraudes financeiras: Os bancos e as instituições financeiras utilizam a deteção de anomalias para monitorizar fluxos de transacções e identificar padrões indicativos de atividade fraudulenta, tais como os encontrados em conjuntos de dados públicos como o conjunto de dados de Deteção de Fraude de Cartões de Crédito no Kaggle.
- Cibersegurança: O tráfego de rede é monitorizado para detetar padrões invulgares que possam sinalizar um ataque informático ou uma violação de dados. Organizações como a Cybersecurity and Infrastructure Security Agency (CISA) dão ênfase a estas medidas proactivas.
Ferramentas e tecnologias
O desenvolvimento de sistemas robustos de deteção de anomalias envolve frequentemente uma combinação de bibliotecas de ML padrão e plataformas especializadas.