Destilação de conhecimentos

A destilação de conhecimento é uma técnica de aprendizado de máquina que se concentra na transferência de conhecimento de um modelo grande e complexo (geralmente chamado de "professor") para um modelo menor e mais simples (conhecido como "aluno"). Esta abordagem permite que o modelo do aluno atinja um desempenho comparável ao do professor, ao mesmo tempo que é mais eficiente em termos de recursos computacionais, o que o torna ideal para a implementação em ambientes com recursos limitados, como dispositivos móveis, dispositivos IoT ou sistemas de computação de ponta.

Como funciona a destilação do conhecimento

O processo de destilação de conhecimento envolve o treinamento do modelo do aluno para replicar o comportamento do modelo do professor. Em vez de confiar apenas nos dados originais rotulados, o aluno aprende com os "rótulos flexíveis" ou saídas probabilísticas do professor, que contêm informações mais ricas sobre as relações entre diferentes classes. Este conhecimento adicional ajuda o aluno a generalizar melhor, mesmo com menos parâmetros.

Por exemplo, numa tarefa de classificação de imagens, o modelo do professor pode produzir probabilidades como 90% para "gato", 8% para "cão" e 2% para "coelho". Estas probabilidades suaves fornecem informações sobre as semelhanças entre as classes, que o modelo do aluno utiliza para aperfeiçoar as suas previsões.

Benefícios da destilação de conhecimentos

• Compressão de modelos: Reduz o tamanho do modelo enquanto mantém o alto desempenho, permitindo a implantação em dispositivos com memória e poder de processamento limitados.
• Inferência mais rápida: Os modelos mais pequenos treinados através da Destilação de Conhecimento têm normalmente uma latência mais baixa, o que os torna adequados para aplicações em tempo real, como a análise de vídeo ou veículos autónomos.
• Generalização melhorada: Ao aprender a partir dos rótulos flexíveis do professor, o modelo do aluno consegue muitas vezes uma melhor generalização em comparação com os modelos treinados diretamente em rótulos rígidos e de uma só vez.

Aplicações da destilação de conhecimentos

A destilação de conhecimentos tem tido uma utilização generalizada em vários domínios da inteligência artificial e da aprendizagem automática:

1. Cuidados de saúde

Na imagiologia médica, os grandes modelos treinados para detetar anomalias em raios X ou ressonâncias magnéticas podem ser destilados em modelos mais pequenos para diagnósticos mais rápidos e em tempo real. Por exemplo, Ultralytics YOLO conhecidos pela sua eficiência na deteção de objectos, podem beneficiar da destilação para aumentar a sua velocidade e capacidade de implementação em dispositivos de cuidados de saúde. Sabe mais sobre a IA nos cuidados de saúde.

2. Condução autónoma

Os veículos autónomos dependem de modelos de deteção e classificação de objectos para a tomada de decisões em tempo real. Os modelos destilados são cruciais aqui, pois reduzem o tempo de inferência, mantendo a precisão. Explora como a IA na condução autónoma está a transformar a segurança e a eficiência dos transportes.

3. Processamento de linguagem natural (PNL)

Na NLP, os grandes modelos baseados em transformadores, como o BERT, são destilados em versões mais pequenas, como o DistilBERT, para permitir tarefas mais rápidas de classificação de texto, tradução e resposta a perguntas em dispositivos periféricos. Sabe mais sobre transformadores e PNL.

4. Comércio retalhista e indústria transformadora

Em sectores como o retalho e a indústria transformadora, a Destilação de Conhecimento é utilizada para implementar modelos leves para tarefas como a gestão de inventário e a deteção de defeitos. Por exemplo, Ultralytics modelos de visão por computador optimizados através da destilação podem aumentar a eficiência no fabrico orientado para a IA.

Principais diferenças em relação a conceitos relacionados

Poda de modelos

Embora tanto a destilação de conhecimentos como a poda de modelos se centrem na otimização do modelo, a poda reduz a complexidade do modelo através da remoção de parâmetros menos significativos, enquanto a destilação envolve o treino de um modelo separado e mais pequeno para imitar o comportamento de um modelo maior.

Quantização do modelo

A quantização do modelo reduz a precisão dos parâmetros do modelo (por exemplo, convertendo números de vírgula flutuante de 32 bits em números inteiros de 8 bits), enquanto a destilação mantém a precisão mas transfere o conhecimento para uma arquitetura mais pequena.

Exemplos do mundo real

Análise de vídeo em tempo real

Utilizando a Destilação de Conhecimento, um grande modelo YOLO pode treinar uma versão mais pequena para detetar objectos em fluxos de vídeo com elevada precisão mas menor latência. Isso é particularmente valioso para aplicações como vigilância de segurança, em que o processamento em tempo real é fundamental. Saiba mais sobre os recursos de inferência em tempo real doYOLO.

Agricultura inteligente

Na agricultura de precisão, os grandes modelos de IA treinados em conjuntos de dados complexos podem ser destilados em versões compactas para serem implementados em drones ou sensores de campo, permitindo tarefas como a deteção de pragas ou a monitorização do estado das culturas. Descobre como a IA está a transformar a agricultura.

Ferramentas e quadros de apoio à destilação de conhecimentos

Vários quadros suportam a destilação de conhecimentos, tornando-a acessível aos profissionais da aprendizagem automática:

• PyTorch: Uma estrutura popular para implementar pipelines de destilação personalizados. Sabe mais sobre PyTorch em IA.
• Hugging Face Transformações: Fornece modelos pré-treinados como o DistilBERT para tarefas de PNL.
• Ultralytics HUB: Simplifica a formação e a implementação de modelos, permitindo aos utilizadores experimentar modelos YOLO optimizados. Explora o Ultralytics HUB.

A Destilação de Conhecimento continua a desempenhar um papel fundamental no avanço dos sistemas de IA, permitindo modelos poderosos e eficientes para aplicações no mundo real. Ao colmatar a lacuna entre precisão e eficiência, permite que a IA chegue a mais dispositivos, indústrias e utilizadores a nível global.