Descubre cómo la Destilación del Conocimiento optimiza la IA comprimiendo los modelos para un rendimiento más rápido y eficiente en los dispositivos periféricos y en las aplicaciones del mundo real.
La Destilación de Conocimientos es una técnica de aprendizaje automático que se centra en transferir conocimientos de un modelo grande y complejo (a menudo denominado "maestro") a un modelo más pequeño y sencillo (conocido como "alumno"). Este enfoque permite que el modelo del alumno alcance un rendimiento comparable al del maestro, al tiempo que es más eficiente en términos de recursos computacionales, lo que lo hace ideal para su despliegue en entornos con recursos limitados, como dispositivos móviles, dispositivos IoT o sistemas informáticos de borde.
El proceso de Destilación del Conocimiento consiste en entrenar el modelo del alumno para que replique el comportamiento del modelo del profesor. En lugar de basarse únicamente en los datos etiquetados originales, el alumno aprende de las "etiquetas blandas" o salidas probabilísticas del profesor, que contienen información más rica sobre las relaciones entre las distintas clases. Este conocimiento adicional ayuda al alumno a generalizar mejor, incluso con menos parámetros.
Por ejemplo, en una tarea de clasificación de imágenes, el modelo del profesor podría emitir probabilidades como 90% para "gato", 8% para "perro" y 2% para "conejo". Estas probabilidades suaves proporcionan información sobre las similitudes de clase, que el modelo del alumno utiliza para refinar sus predicciones.
La Destilación del Conocimiento ha encontrado un amplio uso en diversos dominios de la inteligencia artificial y el aprendizaje automático:
En imagen médica, los grandes modelos entrenados para detectar anomalías en radiografías o resonancias magnéticas pueden destilarse en modelos más pequeños para realizar diagnósticos más rápidos y en tiempo real. Por ejemplo Ultralytics YOLO conocidos por su eficacia en la detección de objetos, pueden beneficiarse de la destilación para mejorar su velocidad y capacidad de despliegue en dispositivos sanitarios. Más información sobre la IA en la sanidad.
Los vehículos autónomos dependen de modelos de detección y clasificación de objetos para tomar decisiones en tiempo real. Los modelos destilados son cruciales aquí, ya que reducen el tiempo de inferencia manteniendo la precisión. Explora cómo la IA en la conducción autónoma está transformando la seguridad y la eficiencia del transporte.
En PNL, los grandes modelos basados en transformadores, como BERT, se destilan en versiones más pequeñas, como DistilBERT, para permitir tareas más rápidas de clasificación de textos, traducción y respuesta a preguntas en dispositivos periféricos. Más información sobre transformadores y PNL.
En sectores como el comercio minorista y la fabricación, la Destilación del Conocimiento se utiliza para desplegar modelos ligeros para tareas como la gestión de inventarios y la detección de defectos. Por ejemplo, Ultralytics los modelos de visión por ordenador optimizados mediante destilación pueden mejorar la eficiencia en la fabricación impulsada por la IA.
Aunque tanto la Destilación del Conocimiento como la poda del modelo se centran en la optimización del modelo, la poda reduce la complejidad del modelo eliminando los parámetros menos significativos, mientras que la destilación implica entrenar un modelo separado y más pequeño para imitar el comportamiento de uno más grande.
La cuantización del modelo reduce la precisión de los parámetros del modelo (por ejemplo, convirtiendo números de coma flotante de 32 bits en enteros de 8 bits), mientras que la destilación mantiene la precisión pero transfiere el conocimiento a una arquitectura más pequeña.
Mediante la Destilación del Conocimiento, un modelo grande de YOLO puede entrenar una versión más pequeña para detectar objetos en secuencias de vídeo con gran precisión pero menor latencia. Esto es especialmente valioso para aplicaciones como la vigilancia de seguridad, donde el procesamiento en tiempo real es crítico. Más información sobre las capacidades de inferencia en tiempo real deYOLO.
En la agricultura de precisión, los grandes modelos de IA entrenados en conjuntos de datos complejos pueden destilarse en versiones compactas para su despliegue en drones o sensores de campo, permitiendo tareas como la detección de plagas o la supervisión de la salud de los cultivos. Descubre cómo la IA está transformando la agricultura.
Varios marcos soportan la Destilación del Conocimiento, haciéndola accesible para los profesionales del aprendizaje automático:
La Destilación del Conocimiento sigue desempeñando un papel fundamental en el avance de los sistemas de IA, permitiendo modelos potentes pero eficientes para aplicaciones del mundo real. Al salvar la distancia entre precisión y eficacia, permite que la IA llegue a más dispositivos, sectores y usuarios de todo el mundo.
%25202.png)
%202.png)
