Aprendizaje por transferencia

Cómo funciona el aprendizaje por transferencia

El proceso suele comenzar con un modelo preentrenado en un gran conjunto de datos generales, como ImageNet para tareas de imagen o grandes corpus de texto para el Procesamiento del Lenguaje Natural (PLN). Este preentrenamiento permite al modelo, a menudo un modelo de Aprendizaje Profundo (Deep Learning, DL) como una Red Neuronal Convolucional (Convolutional Neural Network, CNN) o un Transformador, aprender características generales: bordes, texturas, patrones en imágenes, o gramática y semántica en texto.

Para la nueva tarea objetivo, se adapta este modelo preentrenado. Entre las estrategias habituales se incluyen:

1. Utilizar el modelo preentrenado como extractor de características: Las capas iniciales del modelo preentrenado se mantienen congeladas (no se actualizan sus pesos), y sólo se entrena el clasificador final o las capas específicas de la tarea en el nuevo conjunto de datos.
2. Ajuste fino: Esto implica descongelar algunas o todas las capas preentrenadas y continuar el proceso de entrenamiento(retropropagación) en el nuevo conjunto de datos, normalmente con una tasa de aprendizaje más baja para evitar alterar drásticamente las características aprendidas. El ajuste fino permite al modelo especializar su conocimiento general para los matices específicos de la tarea objetivo.

Ventajas del aprendizaje por transferencia

Emplear el aprendizaje por transferencia ofrece varias ventajas clave:

• Necesidades de datos reducidas: Consigue un buen rendimiento incluso con conjuntos de datos objetivo más pequeños.
• Desarrollo más rápido: Reduce significativamente el tiempo de entrenamiento del modelo.
• Mejora del rendimiento: A menudo conduce a una mayor precisión y una mejor generalización en comparación con el entrenamiento desde cero, especialmente en tareas complejas.
• Eficiencia de recursos: Ahorra costes computacionales (GPU tiempo, energía) asociados a un entrenamiento exhaustivo.

Aprendizaje por transferencia frente a conceptos afines

• Ajuste fino: Como se ha mencionado, el ajuste fino es un método específico utilizado en el aprendizaje por transferencia, en el que los pesos preentrenados se ajustan durante el entrenamiento en la nueva tarea. El aprendizaje por transferencia es el concepto más amplio de aprovechar el conocimiento, que también puede implicar simplemente utilizar el modelo preentrenado como un extractor de características fijo sin ajuste fino.
• Aprendizaje Zero-Shot: A diferencia del aprendizaje por transferencia, que adapta un modelo a una nueva tarea utilizando a menudo algunos datos etiquetados nuevos, el Aprendizaje Cero Disparos pretende realizar tareas (como la clasificación) sobre clases que el modelo nunca ha visto durante el entrenamiento, basándose en información auxiliar o espacios de atributos compartidos.
• Entrenamiento desde cero: Este es el enfoque tradicional, en el que los pesos del modelo se inicializan aleatoriamente y se entrenan únicamente en el conjunto de datos objetivo, lo que requiere muchos más datos y tiempo.

Aplicaciones en el mundo real

El aprendizaje por transferencia se aplica ampliamente en diversos ámbitos:

1. Visión por ordenador: Los modelos como Ultralytics YOLO, preentrenados en grandes conjuntos de datos como COCO, se adaptan con frecuencia a tareas especializadas de detección de objetos, segmentación de imágenes o clasificación de imágenes. Por ejemplo, un modelo preentrenado en objetos cotidianos puede afinarse para aplicaciones específicas como el análisis de imágenes médicas para detectar anomalías(detección de tumores) o para la IA en agricultura para identificar cultivos o plagas específicas. Puedes aprender a aplicar el aprendizaje por transferencia con YOLOv5 congelando capas.
2. Procesamiento del Lenguaje Natural (PLN): Los Grandes Modelos Lingüísticos (LLM) como BERT y GPT están preentrenados en conjuntos de datos de texto masivos. Sirven como potentes modelos de base que pueden ajustarse para tareas específicas de PLN, como el análisis de sentimientos, el reconocimiento de entidades con nombre (NER) o la creación de chatbots especializados. Bibliotecas como Hugging Face Transformers facilitan enormemente este proceso.

Plataformas como Ultralytics HUB simplifican el proceso de aplicación del aprendizaje por transferencia proporcionando modelos preentrenados (YOLOv8, YOLOv11) y herramientas para facilitar el entrenamiento personalizado en conjuntos de datos específicos del usuario. Marcos como PyTorch y TensorFlow también ofrecen un amplio soporte y tutoriales para el aprendizaje por transferencia. Para una inmersión más profunda, explora recursos como la visión general de Stanford CS231n o encuestas académicas como"A Survey on Deep Transfer Learning".