Aprendizaje Semisupervisado

Cómo funciona el aprendizaje semisupervisado

Los algoritmos SSL funcionan haciendo ciertas suposiciones sobre la relación entre los datos etiquetados y los no etiquetados. Entre las suposiciones más comunes están la "suposición de suavidad" (es probable que los puntos cercanos entre sí compartan una etiqueta) o la "suposición de conglomerados" (los datos tienden a formar conglomerados distintos, y es probable que los puntos de un mismo conglomerado compartan una etiqueta). Las técnicas suelen consistir en entrenar un modelo inicial con los datos etiquetados y luego utilizarlo para generar pseudoetiquetas para los datos sin etiquetar, basándose en predicciones de alta confianza. A continuación, se vuelve a entrenar el modelo tanto con los datos etiquetados originales como con los nuevos datos pseudoetiquetados. Otro enfoque es la regularización de la consistencia, en la que se anima al modelo a producir el mismo resultado para un ejemplo sin etiquetar incluso si su entrada está ligeramente perturbada, lo que a menudo se consigue aumentando los datos. Estos métodos permiten que el modelo aprenda de los patrones y la distribución inherentes al gran conjunto de muestras sin etiquetar. Se exploran técnicas más avanzadas en recursos como las entradas del Blog de IAGoogle sobre SSL.

Comparación con otros paradigmas de aprendizaje

El aprendizaje semisupervisado ocupa un espacio único entre otros tipos de aprendizaje primario:

• Aprendizaje supervisado: Se basa totalmente en datos de entrenamiento etiquetados. El SSL se diferencia por incorporar datos no etiquetados para mejorar potencialmente el rendimiento cuando los datos etiquetados son escasos.
• Aprendizaje no supervisado: Utiliza sólo datos no etiquetados para encontrar patrones o estructuras, como la agrupación o la reducción de la dimensionalidad. El SSL utiliza datos no etiquetados, pero guía el proceso de aprendizaje con un pequeño conjunto de ejemplos etiquetados para realizar tareas como la clasificación o la regresión.
• Aprendizaje Autosupervisado (SSL): Un tipo de aprendizaje no supervisado en el que las etiquetas se generan automáticamente a partir de los propios datos de entrada (por ejemplo, la predicción de una parte enmascarada de una imagen). Aunque utiliza datos no etiquetados, su mecanismo para generar supervisión difiere de los métodos semisupervisados típicos que combinan explícitamente datos preetiquetados y no etiquetados.

Aplicaciones en el mundo real

SSL es muy eficaz en dominios donde el etiquetado es un cuello de botella:

1. Clasificación de páginas web: Es factible etiquetar manualmente un pequeño número de páginas web (por ejemplo, "deportes", "noticias", "tecnología"), pero poco práctico etiquetar miles de millones. SSL puede utilizar el gran número de páginas web sin etiquetar para mejorar la precisión y solidez del clasificador, aprendiendo del contenido del texto y de las estructuras de los enlaces(visión general de la minería de contenidos web).
2. Reconocimiento de voz: Transcribir audio requiere un importante esfuerzo humano. SSL permite que los sistemas se entrenen con una pequeña cantidad de audio transcrito junto con grandes volúmenes de datos de audio sin transcribir, lo que mejora el reconocimiento de diversos acentos y estilos de habla(investigación sobre procesamiento del habla).
3. Análisis de imágenes médicas: La anotación experta de exploraciones médicas (como resonancias magnéticas o tomografías computarizadas para la detección de tumores) es costosa y requiere conocimientos especializados. La SSL puede aprovechar numerosas exploraciones no etiquetadas para mejorar el rendimiento de los modelos de diagnóstico entrenados en un conjunto limitado de imágenes anotadas, lo que podría conducir a mejores soluciones de IA en la atención sanitaria.
4. Detección de Objetos en Visión por Computador (VC): Crear recuadros delimitadores precisos para objetos en miles de imágenes requiere mucho trabajo(guía de recopilación y anotación de datos). Las técnicas SSL pueden utilizar abundantes imágenes sin etiquetar o fotogramas de vídeo junto con un conjunto de datos etiquetados más pequeño para mejorar el rendimiento del detector para modelos como Ultralytics YOLO.

Ventajas y retos

La principal ventaja de la SSL es su capacidad para reducir la dependencia de grandes conjuntos de datos etiquetados, ahorrando tiempo y recursos asociados al etiquetado de datos. A menudo conduce a una mejor generalización del modelo en comparación con los modelos puramente supervisados entrenados con datos limitados, al explotar la información de las muestras no etiquetadas. Sin embargo, el éxito de la SSL depende en gran medida de que los supuestos subyacentes sobre los datos sean correctos. Si estos supuestos no se cumplen (por ejemplo, la distribución de los datos no etiquetados es muy diferente de la de los datos etiquetados), los métodos SSL podrían incluso degradar el rendimiento. La selección y aplicación cuidadosas de las técnicas SSL son cruciales, y a menudo requieren experiencia en las prácticas MLOps.

Herramientas y formación

Muchos marcos modernos de Aprendizaje Profundo (AD ), incluyendo PyTorchPyTorch sitio oficialPyTorch ) y TensorFlowTensorFlow sitio oficialTensorFlow ), ofrecen funcionalidades o pueden adaptarse para implementar algoritmos SSL. Bibliotecas como Scikit-learn proporcionan algunos métodos SSL. Plataformas como Ultralytics HUB agilizan el proceso facilitando la gestión de conjuntos de datosUltralytics documentación deUltralytics HUB Datasets) que pueden contener mezclas de datos etiquetados y no etiquetados, simplificando el entrenamientoUltralytics HUB Cloud Training) y el despliegue(guía de opciones de despliegue de modelos) de modelos diseñados para aprovechar tales estructuras de datos. La investigación en SSL sigue evolucionando, y las contribuciones se presentan a menudo en las principales conferencias sobre IA, como NeurIPS e ICML.