Sesgo del conjunto de datos

Fuentes y tipos de sesgo de los conjuntos de datos

El sesgo del conjunto de datos no es un problema aislado, sino que puede manifestarse de varias formas durante el proceso de recogida y anotación de datos:

• Sesgo de selección: Ocurre cuando los datos no se muestrean aleatoriamente, lo que lleva a una representación excesiva o insuficiente de determinados grupos o escenarios. Por ejemplo, un conjunto de datos de conducción autónoma entrenado principalmente con imágenes diurnas y despejadas puede tener un rendimiento deficiente por la noche o con lluvia.
• Sesgo de medición: Surge de problemas en los instrumentos o el proceso de recogida de datos. Por ejemplo, utilizar cámaras de distinta calidad para distintos grupos demográficos en un conjunto de datos de reconocimiento facial podría introducir un sesgo.
• Sesgo de Etiquetado (Sesgo de Anotación): Se deriva de incoherencias o prejuicios durante la fase de etiquetado de los datos, en la que los anotadores humanos pueden interpretar o etiquetar los datos de forma diferente basándose en opiniones subjetivas o sesgos implícitos. Explorar los distintos tipos de sesgo cognitivo puede arrojar luz sobre los posibles factores humanos.
• Sesgo histórico: Refleja los prejuicios sociales existentes en el mundo, que se recogen en los datos. Si los datos históricos muestran que determinados grupos estaban menos representados en determinados papeles, una IA entrenada con estos datos podría perpetuar ese sesgo.

Comprender estas fuentes es crucial para mitigar su impacto, como se destaca en recursos como el blog deUltralytics sobre la comprensión del sesgo de la IA.

Por qué es importante el sesgo del conjunto de datos

Las consecuencias del sesgo de los conjuntos de datos pueden ser graves y afectar al rendimiento de los modelos y a la equidad social:

• Menor precisión y fiabilidad: Los modelos entrenados con datos sesgados suelen mostrar una menor precisión cuando se encuentran con datos de grupos o escenarios infrarrepresentados. Esto limita la capacidad de generalización del modelo, como se expone en estudios como "Conjuntos de datos: La Materia Prima de la IA".
• Resultados injustos o discriminatorios: Los modelos sesgados pueden llevar a desventajas sistemáticas para determinados grupos, lo que plantea importantes preocupaciones en relación con la equidad en la IA y la ética de la IA. Esto es especialmente crítico en aplicaciones de alto riesgo como la contratación, la aprobación de préstamos y los diagnósticos sanitarios.
• Refuerzo de los estereotipos: Los sistemas de IA pueden perpetuar inadvertidamente estereotipos perjudiciales si se entrenan con datos que reflejen prejuicios sociales.
• Erosión de la confianza: La confianza pública en las tecnologías de IA puede verse dañada si los sistemas se perciben como injustos o poco fiables debido a prejuicios subyacentes. Organizaciones como Partnership on AI y AI Now Institute trabajan para abordar estas implicaciones sociales más amplias.

Ejemplos reales

1. Sistemas de reconocimiento facial: Los primeros conjuntos de datos de reconocimiento facial solían sobrerrepresentar a los varones de piel clara. En consecuencia, los sistemas comerciales demostraron una precisión significativamente menor para las mujeres de piel más oscura, como ponen de relieve investigaciones de instituciones como el NIST y organizaciones como la Liga de la Justicia Algorítmica. Esta disparidad plantea riesgos en aplicaciones que van desde el etiquetado de fotos a la verificación de la identidad y el cumplimiento de la ley.
2. Análisis de imágenes médicas: Un modelo de IA entrenado para detectar el cáncer de piel mediante el análisis de imágenes médicas podría tener un rendimiento deficiente en los tonos de piel más oscuros si el conjunto de datos de entrenamiento está formado principalmente por imágenes de pacientes de piel clara. Este sesgo podría hacer que no se diagnosticara o se diagnosticara con retraso a grupos de pacientes infrarrepresentados, lo que afectaría a la equidad de la IA en la atención sanitaria.

Distinguir el sesgo del conjunto de datos de los conceptos relacionados

Es importante diferenciar el Sesgo del Conjunto de Datos de términos similares:

• Sesgo en la IA: Se trata de un término amplio que engloba cualquier error sistemático que conduzca a resultados injustos. El sesgo del conjunto de datos es una de las principales causas de sesgo en la IA, pero el sesgo también puede proceder del propio algoritmo(sesgo algorítmico) o del contexto de despliegue.
• Sesgo algorítmico: Se refiere a los sesgos introducidos por la arquitectura del modelo, el proceso de aprendizaje o los objetivos de optimización, independientemente de la calidad inicial de los datos. Por ejemplo, un algoritmo podría dar prioridad a la precisión global a expensas de la equidad para los grupos minoritarios.
• Imparcialidad en la IA: Es un objetivo o propiedad de un sistema de IA, que persigue un trato equitativo entre distintos grupos. Abordar el sesgo del conjunto de datos es un paso crucial para lograr la equidad, pero la equidad también implica ajustes algorítmicos y consideraciones éticas definidas por marcos como el Marco de Gestión de Riesgos de la IA del NIST.
• Compensación Sesgo-Varianza: Se trata de un concepto básico en el aprendizaje automático relativo a la complejidad del modelo. "Sesgo" se refiere aquí a los errores derivados de suposiciones demasiado simplistas(ajuste insuficiente), distintos de los sesgos sociales o estadísticos que se encuentran en los conjuntos de datos.

Abordar el sesgo del conjunto de datos

Mitigar el sesgo del conjunto de datos requiere estrategias proactivas en todo el flujo de trabajo de ML:

• Recogida cuidadosa de datos: Esfuérzate por conseguir fuentes de datos diversas y representativas que reflejen el entorno de despliegue objetivo. Documentar los conjuntos de datos utilizando marcos como las Hojas de Datos para Conjuntos de Datos puede mejorar la transparencia.
• Preprocesamiento y aumento de datos: Técnicas como el remuestreo, la síntesis de datos y el aumento selectivo de datos pueden ayudar a equilibrar los conjuntos de datos y aumentar la representación. Las herramientas del ecosistema Ultralytics admiten varios métodos de aumento.
• Herramientas de detección de sesgos: Utiliza herramientas como What-If Tool deGoogle o bibliotecas como Fairlearn para auditar conjuntos de datos y modelos en busca de posibles sesgos.
• Evaluación del modelo: Evalúa el rendimiento del modelo en diferentes subgrupos utilizando métricas de equidad junto con métricas de precisión estándar. Documenta los resultados utilizando métodos como las Fichas de Modelos.
• Soporte de plataformas: Las plataformas como Ultralytics HUB proporcionan herramientas para gestionar conjuntos de datos, entrenar modelos como Ultralytics YOLO11y facilitan la evaluación rigurosa de los modelos, ayudando a los desarrolladores a construir sistemas menos sesgados.

Al abordar conscientemente el sesgo de los conjuntos de datos, los desarrolladores pueden crear sistemas de IA más sólidos, fiables y equitativos. Puedes encontrar más información en estudios de investigación como "A Survey on Bias and Fairness in Machine Learning" y en debates de conferencias como ACM FAccT.