Prejuicios en la IA

Fuentes de sesgo de las IAI

El sesgo de la IA puede tener su origen en múltiples fuentes a lo largo del ciclo de vida de desarrollo del modelo. Las fuentes más comunes incluyen:

• Sesgo del conjunto de datos: es la fuente más frecuente de sesgo de la IA. Se produce cuando los datos de entrenamiento no son representativos del mundo real o de la población objetivo. Por ejemplo, un conjunto de datos para una herramienta de contratación entrenada principalmente con datos históricos de una industria dominada por hombres puede aprender a favorecer a los candidatos masculinos. Esto puede manifestarse como sesgo de muestreo (datos no recogidos aleatoriamente), sesgo de selección (datos que no representan el entorno) o sesgo de medición ( etiquetado incoherente de los datos). Crear conjuntos de datos equilibrados y diversos es un primer paso crucial.
• Sesgo algorítmico: Este sesgo surge del propio algoritmo de IA. Algunos algoritmos pueden amplificar intrínsecamente pequeños sesgos presentes en los datos, o su diseño puede dar prioridad a ciertas características sobre otras de forma que se creen resultados injustos. La elección de una función de pérdida, por ejemplo, puede influir en el modo en que un modelo penaliza los errores de distintos subgrupos.
• Prejuicios humanos: Los desarrolladores, anotadores de datos y usuarios de los sistemas de IA pueden introducir involuntariamente sus propios prejuicios cognitivos en el modelo de IA. Estos sesgos personales y sociales pueden influir en el planteamiento de los problemas, la recogida y anotación de datos y la interpretación de los resultados del modelo.

Ejemplos reales

1. Tecnología de reconocimiento facial: Muchos sistemas comerciales de reconocimiento facial han mostrado históricamente tasas de error más elevadas al identificar a personas de grupos demográficos infrarrepresentados, en particular mujeres y personas de color. Las investigaciones de instituciones como el NIST han demostrado estas disparidades, que a menudo se derivan de conjuntos de datos de entrenamiento en los que predominan los rostros blancos y masculinos.
2. Herramientas de contratación automatizadas: Un ejemplo bien conocido es una herramienta de contratación experimental desarrollada por Amazon, que penalizaba los currículos que contenían la palabra "femenino" y rebajaba la calificación de los graduados de dos universidades exclusivamente femeninas. El modelo aprendió estos sesgos a partir de datos históricos de contratación presentados durante un periodo de 10 años, que reflejaban el predominio masculino en la industria tecnológica. Finalmente, Amazon abandonó el proyecto.

Prejuicios en Ai Vs. Términos relacionados

Es importante distinguir el sesgo de la IA de otros conceptos relacionados:

• Sesgo algorítmico frente a sesgo de IA: El sesgo algorítmico es un tipo específico de sesgo de IA que se origina en la arquitectura o la formulación matemática del modelo. El sesgo de la IA es un término más amplio que también incluye los sesgos de los datos y la intervención humana.
• Sesgo del conjunto de datos frente a sesgo de la IA: El sesgo del conjunto de datos es una de las causas principales del sesgo de la IA. Un algoritmo perfectamente justo en su diseño puede producir resultados sesgados si se entrena con datos desequilibrados o prejuiciados.
• Equidad en la IA frente a sesgo en la IA: La equidad en la IA es el campo dedicado a abordar el sesgo en la IA. Mientras que el sesgo es el problema, la equidad implica los principios, métricas y técnicas utilizadas para definir, medir y promover resultados equitativos.

Prejuicios de la inteligencia artificial

Mitigar el sesgo de la IA es un proceso continuo que requiere un enfoque polifacético a lo largo del ciclo de vida de desarrollo de la IA:

• Curación y aumento de datos: Recopilar activamente conjuntos de datos diversos y representativos. Utilice técnicas como el aumento de datos y la posible generación de datos sintéticos para equilibrar la representación de los distintos grupos. Explore recursos como la colección de conjuntos de datos de Ultralytics para obtener fuentes de datos diversas.
• Métricas de equidad y auditoría: Defina y mida la equidad utilizando métricas apropiadas durante la evaluación del modelo. Audite periódicamente los modelos para detectar un rendimiento sesgado en los distintos subgrupos antes y después de su despliegue. Herramientas como Fairlearn y AI Fairness 360 pueden ayudar en este proceso.
• Transparencia y explicabilidad: Emplee técnicas de IA explicable (XAI ) para comprender el comportamiento de los modelos e identificar posibles fuentes de sesgo. Más información sobre los conceptos de XAI. La documentación de conjuntos de datos y modelos mediante marcos como las hojas de datos para conjuntos de datos y las tarjetas de modelo también mejora la transparencia.
• Marcos éticos y gobernanza: Implantar sólidas directrices éticas y estructuras de gobernanza de la IA, haciendo referencia a marcos como el NIST AI Risk Management Framework, para guiar el desarrollo y la implantación.

Plataformas como Ultralytics HUB proporcionan herramientas que apoyan el desarrollo de sistemas de IA más justos al permitir una gestión cuidadosa de los conjuntos de datos, facilitar la formación de modelos personalizados y permitir la supervisión del rendimiento del modelo Ultralytics YOLO. La concienciación y la incorporación de principios de equidad, a menudo debatidos en foros como la conferencia ACM FAccT, son cruciales para crear una tecnología que beneficie a la sociedad de forma equitativa.