Sesgo algorítmico

Fuentes de sesgo algorítmico

El sesgo algorítmico puede originarse en varias etapas del proceso de aprendizaje automático (AM). He aquí algunas fuentes comunes:

• Recogida de datos: Si los datos recogidos para entrenar un modelo no son representativos de la población o contienen sesgos históricos, el modelo heredará estos sesgos. Por ejemplo, los sistemas de reconocimiento facial entrenados predominantemente con imágenes de rostros blancos pueden funcionar mal con rostros de personas de color.
• Etiquetado de datos: El etiquetado de datos es el proceso de añadir etiquetas a los datos brutos para darles significado para los modelos de ML. Si el proceso de etiquetado está influido por sesgos humanos, estos sesgos se codificarán en el modelo.
• Selección de características: La elección de las características utilizadas para entrenar un modelo puede introducir sesgos. Si ciertas características son más prevalentes o predictivas para un grupo que para otro, el modelo puede funcionar de forma diferente en estos grupos.
• Diseño del algoritmo: El diseño del propio algoritmo también puede introducir sesgos. Por ejemplo, un algoritmo que optimiza un resultado concreto puede perjudicar inadvertidamente a determinados grupos.

Tipos de sesgo algorítmico

En los sistemas de IA pueden manifestarse varios tipos de sesgo algorítmico. Comprender estos tipos es esencial para identificar y abordar el sesgo:

• Sesgo histórico: Se produce cuando los datos utilizados para entrenar un modelo reflejan sesgos sociales existentes. Por ejemplo, un algoritmo de contratación entrenado con datos históricos de contratación que favorecen a los candidatos masculinos puede perpetuar la discriminación de género.
• Sesgo de representación: Se produce cuando los datos de entrenamiento no representan a determinados grupos, lo que hace que el modelo funcione mal para esos grupos. Por ejemplo, un sistema de reconocimiento del habla entrenado principalmente con el habla de adultos puede no transcribir con precisión el habla de los niños.
• Sesgo de medición: Este tipo de sesgo se produce cuando los datos utilizados para medir una determinada variable son sistemáticamente inexactos o sesgados para determinados grupos. Por ejemplo, un algoritmo de salud que utilice el índice de masa corporal (IMC) como principal indicador de salud puede estar sesgado en contra de determinados tipos de cuerpo.
• Sesgo de agregación: Se produce cuando se aplica un modelo único a una población diversa, ignorando las diferencias entre grupos. Un algoritmo diseñado para una población general puede no funcionar bien para subgrupos específicos.

Ejemplos de sesgo algorítmico en aplicaciones reales

El sesgo algorítmico puede tener importantes repercusiones en el mundo real. He aquí dos ejemplos concretos:

1. Reconocimiento facial en las fuerzas de seguridad: Se ha demostrado que los sistemas de reconocimiento facial son menos precisos para las personas con tonos de piel más oscuros, especialmente las mujeres. Esto puede dar lugar a tasas más elevadas de falsos positivos e identificaciones erróneas, que pueden dar lugar a detenciones y condenas injustas. El Instituto Nacional de Normas y Tecnología (NIST ) llevó a cabo un estudio en el que se ponían de manifiesto estas disparidades y se hacía hincapié en la necesidad de disponer de conjuntos de datos de entrenamiento más diversos y representativos.
2. Herramientas de contratación: Cada vez se utilizan más herramientas de contratación basadas en IA para seleccionar a los solicitantes de empleo. Sin embargo, si estas herramientas están entrenadas con datos históricos de contratación que reflejan prejuicios pasados (por ejemplo, favorecer a los candidatos masculinos para puestos técnicos), pueden puntuar injustamente más bajo a las candidatas femeninas. La experiencia de Amazon con una herramienta de contratación sesgada es un ejemplo notable en el que la empresa tuvo que desechar un sistema de contratación de IA que mostraba una fuerte preferencia por los candidatos masculinos.

Mitigar el sesgo algorítmico

Abordar el sesgo algorítmico requiere un enfoque polifacético que implique una cuidadosa recopilación de datos, el desarrollo de modelos y una supervisión continua. He aquí algunas estrategias:

• Datos diversos y representativos: Asegúrate de que los datos de entrenamiento sean diversos y representen fielmente a la población. Esto puede implicar recopilar datos adicionales de grupos infrarrepresentados o utilizar técnicas como el aumento de datos para equilibrar el conjunto de datos.
• Técnicas de detección de sesgos: Utiliza métodos para detectar sesgos en los datos y los modelos. Técnicas como la validación cruzada pueden ayudar a identificar disparidades en el rendimiento de los modelos en distintos grupos.
• Métricas de imparcialidad: Utiliza métricas de imparcialidad para evaluar y cuantificar el sesgo en los modelos. Métricas como el impacto dispar, la diferencia de igualdad de oportunidades y la diferencia de probabilidades medias pueden ayudar a evaluar la imparcialidad de las predicciones de los modelos.
• Transparencia algorítmica: Promover la transparencia en el diseño y desarrollo de algoritmos. Las técnicas de IA explicable (XAI) pueden ayudar a comprender cómo llega un modelo a sus decisiones, facilitando la identificación y corrección de sesgos.
• Auditoría y supervisión periódicas: Auditar y supervisar continuamente los sistemas de IA para detectar sesgos. Esto implica evaluar regularmente el rendimiento del modelo en diversos conjuntos de datos y actualizar los modelos según sea necesario para abordar cualquier sesgo identificado.
• Marcos éticos de la IA: Desarrollar y cumplir directrices éticas para el desarrollo de la IA. Organizaciones como el IEEE y la Asociación sobre IA proporcionan marcos para el desarrollo responsable de la IA.

Sesgo algorítmico frente a otros tipos de sesgo

Aunque el sesgo algorítmico es un término amplio que engloba diversas formas de sesgo en los sistemas de IA, está relacionado con otros tipos específicos de sesgo:

• Sesgo en la IA: Se trata de un término más general que incluye cualquier error sistemático o desviación de la imparcialidad en los sistemas de IA. El sesgo algorítmico es un subconjunto de esta categoría más amplia, que se centra específicamente en los sesgos integrados en los algoritmos.
• Sesgo del conjunto de datos: Se refiere a los sesgos presentes en los datos utilizados para entrenar los modelos de aprendizaje automático. El sesgo algorítmico suele ser consecuencia del sesgo del conjunto de datos, ya que los modelos aprenden a partir de los datos que se les proporcionan.

Al comprender los matices del sesgo algorítmico y su relación con otros tipos de sesgo, los desarrolladores y las organizaciones pueden tomar medidas proactivas para construir sistemas de IA más justos y equitativos. Ultralytics se compromete a promover la ética de la IA y a proporcionar herramientas y recursos para ayudar a mitigar el sesgo en las aplicaciones de IA.