Viés algorítmico

O preconceito algorítmico refere-se a erros sistemáticos e repetíveis num sistema informático que criam resultados injustos, normalmente privilegiando um grupo em detrimento de outro. O preconceito pode existir nos dados utilizados para treinar um modelo de aprendizagem automática ou refletir e perpetuar preconceitos existentes. Quando um algoritmo processa dados que contêm informação tendenciosa, pode aprender e até amplificar esses preconceitos nas suas previsões. Isto pode levar a resultados discriminatórios quando o algoritmo é aplicado em cenários do mundo real, afectando áreas como a contratação, os pedidos de empréstimo e até a justiça criminal. Compreender e mitigar o enviesamento algorítmico é crucial para desenvolver sistemas de IA justos e equitativos.

Fontes de distorção algorítmica

O enviesamento algorítmico pode ter origem em várias fases do pipeline de aprendizagem automática (ML). Eis algumas fontes comuns:

• Recolha de dados: Se os dados recolhidos para treinar um modelo não forem representativos da população ou contiverem enviesamentos históricos, o modelo herdará esses enviesamentos. Por exemplo, os sistemas de reconhecimento facial treinados predominantemente em imagens de rostos brancos podem ter um desempenho fraco em rostos de pessoas de cor.
• Rotulagem de dados: A rotulagem de dados é o processo de adicionar etiquetas ou rótulos aos dados em bruto para lhes dar significado para os modelos de ML. Se o processo de rotulagem for influenciado por preconceitos humanos, estes preconceitos serão codificados no modelo.
• Seleção de caraterísticas: A escolha das caraterísticas utilizadas para treinar um modelo pode introduzir preconceitos. Se determinadas caraterísticas forem mais prevalecentes ou preditivas para um grupo do que para outro, o modelo pode ter um desempenho diferente entre esses grupos.
• Conceção do algoritmo: A conceção do próprio algoritmo também pode introduzir preconceitos. Por exemplo, um algoritmo que optimiza um determinado resultado pode, inadvertidamente, prejudicar determinados grupos.

Tipos de preconceitos algorítmicos

Há vários tipos de preconceitos algorítmicos que se podem manifestar nos sistemas de IA. Compreender estes tipos é essencial para identificar e lidar com o enviesamento:

• Preconceito histórico: ocorre quando os dados utilizados para treinar um modelo reflectem preconceitos sociais existentes. Por exemplo, um algoritmo de contratação treinado com base em dados históricos de contratação que favorecem os candidatos do sexo masculino pode perpetuar a discriminação de género.
• Viés de representação: surge quando os dados de treino sub-representam certos grupos, levando o modelo a ter um desempenho fraco para esses grupos. Por exemplo, um sistema de reconhecimento de fala treinado maioritariamente em fala de adultos pode não transcrever corretamente a fala de crianças.
• Viés de medição: Este tipo de viés ocorre quando os dados utilizados para medir uma determinada variável são sistematicamente imprecisos ou enviesados para determinados grupos. Por exemplo, um algoritmo de saúde que utiliza o índice de massa corporal (IMC) como indicador primário de saúde pode ser tendencioso em relação a certos tipos de corpo.
• Viés de agregação: acontece quando um modelo único é aplicado a uma população diversificada, ignorando as diferenças entre grupos. Um algoritmo concebido para uma população geral pode não ter um bom desempenho para subgrupos específicos.

Exemplos de desvios algorítmicos em aplicações do mundo real

Os preconceitos algorítmicos podem ter impactos significativos no mundo real. Eis dois exemplos concretos:

1. Reconhecimento facial na aplicação da lei: Os sistemas de reconhecimento facial têm-se revelado menos precisos para pessoas com tons de pele mais escuros, especialmente mulheres. Isto pode levar a taxas mais elevadas de falsos positivos e identificações erradas, resultando potencialmente em detenções e condenações injustas. O National Institute of Standards and Technology (NIST) efectuou um estudo que salienta estas disparidades, realçando a necessidade de conjuntos de dados de formação mais diversificados e representativos.
2. Ferramentas de recrutamento: As ferramentas de recrutamento baseadas em IA são cada vez mais utilizadas para selecionar candidatos a emprego. No entanto, se estas ferramentas forem treinadas com base em dados históricos de contratação que reflictam preconceitos passados (por exemplo, favorecer os candidatos do sexo masculino para funções técnicas), podem classificar injustamente as candidatas do sexo feminino. A experiência da Amazon com uma ferramenta de recrutamento tendenciosa é um exemplo notável em que a empresa teve de eliminar um sistema de recrutamento de IA que mostrava uma forte preferência por candidatos do sexo masculino.

Atenuar o viés algorítmico

A resolução dos preconceitos algorítmicos requer uma abordagem multifacetada que envolva a recolha cuidadosa de dados, o desenvolvimento de modelos e a monitorização contínua. Apresentamos-te algumas estratégias:

• Dados diversificados e representativos: Assegura que os dados de formação são diversificados e representam corretamente a população. Isto pode implicar a recolha de dados adicionais de grupos sub-representados ou a utilização de técnicas como o aumento de dados para equilibrar o conjunto de dados.
• Técnicas de deteção de enviesamento: Utiliza métodos para detetar desvios nos dados e nos modelos. Técnicas como a validação cruzada podem ajudar a identificar disparidades no desempenho do modelo em diferentes grupos.
• Métricas de equidade: Utiliza métricas de justiça para avaliar e quantificar a parcialidade dos modelos. Métricas como impacto díspar, diferença de oportunidades iguais e diferença de probabilidades médias podem ajudar a avaliar a justiça das previsões do modelo.
• Transparência algorítmica: Promove a transparência na conceção e desenvolvimento de algoritmos. As técnicas de IA explicável (XAI) podem ajudar a compreender a forma como um modelo chega às suas decisões, facilitando a identificação e a correção de enviesamentos.
• Auditoria e monitorização regulares: Audita e monitoriza continuamente os sistemas de IA quanto a enviesamentos. Isto envolve a avaliação regular do desempenho do modelo em diversos conjuntos de dados e a atualização dos modelos, conforme necessário, para resolver quaisquer enviesamentos identificados.
• Quadros éticos de IA: Desenvolve e adere a diretrizes éticas para o desenvolvimento da IA. Organizações como o IEEE e a Partnership on AI fornecem estruturas para o desenvolvimento responsável da IA.

Viés algorítmico vs. outros tipos de viés

Embora o preconceito algorítmico seja um termo lato que engloba várias formas de preconceito nos sistemas de IA, está relacionado com outros tipos específicos de preconceito:

• Enviesamento na IA: Este é um termo mais geral que inclui qualquer erro sistemático ou desvio da equidade nos sistemas de IA. O enviesamento algorítmico é um subconjunto desta categoria mais vasta, centrando-se especificamente nos enviesamentos incorporados nos algoritmos.
• Enviesamento do conjunto de dados: refere-se aos enviesamentos presentes nos dados utilizados para treinar modelos de aprendizagem automática. O enviesamento algorítmico resulta frequentemente do enviesamento do conjunto de dados, uma vez que os modelos aprendem com os dados que lhes são fornecidos.

Ao compreender as nuances do enviesamento algorítmico e a sua relação com outros tipos de enviesamento, os programadores e as organizações podem tomar medidas proactivas para criar sistemas de IA mais justos e equitativos. Ultralytics está empenhado em promover a ética da IA e em fornecer ferramentas e recursos para ajudar a atenuar o enviesamento nas aplicações de IA.