Viés algorítmico

Fontes de preconceitos algorítmicos

Embora esteja muitas vezes ligado a questões de dados, o preconceito algorítmico resulta especificamente da mecânica do algoritmo:

• Escolhas de conceção: As decisões tomadas durante o desenvolvimento do algoritmo, tais como a escolha de caraterísticas específicas ou o algoritmo de otimização utilizado, podem inadvertidamente introduzir preconceitos. Por exemplo, otimizar apenas a precisão pode levar um modelo a ter um desempenho fraco em grupos minoritários se estes representarem casos extremos.
• Engenharia e seleção de caraterísticas: O processo de seleção, transformação ou criação de caraterísticas(engenharia de caraterísticas) pode incorporar preconceitos. Um algoritmo pode aprender correlações que reflectem preconceitos sociais presentes indiretamente nas caraterísticas.
• Variáveis de substituição: Os algoritmos podem utilizar variáveis aparentemente neutras (como o código postal ou o historial de compras) como substitutos de atributos sensíveis (como a raça ou o rendimento). Esta utilização de variáveis de substituição pode conduzir a resultados discriminatórios mesmo sem dados sensíveis explícitos.
• Ciclos de feedback: Nos sistemas que aprendem com o tempo, as tendências algorítmicas iniciais podem ser reforçadas à medida que os resultados tendenciosos do sistema influenciam a futura recolha de dados ou o comportamento do utilizador.

Exemplos do mundo real

Os preconceitos algorítmicos podem manifestar-se em várias aplicações:

1. Ferramentas de contratação: Os sistemas de IA concebidos para selecionar currículos podem aprender padrões a partir de dados históricos de contratação. Se as práticas anteriores favorecerem determinados dados demográficos, o algoritmo pode perpetuar esse preconceito, penalizando os candidatos qualificados de grupos sub-representados, como aconteceu de forma infame com uma ferramenta experimental da Amazon.
2. Serviços financeiros: Os algoritmos utilizados para pontuação de crédito ou aprovação de empréstimos podem negar desproporcionadamente pedidos de indivíduos de determinados bairros ou grupos demográficos, mesmo que as caraterísticas protegidas sejam excluídas. Isto pode acontecer se o algoritmo identificar correlações entre factores aparentemente neutros (como padrões de navegação na Internet ou retalhistas específicos patrocinados) e o risco de crédito que se alinham com preconceitos sociais. As preocupações com os preconceitos algorítmicos nas finanças estão a aumentar.

Viés algorítmico vs. conceitos relacionados

É importante distinguir o preconceito algorítmico de termos relacionados:

• Preconceito na IA: Este é um termo abrangente que engloba todas as formas de injustiça sistemática nos sistemas de IA. O enviesamento algorítmico é uma fonte específica de enviesamento da IA, juntamente com outras como o enviesamento do conjunto de dados.
• Enviesamento do conjunto de dados: refere-se a enviesamentos provenientes dos dados utilizados para treinar o modelo (por exemplo, amostras não representativas, anotações distorcidas). Embora o enviesamento do conjunto de dados possa causar ou amplificar o enviesamento algorítmico, este também pode surgir independentemente devido à conceção do algoritmo, mesmo com dados perfeitamente representativos. Compreender a interação entre o enviesamento da IA e o enviesamento do conjunto de dados é crucial.
• Compensação entre enviesamento e variância: Trata-se de um conceito fundamental em AM relativo à complexidade do modelo e aos tipos de erro. Neste contexto, o termo "enviesamento" refere-se à simplificação dos pressupostos de um modelo que conduz a erros sistemáticos(subadaptação) e não a enviesamentos relacionados com a sociedade ou a equidade.

Estratégias de atenuação

A resolução dos preconceitos algorítmicos exige uma abordagem proactiva e multifacetada ao longo de todo o ciclo de vida da IA:

• Métricas de equidade: Incorpora métricas de equidade no processo de formação e validação do modelo, juntamente com as métricas de desempenho tradicionais, como a precisão.
• Auditoria de algoritmos: Audita regularmente os algoritmos para detetar resultados tendenciosos em diferentes subgrupos. Ferramentas como os kits de ferramentas AI Fairness 360 e Fairlearn podem ajudar a detetar e atenuar o enviesamento.
• Técnicas de atenuação de enviesamentos: Emprega técnicas concebidas para ajustar os algoritmos, como a reponderação de pontos de dados, a modificação de restrições de aprendizagem ou o pós-processamento de resultados de modelos para garantir resultados mais justos.
• IA explicável (XAI): Utiliza os métodos XAI para compreender porque é que um algoritmo toma determinadas decisões, ajudando a identificar preconceitos ocultos na sua lógica. Aumentar a transparência na IA é fundamental.
• Equipas diversificadas e testes: Envolve equipas diversificadas no processo de desenvolvimento e realiza testes exaustivos com grupos de utilizadores representativos para descobrir potenciais preconceitos.
• Consciência regulamentar: Mantém-te informado sobre a evolução da regulamentação, como a Lei da IA da UE, que inclui disposições relacionadas com a parcialidade e a equidade.
• Monitorização contínua de modelos: Monitoriza os modelos implementados para verificar a degradação do desempenho ou as tendências emergentes ao longo do tempo.

Ao compreender as nuances do enviesamento algorítmico e ao trabalhar ativamente para o mitigar através de um design cuidadoso, testes rigorosos e adesão aos princípios de Equidade na IA e Ética da IA, os programadores podem criar aplicações de IA mais fiáveis, equitativas e benéficas. Organizações como a Partnership on AI e a Algorithmic Justice League defendem o desenvolvimento responsável da IA. Plataformas como o Ultralytics HUB e modelos como o Ultralytics YOLO fornecem estruturas que apoiam o desenvolvimento e a avaliação cuidadosos de modelos, considerando factores como a privacidade dos dados e contribuindo para a criação de sistemas mais justos. A Conferência ACM sobre Equidade, Responsabilidade e Transparência (FAccT) é um dos principais locais de investigação nesta área.