Algorithmische Verzerrung

Quellen für algorithmische Verzerrungen

Algorithmische Voreingenommenheit ist zwar oft mit Datenproblemen verbunden, ergibt sich aber vor allem aus den Mechanismen des Algorithmus:

• Design-Entscheidungen: Entscheidungen, die während der Entwicklung des Algorithmus getroffen werden, wie z. B. die Wahl bestimmter Merkmale oder des verwendeten Optimierungsalgorithmus, können unbeabsichtigt zu Verzerrungen führen. Wenn zum Beispiel nur die Genauigkeit optimiert wird, kann ein Modell bei Minderheitengruppen schlecht abschneiden, wenn diese Randfälle darstellen.
• Feature Engineering und Auswahl: Der Prozess der Auswahl, Umwandlung oder Erstellung von Merkmalen(Feature Engineering) kann Vorurteile einschließen. Ein Algorithmus kann Korrelationen lernen, die gesellschaftliche Vorurteile indirekt in den Merkmalen widerspiegeln.
• Proxy-Variablen: Algorithmen können scheinbar neutrale Variablen (wie die Postleitzahl oder die Kaufhistorie) als Stellvertreter für sensible Merkmale (wie Ethnie oder Einkommen) verwenden. Diese Verwendung von Proxy-Variablen kann auch ohne explizite sensible Daten zu diskriminierenden Ergebnissen führen.
• Rückkopplungsschleifen: In Systemen, die im Laufe der Zeit lernen, können anfängliche algorithmische Verzerrungen verstärkt werden, da die verzerrten Ergebnisse des Systems die zukünftige Datenerfassung oder das Nutzerverhalten beeinflussen.

Beispiele aus der Praxis

Algorithmische Verzerrungen können sich in verschiedenen Anwendungen zeigen:

1. Einstellungstools: KI-Systeme zur Überprüfung von Lebensläufen könnten aus historischen Einstellungsdaten Muster lernen. Wenn in der Vergangenheit bestimmte demografische Gruppen bevorzugt wurden, könnte der Algorithmus diese Voreingenommenheit aufrechterhalten und qualifizierte Bewerber/innen aus unterrepräsentierten Gruppen benachteiligen, wie es bei einem experimentellen Tool von Amazon der Fall war.
2. Finanzdienstleistungen: Algorithmen, die für die Kreditwürdigkeitsprüfung oder Kreditvergabe verwendet werden, können Anträge von Personen aus bestimmten Stadtvierteln oder demografischen Gruppen unverhältnismäßig ablehnen, selbst wenn geschützte Merkmale ausgeschlossen sind. Dies kann passieren, wenn der Algorithmus Korrelationen zwischen scheinbar neutralen Faktoren (wie dem Surfverhalten im Internet oder dem Besuch bestimmter Einzelhändler) und dem Kreditrisiko feststellt, die mit gesellschaftlichen Vorurteilen übereinstimmen. Die Besorgnis über algorithmische Verzerrungen im Finanzwesen wächst.

Algorithmische Verzerrung vs. verwandte Konzepte

Es ist wichtig, algorithmische Verzerrungen von verwandten Begriffen zu unterscheiden:

• Voreingenommenheit in der KI: Dies ist ein weit gefasster Begriff, der alle Formen systematischer Unfairness in KI-Systemen umfasst. Algorithmische Voreingenommenheit ist eine spezifische Quelle von KI-Voreingenommenheit, neben anderen wie Dataset Bias.
• Dataset Bias: Dies bezieht sich auf Verzerrungen, die von den Daten herrühren, die zum Trainieren des Modells verwendet werden (z. B. nicht repräsentative Stichproben, verzerrte Annotationen). Während die Verzerrung der Daten die algorithmische Verzerrung verursachen oder verstärken kann, kann die algorithmische Verzerrung auch unabhängig davon durch das Design des Algorithmus entstehen, selbst bei perfekt repräsentativen Daten. Es ist wichtig, das Zusammenspiel zwischen KI-Verzerrung und Datensatzverzerrung zu verstehen.
• Bias-Variance Tradeoff: Dies ist ein grundlegendes Konzept in der ML in Bezug auf die Modellkomplexität und Fehlerarten. Mit "Bias" sind in diesem Zusammenhang vereinfachende Annahmen gemeint, die zu systematischen Fehlern(Underfitting) führen, nicht aber gesellschaftliche oder fairnessbezogene Verzerrungen.

Minderungsstrategien

Der Umgang mit algorithmischen Verzerrungen erfordert einen proaktiven und vielschichtigen Ansatz während des gesamten KI-Lebenszyklus:

• Fairness-Metriken: Integriere Fairness-Metriken in den Prozess der Modellschulung und -validierung, zusätzlich zu den traditionellen Leistungsmetriken wie Genauigkeit.
• Algorithmus-Überprüfung: Überprüfe Algorithmen regelmäßig auf verzerrte Ergebnisse in verschiedenen Untergruppen. Tools wie die AI Fairness 360 und Fairlearn Toolkits können dabei helfen, Verzerrungen zu erkennen und abzuschwächen.
• Techniken zur Verringerung von Verzerrungen: Nutze Techniken zur Anpassung von Algorithmen, wie z.B. die Neugewichtung von Datenpunkten, die Änderung von Lernbedingungen oder die Nachbearbeitung von Modellergebnissen, um fairere Ergebnisse zu erzielen.
• Erklärbare KI (XAI): Nutze XAI-Methoden, um zu verstehen , warum ein Algorithmus bestimmte Entscheidungen trifft, und hilf dabei, versteckte Verzerrungen in seiner Logik zu erkennen. Die Verbesserung der Transparenz in der KI ist entscheidend.
• Vielfältige Teams und Tests: Beziehe verschiedene Teams in den Entwicklungsprozess ein und führe gründliche Tests mit repräsentativen Nutzergruppen durch, um mögliche Vorurteile aufzudecken.
• Sensibilisierung für Vorschriften: Informiere dich über neue Vorschriften wie das EU-KI-Gesetz, das Bestimmungen zu Voreingenommenheit und Fairness enthält.
• Kontinuierliche Modellüberwachung: Überwache die eingesetzten Modelle auf Leistungseinbußen oder aufkommende Verzerrungen im Laufe der Zeit.

Wenn wir die Feinheiten der algorithmischen Verzerrung verstehen und aktiv daran arbeiten, sie durch sorgfältiges Design, strenge Tests und die Einhaltung der Grundsätze der Fairness in der KI und der KI-Ethik zu verringern, können Entwickler/innen zuverlässigere, gerechtere und nützlichere KI-Anwendungen entwickeln. Organisationen wie die Partnership on AI und die Algorithmic Justice League setzen sich für eine verantwortungsvolle KI-Entwicklung ein. Plattformen wie Ultralytics HUB und Modelle wie Ultralytics YOLO bieten Rahmenwerke, die eine sorgfältige Modellentwicklung und -bewertung unterstützen, Faktoren wie den Datenschutz berücksichtigen und zur Schaffung gerechterer Systeme beitragen. Die ACM Conference on Fairness, Accountability, and Transparency (FAccT) ist ein führender Treffpunkt für Forschung in diesem Bereich.