Datensatz Verzerrung

Quellen und Arten der Verzerrung von Datensätzen

Die Verzerrung von Datensätzen ist kein einzelnes Problem, sondern kann sich auf verschiedene Weise während der Datenerfassung und -kommentierung manifestieren:

• Selektionsverzerrung: Sie tritt auf, wenn die Daten nicht nach dem Zufallsprinzip ausgewählt wurden, was zu einer Über- oder Unterrepräsentation bestimmter Gruppen oder Szenarien führt. Zum Beispiel könnte ein Datensatz für autonomes Fahren, der hauptsächlich auf Bildern bei Tag und klarem Wetter trainiert wurde, bei Nacht oder Regen schlecht abschneiden.
• Verzerrungen bei der Messung: Diese entstehen durch Probleme bei den Datenerfassungsinstrumenten oder -verfahren. Zum Beispiel könnte die Verwendung von Kameras unterschiedlicher Qualität für verschiedene demografische Gruppen in einem Gesichtserkennungsdatensatz zu Verzerrungen führen.
• Label Bias (Annotation Bias): Entsteht durch Unstimmigkeiten oder Vorurteile in der Phase der Datenbeschriftung, in der menschliche Annotatoren Daten aufgrund subjektiver Ansichten oder impliziter Vorurteile unterschiedlich interpretieren oder beschriften können. Die Untersuchung verschiedener Arten von kognitiven Verzerrungen kann Aufschluss über mögliche menschliche Faktoren geben.
• Historische Vorurteile: Spiegelt bestehende gesellschaftliche Vorurteile in der Welt wider, die in den Daten festgehalten werden. Wenn historische Daten zeigen, dass bestimmte Gruppen in bestimmten Rollen weniger vertreten waren, könnte eine KI, die auf diese Daten trainiert wurde, diese Voreingenommenheit aufrechterhalten.

Wie wichtig es ist, diese Quellen zu verstehen, um ihre Auswirkungen abzuschwächen, wird in Ressourcen wie dem Ultralytics zum Verständnis von KI-Verzerrungen deutlich.

Warum Datensatzverzerrungen wichtig sind

Die Verzerrung der Daten kann schwerwiegende Folgen haben und die Leistung der Modelle und die gesellschaftliche Gerechtigkeit beeinträchtigen:

• Geringere Genauigkeit und Zuverlässigkeit: Modelle, die auf voreingenommenen Daten trainiert wurden, weisen oft eine geringere Genauigkeit auf, wenn sie auf Daten von unterrepräsentierten Gruppen oder Szenarien treffen. Dies schränkt die Fähigkeit des Modells zur Verallgemeinerung ein, wie in Studien wie "Datensätze: Das Rohmaterial der KI" beschrieben wird.
• Unfaire oder diskriminierende Ergebnisse: Voreingenommene Modelle können zu einer systematischen Benachteiligung bestimmter Gruppen führen, was erhebliche Bedenken hinsichtlich der Fairness in der KI und der KI-Ethik aufwirft. Dies ist besonders kritisch bei Anwendungen, bei denen viel auf dem Spiel steht, wie z. B. bei Einstellungen, Kreditgenehmigungen und Gesundheitsdiagnosen.
• Verstärkung von Stereotypen: KI-Systeme können ungewollt schädliche Stereotypen aufrechterhalten, wenn sie auf Daten trainiert werden, die gesellschaftliche Vorurteile widerspiegeln.
• Erosion des Vertrauens: Das öffentliche Vertrauen in KI-Technologien kann beschädigt werden, wenn Systeme aufgrund von Vorurteilen als unfair oder unzuverlässig wahrgenommen werden. Organisationen wie die Partnership on AI und das AI Now Institute arbeiten daran, diese weitreichenden gesellschaftlichen Auswirkungen zu bekämpfen.

Beispiele aus der realen Welt

1. Gesichtserkennungssysteme: Frühe Gesichtserkennungsdatensätze enthielten oft eine Überrepräsentation hellhäutiger Männer. Folglich zeigten kommerzielle Systeme eine deutlich geringere Genauigkeit bei dunkelhäutigen Frauen, wie Untersuchungen von Institutionen wie dem NIST und Organisationen wie der Algorithmic Justice League zeigen. Diese Ungleichheit birgt Risiken für Anwendungen, die von der Kennzeichnung von Fotos bis hin zur Identitätsprüfung und Strafverfolgung reichen.
2. Medizinische Bildanalyse: Ein KI-Modell, das für die Erkennung von Hautkrebs mithilfe der medizinischen Bildanalyse trainiert wurde, könnte bei dunkleren Hauttönen schlecht abschneiden, wenn der Trainingsdatensatz hauptsächlich aus Bildern von hellhäutigen Patienten besteht. Diese Verzerrung könnte zu verpassten oder verzögerten Diagnosen bei unterrepräsentierten Patientengruppen führen und damit die KI im Gesundheitswesen beeinträchtigen.

Unterscheidung zwischen Datensatzverzerrungen und verwandten Konzepten

Es ist wichtig, Dataset Bias von ähnlichen Begriffen zu unterscheiden:

• Voreingenommenheit in der KI: Dies ist ein weit gefasster Begriff, der jeden systematischen Fehler umfasst, der zu ungerechten Ergebnissen führt. Eine der Hauptursachen für Voreingenommenheit in der KI ist der Datensatz, aber Voreingenommenheit kann auch durch den Algorithmus selbst(Algorithmic Bias) oder den Einsatzkontext entstehen.
• Algorithmische Verzerrungen: Dies bezieht sich auf Verzerrungen, die durch die Architektur des Modells, den Lernprozess oder die Optimierungsziele entstehen, unabhängig von der ursprünglichen Datenqualität. Ein Algorithmus könnte zum Beispiel die allgemeine Genauigkeit auf Kosten der Fairness für Minderheitengruppen priorisieren.
• Fairness in der KI: Dies ist ein Ziel oder eine Eigenschaft eines KI-Systems, das auf eine gerechte Behandlung verschiedener Gruppen abzielt. Fairness beinhaltet aber auch algorithmische Anpassungen und ethische Überlegungen, die in Rahmenwerken wie dem NIST AI Risk Management Framework festgelegt sind.
• Bias-Variance Tradeoff: Dies ist ein zentrales Konzept des maschinellen Lernens in Bezug auf die Modellkomplexität. "Bias" bezieht sich hier auf Fehler, die durch zu einfache Annahmen(Underfitting) entstehen, im Gegensatz zu den gesellschaftlichen oder statistischen Verzerrungen, die in Datensätzen vorkommen.

Umgang mit Verzerrungen im Datensatz

Um die Verzerrung von Datensätzen zu verringern, sind proaktive Strategien während des gesamten ML-Workflows erforderlich:

• Sorgfältige Datenerhebung: Bemühe dich um vielfältige und repräsentative Datenquellen, die die geplante Einsatzumgebung widerspiegeln. Die Dokumentation von Datensätzen mithilfe von Frameworks wie Data Sheets for Datasets kann die Transparenz verbessern.
• Datenvorverarbeitung und -erweiterung: Techniken wie Re-Sampling, Datensynthese und gezielte Datenerweiterung können helfen, Datensätze auszugleichen und die Repräsentativität zu erhöhen. Die Tools im Ultralytics unterstützen verschiedene Methoden zur Datenerweiterung.
• Tools zur Erkennung von Verzerrungen: Nutze Tools wie das WENN-Tool vonGoogle oder Bibliotheken wie Fairlearn, um Datensätze und Modelle auf mögliche Verzerrungen zu prüfen.
• Modellbewertung: Beurteile die Leistung des Modells in verschiedenen Untergruppen, indem du neben den Standardmesswerten für die Genauigkeit auch Fairnesskriterien verwendest. Dokumentiere die Ergebnisse mit Methoden wie Model Cards.
• Plattformunterstützung: Plattformen wie Ultralytics HUB bieten Tools für die Verwaltung von Datensätzen, das Training von Modellen wie Ultralytics YOLO11zu trainieren und eine rigorose Modellbewertung zu ermöglichen, was den Entwicklern hilft, weniger voreingenommene Systeme zu bauen.

Durch den bewussten Umgang mit Verzerrungen in Datensätzen können Entwickler robustere, zuverlässigere und gerechtere KI-Systeme entwickeln. Weitere Erkenntnisse finden sich in Forschungsumfragen wie "A Survey on Bias and Fairness in Machine Learning" und Diskussionen auf Konferenzen wie der ACM FAccT.