Datenqualität und Diskriminierungsrisiken bei KI

Art. 10 KI-VO verpflichtet Anbieter von Hochrisiko-Systemen zu einer Daten-Governance, die Verzerrungen erkennt und abschwächt. Betreiber schulden nach Art. 26 Abs. 4 KI-VO, dass ihre Eingabedaten zur Zweckbestimmung passen und hinreichend repräsentativ sind.

Diskriminierung durch ein KI-System beruht meist nicht auf Absicht. Sie entsteht, weil die Daten, aus denen das System gelernt hat, eine bestehende Ungleichheit fortschreiben. Erwägungsgrund 67 der KI-Verordnung benennt genau diesen Zusammenhang. Art. 10 KI-VO zieht daraus die Konsequenz und verlangt von Anbietern von Hochrisiko-Systemen eine Daten-Governance, die Verzerrungen sucht, verhindert und abschwächt.

Vier Kriterien für Trainings-, Validierungs- und Testdaten

RelevanzVerwendet werden darf, was der Einsatzzweck erfordert. Der Gedanke der Datenminimierung wandert damit über die personenbezogenen Daten hinaus in den gesamten Datensatz.
RepräsentativitätDer Datensatz muss die Personengruppen und Szenarien abbilden, auf die das System angewendet wird, einschließlich der geografischen und kontextuellen Rahmenbedingungen nach Art. 10 Abs. 4 KI-VO.
Fehlerfreiheit, so weit wie möglichAbsolute Fehlerfreiheit ist unerreichbar, deshalb zählt der Weg dorthin. Annotation, Kennzeichnung, Bereinigung und Anreicherung sind zu dokumentieren.
Vollständigkeit und statistische MerkmaleDie Merkmale müssen geeignet sein, die Zielgröße vorherzusagen. Eine Korrelation ohne erklärbaren Zusammenhang genügt dafür nicht.

Wo Verzerrungen entstehen

In der Entwicklung

Verzerrte Stichprobenziehung, weil bestimmte Gruppen im Datensatz fehlen
Voreingenommene oder fehlerhafte Annotation der Daten
Auswahl von Merkmalen, die die Zielgröße schief beschreiben
Technische Vorgaben im Entwicklungsprozess selbst

Im Betrieb

Verzerrungen, die erst im konkreten Einsatzkontext auftreten
Fehlerhafte Deutung der Ausgaben durch die nutzenden Personen
Verschiebungen durch fortlaufendes Lernen im laufenden Betrieb
Eingabedaten, die sich gegenüber den Annahmen des Anbieters verschoben haben

Sichtbar werden Verzerrungen über statistische Auswertungen. Welche Verfahren dafür heranzuziehen sind, lässt die KI-Verordnung offen. Verlangt ist nur, die Parameter zu dokumentieren, mit denen mögliche diskriminierende Auswirkungen gemessen werden. Fairness-Metriken zeigen, ob bestimmte Gruppen systematisch anders behandelt werden. Sie ersetzen die rechtliche und ethische Bewertung nicht, zumal sich unterschiedliche Fairness-Ziele mathematisch teilweise ausschließen. Die Korrektur kann außerdem zu Lasten der Genauigkeit gehen, und beides ist nach Anhang IV KI-VO zu dokumentieren.

Der Bezug zum AGG

Das Allgemeine Gleichbehandlungsgesetz gilt beim KI-Einsatz unverändert, im Beschäftigungskontext ebenso wie im zivilrechtlichen Massengeschäft, also etwa bei Kreditentscheidungen, Tarifierung oder der Vergabe von Wohnraum. Praktisch bedeutsam ist die mittelbare Benachteiligung. Das geschützte Merkmal steckt nicht im Modell, wohl aber ein Merkmal, das mit ihm korreliert. Geläufige Beispiele sind die Postleitzahl und berufliche Ausfallzeiten.

§ 22 AGG erleichtert die Beweisführung. Wer Indizien für eine Benachteiligung vorträgt, verschiebt die Beweislast auf die Gegenseite. Umgekehrt lässt sich argumentieren, dass eine dokumentierte Untersuchung der Daten auf Verzerrungen diese Vermutung entkräftet, während ein Verstoß gegen Art. 10 KI-VO als Indiz dienen kann. Für Betroffene tritt daneben das Recht auf Erläuterung der Entscheidung eines Hochrisiko-Systems aus Art. 86 KI-VO.

Herkunft, Zusammensetzung und Aufbereitung der Datensätze dokumentieren
Untersuchung auf Verzerrungen festlegen, samt der Parameter, mit denen gemessen wird
Entscheidungen über Zielkonflikte zwischen Fairness und Genauigkeit begründen und festhalten
Interdisziplinär besetzen, weil die Abwägung nicht nur eine technische ist
Als Betreiber die Verteilung der Eingabedaten regelmäßig gegen die Annahmen des Anbieters prüfen
Auffälligkeiten bei einzelnen Personengruppen beobachten und den Meldeweg nach Art. 26 Abs. 5 KI-VO kennen

KI in Auswahl, Scoring oder Tarifierung?

Wir prüfen die Datenlage auf Verzerrungen und die Dokumentation auf Belastbarkeit.

Kontakt aufnehmen

Häufige Fragen

Trifft uns Art. 10 KI-VO, wenn wir das System nur einsetzen?

Die Anforderungen des Art. 10 KI-VO richten sich an Anbieter von Hochrisiko-Systemen. Betreiber trifft die eigenständige Pflicht aus Art. 26 Abs. 4 KI-VO, dafür zu sorgen, dass die Eingabedaten der Zweckbestimmung entsprechen und hinreichend repräsentativ sind, soweit sie darüber Kontrolle haben. Unabhängig von der KI-VO verlangt Art. 5 Abs. 1 lit. d DSGVO die Richtigkeit personenbezogener Daten.

Müssen Trainingsdaten fehlerfrei sein?

Nur so weit wie möglich. Die absolute Fehlerfreiheit wurde im Gesetzgebungsverfahren als tatsächlich unmöglich erkannt und relativiert. Der Prozess rückt dadurch in den Vordergrund. Annotation, Kennzeichnung, Bereinigung und Anreicherung sind nach Art. 10 Abs. 2 lit. c KI-VO zu dokumentieren. Dasselbe gilt für die Vollständigkeit.

Was ist mit Bias gemeint?

Die KI-Verordnung definiert den Begriff nicht. Erwägungsgrund 67 spricht Verzerrungen an, die dem Datensatz innewohnen, etwa bei historischen Daten, sowie solche, die erst bei der Implementierung entstehen. In der Entwicklung sind unter anderem verzerrte Stichproben, voreingenommene Annotation und die Auswahl der beschreibenden Merkmale zu unterscheiden. Im Betrieb kommen Verzerrungen hinzu, die erst im Einsatzkontext, bei der Interpretation der Ausgaben oder durch fortlaufendes Lernen entstehen.

Wie hängt das mit dem AGG zusammen?

Das AGG gilt beim KI-Einsatz uneingeschränkt, vor allem im Beschäftigungskontext und im zivilrechtlichen Massengeschäft. Praktisch bedeutsam ist die mittelbare Benachteiligung. Nach § 22 AGG genügen Indizien für eine Benachteiligung, dann trägt die Gegenseite die Beweislast.

Dürfen wir Angaben zu Herkunft oder Geschlecht verarbeiten, um Verzerrungen zu finden?

Ja, unter engen Voraussetzungen. Art. 10 Abs. 5 KI-VO erlaubt die Verarbeitung besonderer Kategorien personenbezogener Daten, soweit sie zur Erkennung und Korrektur von Verzerrungen unbedingt erforderlich ist. Die Bedingungen sind kumulativ. Ohne sie bleibt es bei Art. 9 DSGVO.