EU-Agentur warnt vor diskriminierenden KI-Algorithmen

Die Grundrechtsagentur der EU hat vor voreingenommen KI-Programmen gewarnt. Diese könnten etwa bei der Polizeiarbeit und beim Erkennen von Hassrede zunehmend diskriminierend arbeiten.

Die Agentur für Grundrechte der EU (FRA) warnt vor unzureichend programmierten KI-Programmen, die diskriminierende Verzerrungen im eigenen Algorithmus mit der Zeit selbst verstärken. Werde solche Software beispielsweise für sogenannte vorausschauende Polizeiarbeit (Predictive Policing) eingesetzt, könnten die Fehleinschätzungen der KI Diskriminierung bestimmter Personengruppen oder Gebiete zur Folge haben, schreiben die Expertinnen und Experten in ihrem am Donnerstag veröffentlichten Bericht “Verzerrungen in Algorithmen – künstliche Intelligenz und Diskriminierung”.

Gefahr gehe beispielsweise von sogenannten Feedbackschleifen aus: Diese entstehen, wenn von der KI getroffene (fehlerhaften) Vorhersagen wieder als Fakt in die Algorithmen der gleichen oder anderer KI-Programme einfließen. “Der Output des Systems wird zum zukünftigen Input für dasselbe System”, erklärte die EU-Grundrechteagentur. Wiederhole sich der Vorgang, würden sich die auftretenden Verzerrungen und Fehlannahmen immer weiter verstärken.

Die EU-Experten befassen sich in ihrem Bericht auch mit der KI-basierten Erkennung beleidigender Sprache. Hier kritisieren sie, dass bei den in einer Fallstudie untersuchten Programmen ethnische und geschlechtsspezifische Verzerrungen bei der Erkennung von Beleidigungen auftraten. “Wir haben schnell festgestellt, dass die automatische Erkennung von Hassreden unzuverlässig ist”, fassen die Autorinnen und Autoren zusammen.

Um den Problemen vorzubeugen, fordert die Agentur politische Entscheidungsträger auf, dafür zu sorgen, dass KI auf diskriminierende Verzerrungen getestet wird. “Ohne angemessene Kontrollen laufen Entwickler und Nutzer in hohem Maße Gefahr, das Leben von Menschen zu beeinträchtigen”, sagte der Direktor der FRA, Michael O’Flaherty.

Falsche Daten für die Polizei

Feedbackschleifen würden dazu führen, “dass Algorithmen Algorithmen beeinflussen, weil ihre Empfehlungen und Vorhersagen die Realität vor Ort beeinflussen. Diese Realität bildet dann die Grundlage für die Datenerfassung zur Aktualisierung der Algorithmen”, erklärt die FRA. Im schlimmsten Fall würden die Rückkopplungsschleifen extreme Ergebnisse produzieren.

Das sei besonders problematisch, wenn es um Hochrisiko-KI-Anwendungen im Bereich der Strafverfolgung gehe, wie im Rahmen der vorausschauenden Polizeiarbeit, bei der Strafverfolgungs- und Justizbehörden potentielles künftiges kriminelles Verhalten oder das Auftreten von Straftaten in bestimmten Gebieten mithilfe von KI voraussagen. Basiere die Software auf Fehlannahmen, fahre die Polizei – bildlich gesprochen – zur Verbrechensbekämpfung in die falschen Stadtviertel, so die Experten.

Das Team simulierte einen voraussagenden Polizeialgorithmus und zeigte anhand dessen, welche Faktoren zu der Bildung von Rückkopplungsschleifen beitragen können: Dazu gehören etwa niedrige und schwankende Kriminalitätsmeldungsraten, unterschiedliche Raten der Verbrechenserkennung und unsachgemäßer Einsatz des maschinellen Lernens.

Verzerrte Wahrnehmung

Die Qualität der Daten spiele eine zentrale Rolle, betonen die Autoren. Stützten sich beispielsweise die Vorhersagen von Kriminalitätsraten nur auf (zu) niedrige Melderaten durch Opfer und Zeugen, könne es ein, dass die Realität nicht widergespiegelt wird. So komme es zu falschen Vorhersagen oder gar falschen politischen Entscheidungen.

Früheren FRA-Berichten zufolge schrecken Menschen davor zurück, Vorfälle bei der Polizei zu melden, wenn sie bereits Diskriminierung bei den Behörden erfahren hätten – beispielsweise aufgrund ihrer Ethnie oder ihres Geschlechts. Ob jemand eine Straftat meldet, hänge von persönlichen Merkmalen und dem sozioökonomischen Hintergrund ab. Die Organisation meint: “Diese Erkenntnisse stellen die Genauigkeit der für Kriminalitätsprognosen verwendeten offiziellen Datenquellen in Frage.”

Auch würden unterschiedliche Arten von Straftaten unterschiedlich oft erkannt und erfasst werden. Denn einige seien leichter aufzudecken als andere. Autodiebstähle beispielsweise würden besonders zuverlässig gemeldet, weil die Besitzer ihren Versicherungsanspruch geltend machen wollen; Betrug und Finanzkriminalität kämen hingegen seltener zur Anzeige. 

Außerdem würden bestimmte Bevölkerungsgruppen mit Verbrechen in Verbindung gebracht, die häufiger registriert werden. Das verzerre die Vorhersagen zu diesen Gruppen oder bestimmten Gegenden.

Gehe die Polizei in bestimmten Vierteln von einer erhöhten Kriminalitätsrate aus, verhielten sich die Beamten dort auch anders und besonders wachsam. Dadurch würden mehr Verbrechen beobachtet und die Kriminalitätsstatistik verzerrt.

Beim Anlernen der KI-Systeme bestünde zudem die Gefahr, dass die Programme bestimmten Trainingsdaten zu viel Gewicht beimessen. Algorithmen für maschinelles Lernen neigen der FRA zufolge zu diesem Verhalten. Die Systeme würden dann kleine Signale und Unterschiede in der Datenbasis überbewerten. “Folglich sind Techniken zur Vermeidung übertriebener Vorhersagen, die die Trainingsdaten zu stark widerspiegeln (sogenanntes Overfitting), für jede Algorithmusentwicklung notwendig”, mahnen die Experten.

Fehlinterpretierte Sprache

In der zweiten Fallstudie zu “ethnischen und geschlechtsspezifischen Verzerrungen in Systemen zur Erkennung beleidigender Rede”, also KI-Systemen zur automatischen Erkennung von Beleidigungen und Hetze fiel das Ergebnis ähnlich negativ aus: In der Untersuchung werteten die Algorithmen harmlose Formulierungen wie “Ich bin Muslim” oder “Ich bin jüdisch” fälschlicherweise als beleidigend. Gleichzeitig seien tatsächlich anstößige Inhalte teils nicht erkannt worden.

Auch hätten die Systeme Probleme mit geschlechtssensiblen Sprachen wie Deutsch oder Italienisch gezeigt. Dort sei es zu “geschlechtsspezifischen Verzerrungen” gekommen: So habe die KI etwa feminine Varianten eines Begriffs als anstößiger als die maskuline Variante interpretiert – oder andersherum. “Das kann zu einem ungleichen Zugang zu Online-Diensten aus potenziell diskriminierenden Gründen führen”, warnt die FRA.

Die deutschsprachigen Algorithmen, die für den Bericht betrachtet wurden, werteten am häufigsten Texte mit den Begriffen “Muslim”, “Ausländer” und “Roma” als beleidigend, obwohl diese teils keine Beleidigungen enthielten.

Nutzen Menschen die fehlinterpretierten Begriffe häufiger – beispielsweise, weil sie Teil dieser Gruppen sind, steigt laut FRA die Gefahr, dass ihre Inhalte im Internet unrechtmäßig gesperrt werden. “Solche voreingenommenen Kennzeichnungs- und Blockierungspraktiken können zum Beispiel zu Unterschieden beim Zugang zu Kommunikationsdiensten aufgrund der ethnischen Herkunft führen”, warnen die Autoren.

Algorithmen geben verbreiteten Hass wieder

Einer der Gründe hierfür sei, dass die Begriffe häufig in den Trainingsdaten für das Erkennen von Online-Hass auftauchen. Die damit trainierten Programme würden auf die Begriffe “überreagieren” – ohne den Kontext vollständig erfasst zu haben.

Die Experten appellieren unter anderem an die EU-Organe, solche Probleme bei KI-basierten Systemen zur Erkennung von Hassrede zu beachten. Prüfungen auf Diskriminierung sollten bei dieser Art von Software obligatorisch sein. “Unternehmen und öffentliche Einrichtungen, die Spracherkennung nutzen, sollten verpflichtet werden, die Informationen, die zur Bewertung der Voreingenommenheit erforderlich sind, den zuständigen Aufsichtsgremien zur Verfügung zu stellen und – so weit wie möglich – zu veröffentlichen”, meint die FRA.

Einen Rechtsrahmen könne auch der geplante Artificial Intelligence Act (AIA) der EU bieten. Die EU-Staaten haben bereits einen Entwurf dazu verabschiedet; das EU-Parlament berät sich noch. 

Über 40 zivilgesellschaftliche Organisationen fordern in diesem Zusammenhang ein Verbot von Predictive Policing. In einem offenen Brief hatten sie im März davor gewarnt, dass KI-Systeme Diskriminierung reproduzieren und verstärken etwa aufgrund von ethnischer Herkunft, ökonomischem Status, Behinderung, Migrationshintergrund oder Nationalität.

Keine schnelle Lösung in Sicht

Aus Sicht der Autoren sollten KI-Programme trotz der festgestellten Probleme nicht abgeschafft oder deren Entwicklung gestoppt werden. Stattdessen bedeuteten die Ergebnisse, dass der Mensch bei den beschriebenen Aufgaben weiterhin eine wichtige Rolle spielen muss. 

“Wir müssen verstehen, wie gut Algorithmen funktionieren, welche Verzerrungen es gibt und die KI sehr genau überwachen”, appelliert FRA-Direktor O’Flaherty. Die Anwendungen müssten immer im Kontext ihres Einsatzes getestet werden. Für einige Szenarien seien die Algorithmen einfach nicht geeignet, für andere hingegen schon.

Es gäbe keine schnelle Lösung, um Verzerrungen in den Algorithmen zu beseitigen, das zeige die Untersuchung. “Es liegt auf der Hand, dass es ein System zur Bewertung und Abschwächung von Verzerrungen geben muss, bevor und während Algorithmen in der Praxis eingesetzt werden”, erklärt O’Flaherty weiter. (hcz)