Systeme zur automatisierten Entscheidungsfindung in Europa weit verbreitet
Automatisierte Systeme entscheiden zunehmend über das Gefährdungspotenzial von Menschen, sagen Straftaten voraus oder prüfen, ob Angestellte lächeln: Algorithmen haben bereits heute Auswirkungen auf den Alltag in der EU – und bei ihrem Einsatz mangelt es an Transparenz. Die Organisation AlgorithmWatch dokumentiert zahlreiche Beispiele für solche Systeme in der nun veröffentlichten deutschen Ausgabe des “Automating Society Report 2020”.
In dem von der Bertelsmann-Stiftung unterstützten Bericht heißt es, dass die Verbreitung von Systemen zur automatisierten Entscheidungsfindung in den vergangenen zwei Jahren stark zugenommen habe. Ihre Ziele und Funktionsweisen seien jedoch häufig unklar. Und selbst wenn Transparenz gegeben sei, bedeute dies nicht zwangsläufig einen Nutzen für den Einzelnen oder die Gesellschaft. Die Organisation gibt zu bedenken, dass Algorithmen niemals neutral oder objektiv sind, sondern Annahmen und Überzeugungen derjenigen widerspiegeln, die sie programmieren oder einsetzen. Dies wirke sich etwa auf den Zugang zu Dienstleistungen und die Durchsetzung von Rechten der EU-Bürger aus.
In den Niederlanden etwa sollte ein System Sozialbetrug aufdecken. Weil es gegen die Europäische Menschenrechtskonvention verstößt, hatte ein Gericht das System Anfang 2020 gestoppt. Laut AlgorithmWatch sind Positivbeispiele “rar gesät”. Die “überwältigende Mehrheit” der eingesetzten Systeme zur automatisierten Entscheidungsfindung setze “Menschen tendenziell eher einem Risiko” aus, als ihnen zu helfen. Dabei hätten sogenannte ADM-Systeme (“automated decision-making”) durchaus das Potenzial, das Leben von Menschen positiv zu beeinflussen. Allerdings fehle es an Kontrolle und Aufsicht. Um zu verhindern, dass Bürgerrechte verletzt werden, seien proaktive Schutzmaßnahmen nötig, die greifen, bevor Pilotprojekte starten oder Systeme eingesetzt werden.
Im öffentlichen Sektor gebe es einen “verbreiteten Mangel an Fähigkeiten und Kompetenzen rund um ADM-Systeme”. Die Öffentlichkeit werde nur selten über deren Einsatz informiert. In Polen sei die Intransparenz sogar gesetzlich festgeschrieben: Dort soll ein System Bankkonten aufspüren, die für illegale Aktivitäten genutzt werden – bei Offenlegung der Algorithmen und Risikoindikatoren drohen bis zu fünf Jahre Gefängnis.
Gesichtserkennung breitet sich aus
Insgesamt kämen viele verschiedene Systeme zum Einsatz, doch ein Negativbeispiel sei nahezu flächendeckend zu finden: die Gesichtserkennung. Hierbei handle es sich “ohne Zweifel um die neueste, rasanteste und besorgniserregendste Entwicklung”, heißt es in dem Bericht. Während die Technik im “Automating Society Report 2019” noch kaum erwähnt wurde, werde sie nun “mit alarmierender Geschwindigkeit” in Europa getestet und eingesetzt.
Die umstrittene Technik komme bereits an Flughäfen und bei der Polizei zum Einsatz. Die belgische Polizei nutze Gesichtserkennung weiter, obwohl die Aufsichtsbehörde ein befristetes Verbot erlassen hat. Einige Banken in Polen kontrollierten sogar das Lächeln ihrer Angestellten per Gesichtserkennung: Wer mehr lächelt, erhält einen höheren Bonus. Zudem plant die EU, die Technik bei Grenzkontrollen zu verwenden. Durch diesen Trend bestehe die Gefahr eines neuen “Status quo von flächendeckender Massenüberwachung”.
Automatisierte Entscheidungen auch in Deutschland
Auch in Deutschland werden laut Bericht ADM-Systeme eingesetzt: Das Bundeskriminalamt nutzt seit 2017 beispielsweise das Werkzeug “RADAR-iTE”, das militante Salafisten in drei Gefährdungsstufen einteilt. Eine ähnliche Anwendung setzt das Landesschulamt Sachsen-Anhalt ein: “DyRiAS” soll das Gefährdungspotenzial von Schülerinnen und Schülern berechnen, die im Verdacht stehen, einen Amoklauf zu planen.
Außerdem errechnet Software für verschiedene Polizeibehörden, an welchen Orten es mit der höchsten Wahrscheinlichkeit zu Einbrüchen kommen wird. Während Bayern ein Werkzeug namens “PRECOBS” nutzt, wurde die Arbeit damit in Baden-Württemberg aufgrund von Problemen mit den gelieferten Daten 2019 wieder eingestellt. Berlin, Hessen, Nordrhein-Westfalen und Niedersachsen setzen ähnliche Programme ein.
Das Bundesamt für Migration und Flüchtlinge untersucht mittels Software Daten Geflüchteter auf Mobiltelefonen, Tablets und Laptops, um Angaben zur Herkunft der Personen zu überprüfen. Zu diesem Zweck setzt die Behörde auch Spracherkennungssoftware ein.
Estland sammelt Daten von Geburt an
Doch auch in anderen europäischen Ländern schreitet die Automatisierung laut AlgorithmWatch voran: Im ehemaligen EU-Mitgliedsstaat Großbritannien sollte im vergangenen Jahr ein Algorithmus die Abschlussnoten nach Schulschließungen während der Corona-Pandemie anpassen. Mehr als Hunderttausend englischen Schülern hätte der Algorithmus schlechtere Noten gegeben. Nach Protesten hatte die Regierung das Vorhaben wieder verworfen.
Estland verteilt Familienzuschüsse automatisiert: Dafür sammelt der Staat von Geburt an Informationen zu seinen Bürgerinnen und Bürgern – und führt diese in Datenbanken zusammen. In Frankreich sei es zulässig, Daten aus sozialen Netzwerken zu sammeln, um Steuerbetrug aufzudecken. Italien teste eine voraussagende Rechtssprechung: Hierbei zeigen Algorithmen den Richtern, wie frühere Urteile zu einem Streitgegenstand tendenziell ausgefallen sind.
Zwar nutze der Stromhändler “Next Kraftwerke” maschinelles Lernen, um die Verbrauchsmenge von Kunden und die Ausbeute von Solarfarmen zu prognostizieren. Doch fand AlgorithmWatch generell keine Belege für die Behauptung, dass Algorithmen und künstliche Intelligenz bereits beim Klimaschutz helfen.
Wettbewerbsfähigkeit vor Grundrechte
Insgesamt nennt AlgorithmWatch wenige Positivbeispiele: In Spanien kommt seit 2007 das System “VioGén” zum Einsatz, das Risiken in Fällen häuslicher Gewalt abschätzt. Es sei zwar nicht perfekt, habe aber bereits geholfen, viele Frauen vor weiterer Gewalt zu schützen. In Portugal half ein automatisiertes System nachweislich, den Betrug mit Rezeptverschreibungen innerhalb eines Jahres um 80 Prozent zu senken.
Die EU-Kommission betone allerdings grundsätzlich die Vorteile von Algorithmen, kritisieren die Autorinnen und Autoren des Berichts. Im “Weißbuch zur künstlichen Intelligenz” stelle die Kommission die Vorteile der Techniken als “sehr real und unmittelbar” dar – sämtliche Risiken würden jedoch als “potenziell” bezeichnet. AlgorithmWatch und Bürgerrechtsorganisationen wie Access Now kritisieren, dass die EU-Kommission damit die globale Wettbewerbsfähigkeit über den Schutz von Grundrechten stellt.
Verbot von Gesichtserkennung gefordert
Die Experten fordern ein Verbot von Gesichtserkennung, da sie den Weg zu “undifferenzierter Massenüberwachung” ebne und damit eine “ernsthafte Bedrohung für das Gemeinwohl und die Grundrechte” darstelle. Ein solches Verbot hatte auch die EU-Kommission ursprünglich erwogen. In der finalen Version des Weißbuchs vom Februar 2020 ist das Verbot allerdings kein Thema mehr. Dennoch stuft die EU-Kommission Gesichtserkennung hierin als Hochrisiko-Anwendung ein.
AlgorithmWatch plädiert darüber hinaus für mehr Transparenz: Ohne zu wissen, wie, warum und zu welchem Zweck ADM-Systeme verwendet werden, könnten sie nicht mit den Grundrechten in Einklang gebracht werden. Daher sollten öffentliche Register eingerichtet und der Zweck der Systeme offengelegt werden. Daten müssten beispielsweise Wissenschaftlern zugänglich gemacht werden, damit diese die Algorithmen unabhängig prüfen können.
Unabhängige Kompetenzzentren sollten zudem Algorithmen kontrollieren, bewerten und beispielsweise mit Datenschutzbehörden und Menschenrechtsgremien zusammenarbeiten, um Folgeabschätzungen zu erstellen.
AlgorithmWatch untersucht als gemeinnützige Organisation Algorithmen zur Entscheidungsfindung, die eine gesellschaftliche Relevanz haben. Die Organisation wird unter anderem vom Bundesministerium für Bildung und Forschung, dem Bundesumweltministerium und der Bertelsmann-Stiftung gefördert. (js)