Frankreich: NGOs klagen gegen Sozialhilfe-Algorithmus
In Frankreich klagen 15 Nichtregierungsorganisationen gegen die Verwendung eines Algorithmus bei der Zahlung von Sozialhilfeleistungen wie Wohngeld für Familien. Dieser soll unter anderem Fehler bei der Auszahlung von Sozialleistungen aufdecken – die Organisationen kritisieren ihn aber als diskriminierend.
Zu den klagenden NGOs zählen Amnesty International, die Digitalrechteorganisation La Quadrature du Net sowie die Französische Liga für Menschenrechte. Sie haben gemeinsam Klage vor dem höchsten Verwaltungsgericht Frankreichs, dem Conseil d’État, eingereicht und fordern, den Einsatz des Algorithmus zu stoppen.
Agnès Callamard, Generalsekretärin von Amnesty International, kritisierte, das verwendete “Risiko-Scoring-System” behandle Menschen mit Misstrauen. Betroffen seien Menschen mit Behinderung, Alleinerziehende und dabei vorwiegend alleinerziehende Mütter, sowie arme Menschen. “Dieses System steht in direktem Widerspruch zu den Menschenrechtsstandards und verletzt das Recht auf Gleichheit und Nichtdiskriminierung sowie das Recht auf Privatsphäre”, so Callamard.
Verwendung seit 2010
Wie die Organisation mitteilte, setzt die französische Familienbeihilfe “Caisse nationale des allocations familiales” (CNAF) den Algorithmus bereits seit dem Jahr 2010 ein. Die Behörde ist zuständig für die Auszahlung von Finanzleistungen wie Wohngeld an bedürftige Familien. Eingeführt wurde der Algorithmus, um Personen zu identifizieren, die überhöhte Zahlungen erhalten und möglicherweise betrügen. Auch Fehler bei der Auszahlung von Leistungen sollen so aufgedeckt werden.
Nach Angaben der klagenden NGOs leben in Frankreich 32 Millionen Menschen in Haushalten, die Leistungen von der CNAF erhalten. Ihre personenbezogenen Daten würden von dem Algorithmus verarbeitet, um eine Risikobewertung vorzunehmen: Allen Empfängern von Familien- und Wohngeld wird dabei ein Risikowert zwischen null und eins zugewiesen. Je höher dieser Wert liegt, desto höher sei die Wahrscheinlichkeit, dass der Algorithmus sie markiert – und sie von Behördenmitarbeitern überprüft werden.
Aktivisten und Journalisten hatten Quellcode erhalten
Die Funktionsweise des Algorithmus ist bekanntgeworden, weil IT-Experten und Journalisten ihn untersuchen konnten. So hatte zunächst die französische Organisation La Quadrature du Net die Herausgabe von zwei Versionen erwirkt, die zwischen den Jahren 2010 und 2018 verwendet wurden.
Mitte 2023 hatten außerdem die Rechercheplattform Lighthouse Reports und die Tageszeitung Le Monde den Quellcode und die Dokumentation des Algorithmus aufgrund von Informationsfreiheitsgesetzen erhalten. Nach Angaben der Journalisten handelt es sich dabei um die Version, die seit 2020 landesweit verwendet wird.
Der Recherche der Journalisten zufolge soll der Algorithmus monatliche Überzahlungen ab 600 Euro aufdecken, die über einen Zeitraum von mindestens sechs Monaten erfolgt sind.
Der Risikowert berechne sich aus 33 Variablen. Die Kläger kritisieren, diskriminierende Parameter würden den Risikowert erhöhen. Dazu zählten beispielsweise ein geringes Einkommen, Arbeitslosigkeit oder eine Adresse in einem sozial benachteiligten Stadtteil.
Ungeprüfter Algorithmus
Die Behörde selbst hatte im Jahr 2023 gegenüber Le Monde behauptet, die Methode sei statistisch gesichert – aber keine Beweise für diese Aussage geliefert. Außerdem erklärte sie, der Algorithmus würde “ohne diskriminierende Absicht” verwendet. Der Direktor der CNAF hatte aber eingeräumt, dass niemals eine Prüfung auf Voreingenommenheit oder Diskriminierung stattgefunden habe.
Amnesty-Generalsekretärin Callamard sagte, Behörden würden die Einführung von Technologien mit einer gesteigerten Effizienz und der Aufdeckung von Betrug und Fehlern ankündigen. Tatsächlich aber würden Randgruppen stigmatisiert und es werde in ihre Privatsphäre eingegriffen.
Bastien Le Querrec von La Quadrature du Net kritisierte: “Dieser Algorithmus ist der Ausdruck einer Politik der Überwachung der ärmsten Menschen. Weil man sich in einer wirtschaftlich schwachen Position befindet, ist man in den Augen des Algorithmus verdächtig und wird daher überprüft. Das ist eine doppelte Bestrafung.”
Die Organisation kritisiert, der Algorithmus setze Armut mit einem Betrugsverdacht gleich. Bei Betroffenen erzeuge das große Ängste, weil beispielsweise die Auszahlung von Leistungen ausgesetzt werde. Die Praxis müsste daher verboten werden.
Amnesty International erklärte, keine individuellen Fälle von Personen untersucht zu haben, die vom CNAF-System markiert wurden. Vorausgegangene Untersuchungen in anderen Ländern deuteten jedoch darauf hin, dass solche Systeme Massenüberwachung ermöglichen. Nach Einschätzung von Amnesty steht die Menge der gesammelten Daten in keinem Verhältnis zum angeblichen Ziel des Einsatzes. Häufig würden die Algorithmen außerdem gar keinen Betrug aufdecken – ihr angebliches Ziel also nicht erfüllen.
KI-Regeln der EU
Amnesty weist auch auf das neue europäische KI-Gesetz hin: Demnach gelten KI-Systeme bei Behörden, die über den Zugang zu Leistungen entscheiden, als Hochrisikosysteme. Um sie einsetzen zu können, müssen strenge Vorschriften erfüllt werden. Im Vorfeld muss außerdem geprüft werden, welche Risiken für die Menschenrechte von den Systemen ausgehen.
Manche Systeme werden sogar komplett verboten. Allerdings ist bisher unklar, ob das CNAF-System unter ein solches Verbot fallen könnte. Die EU-Kommission wird entsprechende Leitlinien erst noch veröffentlichen.
Amnesty kritisiert, Frankreich habe die Verhandlungen zum KI-Gesetz der EU untergraben und Massenüberwachung legalisiert. Statt zu versuchen, ein internationales KI-Zentrum zu werden, müsse das Land aber seinen Menschenrechtsverpflichtungen nachkommen – und das Recht auf Nichtdiskriminierung schützen.
In den Niederlanden hat ein Gericht den Einsatz eines Algorithmus zur Risikobewertung in der Vergangenheit bereits gestoppt: Dort wurden Daten für eine automatische Risikoanalyse verknüpft, um Steuer- und Sozialbetrug aufzudecken. Aktivisten hatten dagegen geklagt. Die Richter stellten im Jahr 2020 fest, dass der Einsatz des Systems die Privatsphäre der Bürger missachtet und den sofortigen Stopp angeordnet. (js)