Dänemark: Amnesty kritisiert Einsatz von Algorithmen durch Sozialbehörde
Die dänische Sozialbehörde versucht, mithilfe von Algorithmen Leistungsbetrug aufzuspüren – und hat damit ein System zur Massenüberwachung geschaffen, berichtet Amnesty International. Die Organisation kritisiert, das System untergrabe die Privatsphäre und die Menschenwürde – und es könnte sogar unter ein neues EU-Verbot fallen.
Amnesty hat für den neuen Bericht “Überwachung und Diskriminierung in Dänemarks automatisiertem Wohlfahrtsstaat” den Einsatz von Algorithmen durch die dänische Sozialbehörde “Udbetaling Danmark” (UDK) untersucht. Sie wurde im Jahr 2012 eingerichtet, um die Auszahlung von staatlichen Leistungen zu zentralisieren – darunter Kinder-, Kranken-, Wohn- und Arbeitslosengeld. Gemeinsam mit privatwirtschaftlichen Unternehmen hat die Behörde Algorithmen entwickelt, mit deren Hilfe möglicher Leistungsbetrug identifiziert werden soll.
Insgesamt kommen bis zu 60 Algorithmen zum Einsatz, die Personen gegebenenfalls für weitere Ermittlungen durch die Behörden markieren. Amnesty hatte während der Untersuchung eigenen Angaben zufolge partiellen Zugang zu vier der verwendeten Algorithmen.
Zusammenführung von Daten
Für die Betrugserkennung greift die Behörde auf staatliche Datenbanken zu, die Informationen über Leistungsempfänger und ihre Familienangehörige sowie andere Haushaltsmitglieder enthalten. Laut Bericht werden die personenbezogenen Daten von Millionen Menschen auf diese Weise verknüpft oder zusammengeführt. Zu den verarbeiteten Daten zählen demnach Informationen zum Wohnsitz oder Wohnortwechseln, zur Staatsangehörigkeit, dem Geburtsort und den Familienverhältnissen. Auch Steuer- und Gesundheitsdaten sowie Angaben zum Bildungsstand, zur Beschäftigung und zum Einkommen würden verarbeitet.
Das System analysiere diese und weitere Daten, um eine Liste von Personen zu erstellen, bei denen angeblich ein hohes Betrugsrisiko besteht. Deren Fälle würden dann von Sachbearbeitern weiter geprüft.
Hellen Mukiri-Smith, Amnesty-Expertin für künstliche Intelligenz und Menschenrechte, sagte: “Diese weitreichende Überwachungsmaschine wird eingesetzt, um das Leben einer Person zu dokumentieren und ein Panoramabild zu erstellen, das oft nichts mit der Realität zu tun hat. Sie verfolgt und überwacht, wo ein Leistungsempfänger lebt, arbeitet, seine Reisegeschichte, seine Gesundheitsdaten und sogar seine Verbindungen ins Ausland.”
Bestehende Ungleichheiten
Amnesty kritisiert, die Algorithmen würden in einem Umfeld bereits bestehender Ungleichheiten innerhalb der dänischen Gesellschaft verwendet. Diese diskriminierenden Strukturen seien auch in die Algorithmen eingebettet – Menschen würden aufgrund vermeintlicher “Andersartigkeit” kategorisiert.
So habe die NGO bei ihrer Untersuchung festgestellt, dass die Betrugserkennung in besonderer und unverhältnismäßiger Weise auf bereits marginalisierte Gruppen abzielt, die als “anders” angesehen würden, weil sie etwa “ungewöhnliche” Lebensverhältnisse hätten. Solche Gruppen würden von den Behörden des Betrugs verdächtigt oder als nicht bezugsberechtigt eingestuft. Diese Kategorisierung berge die Gefahr, dass beispielsweise einkommensschwache Personen, Migranten und Geflüchtete, ethnische Minderheiten oder auch Menschen mit Behinderung diskriminiert werden.
Um beispielsweise Betrugsfälle beim Kindergeld und Rentenzuschüssen festzustellen, wird laut Bericht versucht, “ungewöhnliche” oder “atypische” Lebensverhältnisse zu erkennen. Amnesty kritisiert, es sei nicht klar definiert, was genau darunter zu verstehen ist – was zu willkürlichen Entscheidungen führen könne.
Mukiri-Smith erklärte, Menschen in nicht-traditionellen Lebenskonstellationen liefen Gefahr, vom Algorithmus für weitere Untersuchungen ausgewählt zu werden. Das könne beispielsweise Menschen treffen, die verheiratet sind, aber nicht in einem Haushalt leben. Auch Menschen in einem Mehrgenerationenhaushalt, was in Migrantengemeinschaften üblich sei, könnten betroffen sein.
Algorithmus soll Bindung ins Ausland prüfen
Beim Kindergeld versuchen die Algorithmen zudem festzustellen, ob eine Person eine “starke Bindung” zu einem Land außerhalb des Europäischen Wirtschaftsraums (EWR) hat. Betroffene würden bei weiteren Untersuchungen priorisiert. Hintergrund sei, dass die UDK befürchtet, dass Leistungsempfänger im Ausland leben, ohne die Behörde darüber zu informieren – und in der Folge unberechtigt weiter Leistungen ausgezahlt bekommen.
Amnesty kritisiert, diese Untersuchung basiere nicht auf objektiven Kriterien, sondern die “Bindungsstärke” werde im Verhältnis zu anderen Leistungsempfängern festgelegt, die als “Norm” angesehen werden. So würden beispielsweise Angaben über Ein- und Ausreisen und eine Wohnung im Ausland verarbeitet. Auch die Kinderzahl und die Staatsangehörigkeit würden verarbeitet.
Die UDK erklärte gegenüber Amnesty, die Verwendung der Staatsangehörigkeit als Parameter sei keine Verarbeitung sensibler personenbezogener Daten. Die NGO kritisiert hingegen, aus der Staatsangehörigkeit könne unter Umständen auch die Ethnie oder der Migrationsstatus von Betroffenen abgelesen werden. Die Verwendung solcher Kriterien ziele eindeutig auf Personen aus Ländern außerhalb des EWR ab – und stelle eine Diskriminierung aufgrund von Nationalität, ethnischer Zugehörigkeit und Migrationsstatus dar.
Um diese umfassende Datenverarbeitung zu ermöglichen, hat Dänemark entsprechende Gesetze erlassen. Amnesty kritisiert jedoch, es würden sensible Daten verarbeitet – dieser Eingriff in die Privatsphäre von Betroffenen sei weder notwendig noch verhältnismäßig, wie von internationalen Menschenrechtsverträgen verlangt wird.
Kontrollen “fressen” Betroffene auf
Die Organisation hat auch mit Verbänden und Betroffenen gesprochen. Eine Person berichtete Amnesty International beispielsweise, immer Angst zu haben, das Ziel von Ermittlungen wegen mutmaßlichem Leistungsbetrug zu werden. Gitte Nielsen von der Dansk Handicap Foundation berichtete von Menschen mit Behinderung, die ständigen Befragungen ausgesetzt seien und sich fühlten, als würde sie die Kontrolle “auffressen”.
Das dänische System ermöglicht laut Bericht zudem nicht nur, Antragsteller und Leistungsempfänger zu überwachen, sondern stellt auch eine Barriere für den Zugang zu Sozialleistungen dar. Dazu zählten beispielsweise Frauen in Notunterkünften. Diese hätten teils keinen Zugang zu Computern mit Internetanschluss, die für Leistungsanträge nötig sind. Menschen mit Behinderung würden teils ebenfalls ausgeschlossen – selbst ein neuer Rollstuhl lasse sich nur digital beantragen.
Die Behörden haben gegenüber Amnesty außerdem bestätigt, bei der Bearbeitung vermeintlicher Betrugsfälle auch Social-Media-Profile von Betroffenen auszuwerten. Dieses Vorgehen könne die Rechte auf Privatsphäre, Meinungsfreiheit, und soziale Sicherheit bedrohen. Menschen so zu überwachen habe außerdem eine abschreckende Wirkung – sie könnten sich selbst zensieren, erklärt die Organisation.
Außerdem warnt Amnesty vor aus Beiträgen in den sozialen Medien abgeleiteten falschen Entscheidungen: Denn solche Postings spiegelten nicht immer die realen Lebensumstände einer Person wider. Die NGO fordert einen Stopp dieser Praxis.
Menschenrechtsverstöße würden auch begünstigt, weil die gesamte Datenauswertung durch die UDK nicht ausreichend unabhängig kontrolliert werde. Amnesty fordert daher die Schaffung einer unabhängigen Kontrollinstanz. Auch die dänische Datenschutzaufsicht müsse die Datenverarbeitung untersuchen.
Nach Einschätzung der NGO könnte das dänische System zudem unter das Verbot von “Social Scoring” nach dem neuen EU-KI-Gesetz fallen. Die dänischen Behörden sollten das System zumindest nicht weiter einsetzen, bis geklärt ist, ob es unter die EU-Vorgaben fällt. Auch die Verwendung von Daten über “ausländische Zugehörigkeit” müsse verboten werden.
Internationale Menschenrechtsverträge, EU-Gesetze und nationales Recht würden Dänemark zum Schutz der Rechte auf Privatsphäre, Datenschutz, Meinungsfreiheit, Gleichberechtigung und Nichtdiskriminierung verpflichten. Hellen Mukiri-Smith sagte: “Diese Rechte sind nicht nur die treibende Kraft einer gerechten Gesellschaft, sie ermöglichen auch einen fairen Zugang zu sozialer Sicherheit, Gesundheitsfürsorge und vielem mehr.”
Gemeinsam mit weiteren NGOs hatte Amnesty in Frankreich erst vor einigen Wochen Klage gegen einen Sozialhilfe-Algorithmus eingereicht. Sie bemängeln Diskriminierung und fordern ein Verbot. (js)