EU-Kommission will Gesichtserkennung zu Fahndungszwecken erlauben
Die EU-Kommission hat am Mittwoch einen Verordnungsentwurf für den Einsatz von künstlicher Intelligenz vorgestellt. Unter anderem sollen sogenannte Hochrisiko-Anwendungen stärker reguliert werden. Dazu zählen die Verfasser unter anderem KI-gestützte Bewertungen von Bewerbungen und Prüfungen, Einschätzungen der Kreditwürdigkeit, KI-Unterstützung bei der Strafverfolgung, in der Migrations- und Grenzkontrolle und bei kritischen Infrastrukturen wie dem Verkehrssektor.
Den Einsatz von Gesichtserkennungssystemen will die Kommission – für bestimmte Zwecke – erlauben. Staatliches Social Scoring, wie es in China betrieben wird, soll in der EU verboten werden. Dabei geht es um die Bewertung von Menschen anhand ihres Verhaltens, zum Beispiel mithilfe eines Punktesystems. Privatunternehmen sollen solche Anwendungen innerhalb gesetzlicher Grenzen aber einsetzen dürfen.
Für KI-Anwendungen mit “unannehmbaren Risiko” sieht die EU-Komission ein grundsätzliches Verbot vor. Dazu zählen laut Entwurf KI-Systeme, “die menschliches Verhalten manipulieren, um den freien Willen der Nutzer zu umgehen”. Beispiel sei “Spielzeug mit Sprachassistent, das Minderjährige zu gefährlichem Verhalten ermuntert”.
EU-Kommissionsvizepräsidentin Margrethe Vestager und Binnenmarktkommissar Thierry Breton erklärten zur Veröffentlichung ihres Entwurfes: “Unsere Vorschriften werden zukunftssicher und innovationsfreundlich sein und nur dort eingreifen, wo dies unbedingt notwendig ist, nämlich wenn die Sicherheit und die Grundrechte der EU-Bürger auf dem Spiel stehen”, pries Vestager den Entwurf an. Über die Vorschläge der EU-Kommission müssen nun die EU-Staaten und das Europaparlament verhandeln. Nach Einschätzung der Nachrichtenagentur dpa wird es etwa zwei Jahre dauern, bis die neuen Regeln in der EU in Kraft treten könnten.
Künstliche Intelligenz zur militärischen Anwendung ist von den Regelungen ausgenommen. Hier forderte das EU-Parlament Ende Januar zukünftig Regelungen auf UN-Ebene.
Biometrische Personenerkennung
Grundsätzlich will die Kommission den Einsatz von Gesichtserkennung und anderen biometrischen Erkennungsverfahren im öffentlichen Raum verbieten. Es werden aber teils weit greifende “unbedingt notwendige” Ausnahmen definiert, sodass kaum noch von einem Verbot gesprochen werden kann.
Gesichtserkennung und biometrische Verfahren sollen bei der Suche nach Opfern einer Straftat, terroristischen Bedrohungen oder bei Gefährdung von Leib und Leben eingesetzt werden dürfen. Suchen die Behörden Verdächtige, soll bei schweren Straftaten mittels Gesichtserkennung im öffentlichen Raum gefahndet werden dürfen. Die Pläne sehen vor, dies bei Straftaten zu erlauben, für die eine maximale Haftstrafe von drei Jahren oder mehr im jeweiligen Land vorgesehen ist. Welche Art von Straftaten zur Überwachung der Öffentlichkeit berechtigen sollen, steht in einer EU-Rahmenvereinbarung in Artikel 2, Abs. 2, auf die sich der Entwurf bezieht. So dürfte die Gesichtserkennung unter anderem bei der Suche nach Drogendealern, Betrügern, bei IT-Angriffen (“Cyberkriminalität”), Dokumentenfälschung oder bei Korruption eingesetzt werden.
Zur Kontrolle soll eine Justizbehörde oder eine unabhängige Verwaltungsbehörde der jeweiligen Maßnahme im Einzelfall zustimmen müssen. Einen Richtervorbehalt sieht der Kommissionsentwurf nicht vor. “In einer hinreichend begründeten dringenden Situation” könnte aber auch ohne Erlaubnis mit der Massenüberwachung begonnen werden. Es würde dann reichen, die Genehmigung während des laufenden Betriebs oder gar danach einzuholen.
In welchem Umfang die Mitgliedsstaaten die Gesichtserkennung im öffentlichen Raum im eigenen Land ermöglichen, können sie selbst entscheiden.
Pilotprojekte zur öffentlichen Gesichtserfassung hatten in der Vergangenheit gezeigt, dass beim Einsatz automatisierter Gesichtserkennungssysteme eine Vielzahl unschuldiger Menschen erfasst und analysiert wird und es zu einem erheblichen Teil zu Fehlerkennungen kommt.
Social Scoring
Staatliches Social Scoring, wie aus China bekannt, soll verboten sein. Privatwirtschaftliche Anwendungen wären aber unter Bedingungen erlaubt – das bestätigte auch der Hamburger Medienrechtler Stephan Dreyer gegenüber der Nachrichtenseite heise online.
Der Kommissionsentwurf lässt viel Freiraum: Verboten wären solche Scoring-Systeme nur, wenn die Daten nicht zweckgebunden, sondern allgemein erfasst werden und daraus eine generelle Bewertung der Person resultiert. Laut Entwurf dürfe durch die Bewertung keine “nachteilige Behandlung” erfolgen, “die die Grundrechte und -freiheiten natürlicher Personen nachteilig beeinflussen und einschränken”.
Verboten werden sollen auch KI-Praktiken, “die ein erhebliches Potenzial haben, Personen durch unterschwellige Techniken außerhalb ihres Bewusstseins zu manipulieren”. Welche Bereiche unter diese Definition fallen, ist noch unklar. Je nach Auslegung könnten auch soziale Netzwerke oder personalisierte Werbung betroffen sein.
Von den meisten bereits verbreiteten KI-Anwendungen gehen nach Ansicht der EU-Kommission jedoch keine oder nur geringe Risiken aus. Für sie sollen daher deutlich weniger strenge Auflagen gelten. Bei Chatbots sollen die Nutzer beispielsweise transparent darüber informiert werden müssen, dass sie nicht mit einem Menschen kommunizieren.
“Tür offen für Missbrauch und Diskriminierung”
“Es ist ein Schlag ins Gesicht der Zivilgesellschaft, dass ein klares Verbot von Gesichtserkennung im öffentlichen Raum fehlt”, erklärte die Grünen-Europaabgeordnete Alexandra Geese. Dem Entwurf fehle an entscheidenden Stellen der Biss. Geese fordert nicht nur Regeln für Anwendungen, die Individuen Schaden zufügen, sondern auch welche, die der gesamten Gesellschaft schaden, “weil sie die Demokratie gefährden oder die Umwelt unverhältnismäßig belasten”.
Erst Mitte Februar hatte das Bündnis “Reclaim Your Face” ein europaweites Verbot von biometrischer Überwachung gefordert. Dazu starteten 50 Organisationen eine europaweite Bürgerinitiative – mit dabei sind unter anderem der Chaos Computer Club (CCC), Digitalcourage, Access Now und Amnesty International. Das Bündnis forderte die EU-Kommission dazu auf, “den Einsatz biometrischer Technologien streng zu regeln, um jegliche unzulässige Eingriffe in die Grundrechte zu verhindern”. Entsprechende Systeme sollten von öffentlichen oder privaten Stellen weder entwickelt noch eingesetzt werden dürfen. Die Verwendung biometrischer Daten könne zu “unnötigen oder unverhältnismäßigen Eingriffen in die Grundrechte der Menschen führen".
Claudia Prettner von Amnesty International sieht Social-Scoring-Systeme durch den Gesetzentwurf als ungenügend reguliert an und verweist auf Lücken. “Und was ist mit dem Verbot von Social-Scoring-Systemen? Sie sind verboten, wenn sie nicht gerechtfertigt oder unverhältnismäßig in Bezug auf die Schwere des Sozialverhaltens der Menschen sind. Aber wer definiert, was gerechtfertigt oder verhältnismäßig ist und was ist ‘gutes’ und ‘schlechtes’ Sozialverhalten? Das lässt die Tür offen für Missbrauch und Diskriminierung”, schreibt sie auf Twitter.
Der Bundesverband der Verbraucherzentrale (vzbv) äußert ebenfalls seinen Missmut über den Entwurf. Der Verband sieht den Schutz der Verbraucher vernachlässigt. Er kommentiert: “Somit bleiben Verbraucher in vielen Bereichen ungeschützt. Etwa vor wirtschaftlichen Schäden, die entstehen, wenn KI-Systeme Menschen etwa auf Grund von KI gestützten Persönlichkeitsanalysen systematisch Zugang zu Dienstleistungen verweigern oder sie von ganzen Märkten ausschließen.” Es fehle außerdem an Transparenz. Damit die Verbraucher ihre Rechte wahrnehmen könnten, bräuchten sie “deutlich mehr Informationen” beispielsweise zu Risiken, Fehlergenauigkeit sowie die Datengrundlage einer Entscheidung. “Statt einer unabhängigen Kontrollinstanz, sollen Anwender größtenteils selber kontrollieren, ob hochriskante KI-Systeme Qualitätsvorgaben einhalten und rechtskonform sind. Das schadet dem Vertrauen in und der Akzeptanz von KI”, stellt der Verband fest.
Hohe Strafen vorgesehen
Herstellern, die gegen die neuen Regeln verstoßen, sollen hohe Strafen von bis zu 30 Millionen Euro oder bis zu sechs Prozent des globalen Jahresumsatzes drohen.
Nationale Behörden sollen die neuen Regeln durchsetzen. Als Vorbild dienen dabei die Aufsichtsstrukturen für Produktsicherheit. Auch soll ein Europäischer Ausschuss für Künstliche Intelligenz geschaffen werden, um die nationalen Stellen in rechtlichen Fragen zu unterstützen. (hcz)