Soziale Netzwerke: Wie Algorithmen Nutzer in rechtsextreme Echokammern führen
Das primäre Ziel der sozialen Netzwerke ist die zeitliche Bindung der Nutzer an den Bildschirm. Je länger der Nutzer in der App aktiv ist, desto mehr Zeit haben die Anbieter, um Werbung auszuspielen – entsprechend höher sind die Einnahmen. TikTok, Facebook, Instagram und Co. erfassen, auf welchen Inhalten die Nutzer länger verweilen und Algorithmen schlagen auf dieser Grundlage weitere, oft identische Inhalte vor.
Was aber passiert, wenn ein Account neu ist und der Nutzer nichts unternimmt, das den Algorithmen der sozialen Netzwerke die benötigten Informationen liefert? Das haben die zu Extremismus forschende Denkfabrik Institute for Strategic Dialogue (ISD) und die Onlinezeitung The Guardian unabhängig voneinander untersucht. Die präsentierten Ergebnisse sind nahezu identisch – und besorgniserregend.
Das Experiment
Das ISD und die australische Website des Guardian erstellten nach eigenen Angaben für jedes Netzwerk ein neues und unbelastetes Konto. Die Smartphones waren leer, die E-Mail-Adressen unbenutzt. The Guardian hat im Profil lediglich angegeben, männlich und 24 Jahre alt zu sein. Für den Versuch wurde ein iPhone in Melbourne genutzt. Das ISD macht keine näheren Angaben zu dem benutzten Account oder der eingesetzten Hardware.
Zur dauerhaften Bindung versuchen die sozialen Netzwerke Inhalte auszuspielen, die für den jeweiligen Nutzer interessant sind. Algorithmen ermitteln anhand von Likes, Kommentaren, der Verweildauer auf einem Beitrag oder welche Videos angeschaut werden, die vermeintlichen Vorlieben. So werden häufig ähnliche oder gleiche Inhalte vorgeschlagen, die Nutzer häufig in Echokammern oder sogenannten Blasen (Bubbles) führen.
Das ISD untersuchte ausschließlich TikTok, The Guardian überprüfte TikTok, Facebook und Instagram. Mit den nötigsten Angaben – bei Instagram etwa – und ohne Interaktionen wie Likes oder Kommentare sollten die Algorithmen gar nicht oder nur bedingt mit den erforderlichen Informationen versorgt werden.
Rechtspopulistische und extremistische Inhalte
Zunächst bekam The Guardian eigenen Angaben zufolge Inhalte über Melbourne und iPhone-Hacks vorgeschlagen – aufgrund des Standorts und Gerätetyps, der an die Plattformen übermittelt wird. Kurz darauf, im April 2024, ereignete sich ein Messerangriff auf einen erzkonservativen Bischof aus Sydney, der unter anderem das Judentum, den Islam und Homosexualität als ein “Verbrechen in Gottes Augen” kritisierte. Auf TikTok wurden fortan die christlich konservativen Predigten des Bischofs vorgeschlagen.
Selbst drei Monate später wurden ähnliche Inhalte angezeigt – neben Beiträgen, in denen sich “für die rechtspopulistische australische Politikerin Pauline Hanson und Donald Trump und gegen Einwanderer und LGBTQ” ausgesprochen wurde, berichtet The Guardian. Ein Video enthielt den Vorschlag, Dragqueens in einen Holzschredder zu stecken.
Auf Facebook wurden am dritten Tag des Guardian-Experiments ohne Interaktionen “Memes traditioneller Katholiken” und “sexistische Inhalte” vorgeschlagen – nach drei Monaten “äußerst sexistische und frauenfeindliche Bilder”. Ähnliche, in der Vergangenheit in Australien durchgeführte Experimente hätten zu gleichen Ergebnissen geführt und jungen Männern Inhalte aus der sogenannten “Mannosphäre” gezeigt. Als Mannosphäre wird ein loses und vorwiegend frauenfeindliches Online-Netzwerk bezeichnet, das mit Rechtsextremismus in Verbindung gebracht wird.
Die Vorschläge auf Instagram beinhalteten zwar “spärlich bekleideten Frauen”, der Feed sei aber “weitgehend harmlos” gewesen, so The Guardian.
Nicholas Carah, Professor für digitale Medien an der Universität von Queensland, sagte, das Guardian-Experiment zeige, wie “eingefahren” das Angebot solcher Inhalte für junge Männer auf Facebook sei. “Wir müssen ernsthaft über das Informationsumfeld nachdenken, in das junge Männer eintauchen.” Die Ministerin für soziale Dienste Australiens, Amanda Rishworth, sagte, wenn diese Inhalte in den Feeds junger Männer ohne jegliche Interaktion auftauchen würden, müssten die Social-Media-Unternehmen mehr tun.
Schneeballsystem
Dem ISD zufolge haben die Algorithmen auf TikTok unmittelbar nach Testbeginn erste Videos mit rechtsextremistischen Inhalten empfohlen. Je mehr rechtsextremistische Inhalte mit dem Account angeschaut wurden oder darauf verweilt wurde, desto häufiger wurden mehr identische Inhalte vorgeschlagen – inklusive Inhalte von bislang unbekannten Nutzern. Gerade jüngere Menschen gerieten so schnell in einen Teufelskreis. Das ISD spricht von einem Schneeballsystem.
TikTok beherberge Hunderte Konten, “die offen den Nationalsozialismus unterstützen.” Rechtsextreme nutzen die Plattform, um ihre Ideologien und Propaganda zu verbreiten, wie die Untersuchung des Instituts zeige.
Neonazis und Rassisten verbreiten auf der Video-Plattform Inhalte, die etwa den Holocaust leugnen oder Hitler und Nazi-Deutschland verherrlichen und als Lösung gegenwärtiger Probleme präsentieren. Videos von Hitler-Reden, die mithilfe von maschinellem Lernen in weitere Sprachen übersetzt wurden, “modernisieren die Nazi-Propaganda” und erreichen ein breiteres internationales Publikum, beobachtet das ISD. Mit einigen Tricks entziehen sich die Inhalteersteller der Moderation und automatischen Überprüfung. TikTok selbst komme kaum dagegen an und mache es den Akteuren nicht besonders schwer.
Unter dem Radar
Den Richtlinien TikToks und Metas zufolge sind das Fördern von Gewalt, Diskriminierung, jeglicher hasserfüllter Ideologien – einschließlich des Leugnens des Holocaust – und verschwörerische Aussagen nicht erlaubt. Diverse Kanäle umgehen die Moderation laut ISD jedoch mit verschlüsselter Sprache, Bildern oder Songs.
Extremisten nutzen etwa kodierte Emojis, Akronyme und Zahlen sowie harmlose, nostalgische Bilder mit europäischer Architektur zur Tarnung. Mit Songs aus der Techno-Ära unterlegt, würden Extremisten beispielsweise “Foto-Slideshows und Zusammenstellungen prominenter Faschisten” veröffentlichen. In vielen Fällen hätten die ISD-Forscher extremistische Inhalte leichter aufspüren können, indem sie durch relevante Musik navigierten, statt nach relevanten Schlüsselwörtern zu suchen.
Meta setzt bei der Überwachung der Inhalte auf Algorithmen und Nutzer-Meldungen. Laut Transparenzbericht stoßen 0,02 Prozent (Facebook) beziehungsweise 0,03 Prozent (Instagram) der Nutzer auf hasserfüllte Beiträge und Kommentare, die von Metas Kennzeichnungs- und Löschprozessen nicht erfasst werden. Facebook habe derzeit etwa 3,24 Milliarden aktive Nutzer pro Tag.
Älteren Recherchen zufolge sind rechtsextreme Akteure überwiegend in geschlossenen Benutzergruppen aktiv und Facebook habe gewusst, dass ein “Algorithmus für das Wachstum von rechtsextremen Facebook-Gruppen mitverantwortlich ist”.
Auch bei 50 (von 200) vom ISD identifizierten und gemeldeten Konten, die offensichtlich gegen die Richtlinien verstoßen hatten, wurden seitens TikTok zunächst keine Verstöße festgestellt. Sämtliche Konten seien zunächst weiterhin online gewesen. Nach 14 Tagen waren dann 15 und nach einem Monat 23 der 50 gemeldeten Konten gesperrt, die bis zur Sperre mindestens zwei Millionen Aufrufe verbuchen konnten, so der Bericht. Inhalteersteller auf TikTok hätten zudem ausreichend Zeit, um auf eine bevorstehende Kontosperre zu reagieren und auf einen anderen Account auszuweichen – inklusive Abonnenten.
TikTok ist dem ISD zufolge “im Grunde genommen nicht für die koordinierte Verbreitung von Hassreden gerüstet”. “Der Erfolg besteht nicht darin, alle Formen des Nazismus in dem Moment zu beseitigen, in dem sie auf den Plattformen auftauchen, sondern darin, die Eintrittsbarriere ausreichend zu erhöhen.”
Die reale Gefahr
Die Beweise für “Rekrutierungsbemühungen und reale Schäden” in den analysierten Pro-Nazi-Netzwerken seien alarmierend. Mehrere real existierende faschistische oder rechtsextreme Organisationen rekrutierten offen auf TikTok und versuchen die Nutzer in einen sicheren Gruppenchat zu bringen. In den Kommentarabschnitten hätten Nutzer erklärt, dass sie diesen Gruppen auch außerhalb der Plattform beigetreten sind.
Das zeige, wie TikTok zur Koordinierung und Mobilisierung möglicher terroristischer Aktivitäten unter Neonazis genutzt werde.
Zu den realen Gefahren Metas zählen zusätzlich psychische Belastungen. Instagram etwa sei bei Teenagern – vor allem bei Mädchen – für die Zunahme von Angstzuständen und Depressionen verantwortlich. Bei dem Fotodienst liege der Fokus “extrem auf dem Körper und Lebensstil”. Dass Meta lange davon wusste und die Tatsachen bewusst ignorierte, wurde aus internen Studien des Meta-Konzerns bekannt, die die Whistleblowerin Frances Haugen 2021 öffentlich machte. Haugen arbeitete als Produktmanagerin bei Meta. Sie warf dem Unternehmen vor, Profite über die Sicherheit seiner Nutzer und das Gemeinwohl zu stellen.
Dem Gewinn verpflichtet
Es sind aber nicht nur die Inhalte: Im vergangenen Jahr hat die Menschenrechtsorganisation Global Witness einen Test in Südafrika durchgeführt, bei dem Werbeanzeigen mit “extrem hasserfüllte” Botschaften bei drei großen Anbietern eingereicht wurden. Facebook, YouTube und TikTok haben die Werbung auf ihren Plattformen genehmigt, obwohl die Inhalte gegen die eigenen Richtlinien verstießen. Untersuchungen in weiteren Ländern, darunter auch Irland, hätten ebenfalls eklatante Lücken bei den Anbietern aufgezeigt .
Jordan McSwiney, Senior Research Fellow am Centre for Deliberative Democracy and Global Governance der Universität Canberra, sagt: “Wir wissen, dass diese Plattformen nicht mit irgendeiner Art von sozialer Lizenz arbeiten. Sie sind nicht wie ein öffentlicher Rundfunk oder so. Sie sind nur einer Sache verpflichtet, und das ist ihr Gewinn.” (bme)