YouTube supprime plus de 1000 vidéos générées par IA

Gefälschtes KI-Video
10 dollars américains pour un MacBook directement offert par Jennifer Aniston — ce qui est trop beau pour être vrai est presque toujours une arnaque. (Source : Reddit – Screenshot Posteo)

Qu’est-ce qui est authentique et qu’est-ce qui est généré par ordinateur ? En ce qui concerne les images et les vidéos, la distinction est de plus en plus difficile à faire, car l’intelligence artificielle (IA) peut générer ce genre de contenu de manière de plus en plus crédible. Sur la plateforme vidéo YouTube, cela a récemment donné lieu à une avalanche de fausses annonces et de vidéos publicitaires dans lesquelles des images et des voix de célébrités créées par IA tentaient d’attirer les utilisateurs dans des arnaques et de leur vendre par exemple des complémentaires santé douteuses.

La plateforme vidéo est désormais intervenue contre les vidéos fictives et en a supprimé plus de 1000. Les comptes d’utilisateurs utilisés pour le téléchargement ont également été bloqués. YouTube a réagi aux résultats de l’enquête du site d’information 404 Media.

Dans les annonces et les vidéos, des faux générés par IA de célébrités américaines telles que Taylor Swift, Steve Harvey ou Joe Rogan auraient promu des arnaques. Tant les utilisateurs de YouTube que les célébrités elles-mêmes s’étaient apparemment régulièrement plaints auprès de YouTube de ces contenus falsifiés. Malgré cela, le contenu serait resté en partie pendant des mois sur la plateforme.

Le problème continue

Le problème n’est pas résolu avec la suppression : YouTube a reconnu être « conscient d’une tendance émergente » dans laquelle de fausses vidéos simulent le soutien d’une célébrité ou son lien avec le produit en question.
404 Media rapporte également (en anglais) de nouvelles annonces sur YouTube utilisant abusivement des voix et vidéos de célébrités générées par IA.

Dans un exemple, une fausse Jennifer Aniston annonce vendre des MacBooks pour 10 dollars américains – donc quasiment les offrir. Il suffirait pour cela de visiter « sa » page. Outre le contenu peu crédible, il est difficile d’identifier l’image et le son comme des contrefaçons utilisant l’IA sans être expert : tant la femme représentée que sa voix semblent authentiques.

Dans une autre vidéo, une fausse voix de l’ex-président Donald Trump met en garde contre la menace d’une troisième guerre mondiale et d’une « attaque silencieuse et indétectable » contre l’Amérique, qui entraînerait une crise alimentaire et provoquerait l’effondrement de la civilisation. On n’y voit en revanche pas Trump.

Pour ne pas être victime de ce scénario horrifique et pour protéger sa propre famille d’un naufrage imminent, il existerait une solution : « Trump » recommande de se procurer un mètre de câble en cuivre et d’écouter le podcast de Teddy Daniels, un ancien candidat au poste de gouverneur de Pennsylvanie. La vidéo (en anglais) est déjà en ligne depuis plus de deux mois et a été visionnée plus de 660 000 fois.

Les fausses vidéos de Trump en rapport avec Teddy Daniels ont également circulé sur Facebook. Et les contrefaçons d’Aniston seraient aussi apparues, d’une manière ou d’une autre, sur d’autres réseaux sociaux comme Instagram et TikTok (en anglais).

Google réagit

Un porte-parole de Google a déclaré à 404 Media que l’entreprise vérifiait les annonces signalées et les avait déjà supprimées à plusieurs reprises. Les vidéos d’IA violeraient les règles de la plateforme, comme l’interdiction des pièges à clics. « Nous travaillons constamment à l’amélioration de nos systèmes de contrôle afin de garder une longueur d’avance sur les dernières tendances et tactiques de fraude et de nous assurer que nous pouvons réagir rapidement aux nouvelles menaces », a promis Google.

YouTube affirme être conscient des fausses publicités impliquant des célébrités et des tentatives de fraude. Pour lutter contre ce phénomène, le groupe investirait dans la technologie de reconnaissance automatique des images, qui doit également permettre de vérifier l’authenticité des célébrités dans les vidéos.

Des nus générés par IA

Le week-end dernier, la plateforme de réseaux sociaux X n’a pas trouvé mieux que de bloquer temporairement la recherche « Taylor Swift » pour tous les utilisateurs en raison de fausses images pornographiques. Des représentations sexuelles générées par ordinateur ayant l’apparence de la chanteuse étaient apparues auparavant en masse sur la plateforme. Le directeur de X, Joe Benarroch, a déclaré au service financier Bloomberg et au « Wall Street Journal » que les tentatives de continuer à publier ces images seraient surveillées de près.

Elles auraient été créées à l’aide du programme d’intelligence artificielle « Designer » de Microsoft. Microsoft n’a pas voulu confirmer cette information à 404 Media dans un premier temps, mais a indiqué que les conditions d’utilisation du logiciel interdisaient la création de contenus à caractère sexuel. De plus, des mécanismes de sécurité seraient intégrés dans le programme et seraient régulièrement améliorés. (hcz)