France : des organisations déposent plainte contre l'algorithme de la CNAF
En France, 15 organisations de la société civile déposent plainte contre l’utilisation d’un algorithme pour le paiement de prestations sociales comme
les allocations logement pour les familles. Celui-ci est censé détecter les erreurs relatives au versement de prestations sociales ; mais ces organisations dénoncent son fonctionnement discriminatoire.
Parmi les organisations, on compte Amnesty International, l’organisation de défenses des libertés numériques La Quadrature du Net, ainsi que La Ligue des droits de l’Homme. Ils ont déposé plainte ensemble auprès du Conseil d’État et demandent l’arrêt de l’utilisation de l’algorithme.
Agnès Callamard, secrétaire générale d’Amnesty International, a dénoncé le fait que ce système de « notation des risques » traite les personnes avec suspicion. Les personnes concernées seraient les personnes handicapées, les parents célibataires et en majorité les mères célibataires, ainsi que les personnes précaires. « Ce système va directement à l’encontre des standards des droits humains et viole le droit à l’égalité et à la non-discrimination, ainsi que le droit à la vie privée », affirme Mme Callamard.
Une utilisation depuis 2010
Comme l’organisation l’a rapporté, la CNAF utilise cet algorithme depuis 2010 déjà. Cette administration est en charge du versement de prestations sociales comme l’allocation logement pour les personnes précaires. L’algorithme a été introduit afin d’identifier les personnes qui perçoivent des prestations surestimées et commettent des fraudes. Les erreurs lors du versement de prestations devraient ainsi être découvertes.
D’après les données des organisations, 32 millions de personnes en France vivent dans des ménages recevant des prestations de la CNAF. Leurs données personnelles auraient été traitées afin d’effectuer une évaluation des risques : un score de risque de zéro à un est attribué à tous les destinataires d’aides familiales et relatives au logement. Plus cette valeur est élevée, plus il est probable que l’algorithme les signale, et qu’ils soient ainsi contrôlés par les employés de l’administration.
Des activistes et journalistes avaient reçu le code source
Le fonctionnement de l’algorithme a été connu parce que des experts en informatique et des journalistes ont pu l’examiner. Ainsi, l’organisation française La Quadrature du Net avait obtenu deux versions qui ont été utilisées entre 2010 et 2018.
Au milieu de l’année 2023, la plateforme d’enquête Lighthouse Reports et le journal quotidien Le Monde avaient de plus obtenu le code-source et de la documentation sur l’algorithme en vertu de lois sur la liberté de l’information. D’après les indications des journalistes (en anglais), il s’agit en l’occurrence de la version qui est utilisée au niveau national depuis 2010.
D’après l’enquête des journalistes, l’algorithme devrait détecter des trop-perçus de 600 € minimum qui ont été effectués sur une durée d’au moins six mois.
Le score de risque serait calculé à partir de 33 variables. Les plaignants dénoncent le fait que des paramètres discriminants augmenteraient le score de risque. Parmi eux, on compterait par exemple les revenus modestes, le fait d’être au chômage ou une adresse dans un quartier défavorisé.
Un algorithme non vérifié
L’administration elle-même avait affirmé en 2023 au Monde que la méthode serait étayée statistiquement, sans donner pour autant de preuves liées à cette affirmation. De plus, elle a déclaré que l’algorithme serait utilisé « sans intention de discrimination ». Le directeur de la CNAF avait cependant concédé qu’aucune vérification vis-à-vis de sa partialité ou de son caractère discriminatoire n’a eu lieu.
La secrétaire générale d’Amnesty a déclaré que les administrations présentent l’introduction de l’algorithme comme un moyen d’accroître l’efficacité et de détecter les fraudes et les erreurs. En pratique, des groupes marginalisés sont cependant stigmatisés et atteints dans leur vie privée.
Bastien Le Querrec, de La Quadrature du Net, a dénoncé la chose suivante : « Cet algorithme est la traduction d’une politique d’acharnement contre les plus pauvres. Parce que vous êtes précaire, vous serez suspect·e aux yeux de l’algorithme, et donc contrôlé·e. C’est une double peine. »
Cette organisation dénonce le fait que l’algorithme assimile pauvreté et suspicion de fraude. Chez les personnes concernées, cela susciterait des angoisses importantes car le versement des prestations pourrait par exemple être suspendu. Cette pratique devrait donc être interdite.
Amnesty International a déclaré ne pas avoir analysé de cas individuels qui avaient été notés par la CNAF. De précédentes analyses dans d’autres pays ont cependant indiqué que ce genre de système permettait une surveillance de masse. D’après l’évaluation d’Amnesty, la quantité de données collectées n’est pas proportionnées par rapport au but affiché de son utilisation. Fréquemment, les algorithmes ne révèleraient de plus aucune fraude et n’atteindraient donc pas leur objectif.
Règles de l’UE en matière d’IA
Amnesty fait également référence à la nouvelle règle de l’UE sur l’IA (en allemand) : d’après cette dernière, les systèmes d’IA utilisées par les administrations qui décident de prestations seraient des systèmes à haut risque. Pour pouvoir les utiliser, des conditions strictes doivent être remplies. Au préalable doit de plus être vérifié quels risques ces systèmes représentent pour les droits humains.
Certains systèmes sont mêmes totalement interdits. Cependant, on ne sait pas encore si le système de la CNAF pourrait tomber sous une telle interdiction. La Commission européenne n’a pas encore publié de lignes directrices à ce sujet.
Amnesty critique le fait que la France ait enterré les négociations sur la loi sur l’IA de l’UE ainsi que légalisé la surveillance de masse. Au lieu d’essayer de devenir un centre international de l’IA, le pays devrait respecter ses obligations en matière de droits humains.
Aux Pays-Bas, un tribunal a déjà interrompu par le passé l’utilisation d’un algorithme pour l’évaluation des risques, utilisé alors pour détecter des fraudes aux impôts ou aux aides sociales. Des activistes s’étaient plaints à ce sujet. Les juges ont constaté en 2020 que
l’utilisation de ce système ne respectait pas la vie privée des citoyens (en allemand) et ont ordonné sa mise à l’arrêt immédiate. (js)