Danemark : Amnesty critique l’utilisation d’algorithmes par les services sociaux
L’organisme danois de protection sociale tente d’utiliser des algorithmes pour détecter les fraudes aux prestations et a ainsi créé un système de surveillance de masse, rapporte Amnesty International. L’ONG critique le système, l’accusant de porter atteinte à la vie privée et à la dignité humaine – d’ailleurs, ce système pourrait tomber sous le coup d’une nouvelle interdiction de l’UE.
Dans le cadre du nouveau rapport intitulé « Surveillance et discrimination dans l’État providence automatisé du Danemark », Amnesty a enquêté sur l’utilisation d’algorithmes par l’organisme public danois de protection sociale « Udbetaling Danmark » (UDK). Ce service a été créé en 2012 pour centraliser le versement des prestations de l’État, dont les allocations familiales ainsi que celles de santé, de logement et de chômage. En collaboration avec des entreprises privées, l’organisme a développé des algorithmes pour aider à identifier les fraudes potentielles aux prestations.
Au total, jusqu’à 60 algorithmes sont utilisés, qui ciblent des individus pour une enquête plus approfondie par les autorités. Au cours de ses recherches, Amnesty a eu un accès partiel à quatre des algorithmes utilisés.
Fusion des données
Pour détecter les fraudes, l’organisme accède aux bases de données gouvernementales contenant des informations sur les bénéficiaires et les membres de leur famille ainsi que d’autres membres du ménage. Selon le rapport, les données personnelles de millions de personnes sont combinées ou fusionnées de cette manière. Les données traitées comprennent donc des informations sur le lieu de résidence ou les changements d’adresses, la nationalité, le lieu de naissance et les relations familiales. Des données fiscales et sanitaires ainsi que des informations sur l’éducation, l’emploi et les revenus sont également traitées.
Le système analyse ces données et d’autres données pour créer une liste de personnes qui sont considérées comme étant à haut risque de fraude. Leurs cas seraient ensuite examinés plus en détail par des agents.
Hellen Mukiri-Smith, experte d’Amnesty International sur l’intelligence artificielle et les droits humains, a déclaré : « Cette machine de surveillance de grande envergure est utilisée pour documenter la vie d’une personne et créer une image panoramique qui n’a souvent rien à voir avec la réalité. Elle suit et surveille l’endroit où vit et travaille un bénéficiaire, les voyages qu’il a effectués, ses données de santé et même ses connexions à l’étranger. »
Inégalités existantes
Amnesty critique le fait que les algorithmes sont utilisés dans un environnement où des inégalités existent déjà au sein de la société danoise. Ces structures discriminatoires sont également intégrées dans les algorithmes – les individus sont catégorisés sur la base d’une supposée « altérité ».
Dans son enquête, l’ONG a constaté que la détection de la fraude vise de manière particulière et disproportionnée des groupes déjà marginalisés qui sont considérés comme « différents » parce qu’ils ont des conditions de vie « inhabituelles ». Ces groupes sont soupçonnés de fraude par les autorités ou seraient considérés comme non éligibles. Cette catégorisation comporte le risque que, par exemple, les personnes à faible revenu, les migrants et les réfugiés, les minorités ethniques ou même les personnes handicapées soient victimes de discrimination.
Par exemple selon le rapport, des tentatives sont faites pour identifier des conditions de vie « inhabituelles » ou « atypiques » afin de détecter les fraudes aux allocations familiales et aux allocations de retraite. Amnesty critique l’absence de définition claire de ce que cela signifie exactement – ce qui pourrait conduire à des décisions arbitraires.
Mukiri-Smith a expliqué que les personnes vivant dans des constellations de vie non traditionnelles risquaient d’être sélectionnées par l’algorithme pour une investigation plus approfondie. Par exemple, cela pourrait toucher des personnes mariées mais ne vivant pas sous le même toit. Les personnes vivant dans un foyer multigénérationnel – ce qui est courant dans les communautés migrantes – pourraient également être visées.
L’algorithme est censé examiner les liens avec l’étranger
Dans le cas des allocations familiales, les algorithmes tentent également de déterminer si une personne a un « lien fort » avec un pays en dehors de l’espace économique européen (EEE). Les personnes concernées seraient alors priorisées pour de plus amples enquêtes. Le contexte est que l’UDK craint que les bénéficiaires de prestations vivent à l’étranger sans en informer les autorités – et en conséquence, continuent de percevoir des prestations injustifiées.
Amnesty critique que cette enquête ne repose pas sur des critères objectifs, mais que le « lien d’attachement » est déterminé par rapport à d’autres bénéficiaires considérés comme la « norme ». Par exemple, des données sur l’entrée et la sortie du territoire, et un appartement à l’étranger, sont traitées. Le nombre d’enfants et la nationalité sont également pris en compte.
L’UDK a expliqué à Amnesty International que l’utilisation de la nationalité comme paramètre n’est pas considéré comme un traitement de données personnelles sensibles. D’autre part, l’ONG critique le fait que la nationalité peut également indiquer l’origine ethnique ou le statut migratoire des personnes concernées. L’utilisation de tels critères vise clairement les personnes originaires de pays extérieurs à l’EEE et constitue une discrimination fondée sur la nationalité, l’appartenance ethnique et le statut migratoire.
Afin de permettre ce traitement étendu des données, le Danemark a promulgué des lois appropriées. Cependant, Amnesty critique le traitement de données sensibles – cette intrusion dans la vie privée des personnes concernées n’est ni nécessaire ni proportionnée, comme l’exigent les traités internationaux relatifs aux droits humains.
En proie aux contrôles
L’ONG s’est également entretenue avec des associations et des personnes touchées. Par exemple, une personne a déclaré à Amnesty International qu’elle avait toujours peur de devenir la cible d’enquêtes pour fraude supposée aux prestations sociales. Gitte Nielsen, de la Dansk Handicap Foundation, a rapporté que des personnes handicapées étaient confrontées à des entretiens constants comme si le contrôle voulait les « dévorer ».
Le système danois, selon le rapport, permet non seulement de surveiller les demandeurs et les bénéficiaires, mais crée également un obstacle à l’accès aux prestations sociales. Sont touchées, par exemple, les femmes des hébergements d’urgence. Certaines d’entre elles n’auraient pas accès à des ordinateurs avec une connexion Internet, qui sont nécessaires pour les demandes de prestations. Une partie des personnes handicapées serait également partiellement exclues – un nouveau fauteuil roulant ne peut être demandé que par voie numérique.
Les autorités ont également confirmé à Amnesty International qu’elles analysaient les profils des personnes concernées sur les réseaux sociaux pour traiter les cas présumés de fraude. Cette approche pourrait menacer les droits à la vie privée, à la liberté d’expression et à la sécurité sociale. Surveiller les gens de cette manière a également un effet dissuasif – ils peuvent se censurer eux-mêmes, explique l’ONG.
En outre, Amnesty met en garde contre les fausses décisions dérivées de publications sur les médias sociaux : de tels messages ne reflètent pas toujours la situation réelle d’une personne. L’ONG appelle à l’arrêt de cette pratique.
Des violations des droits humains sont quasiment inévitables puisque l’UDK ne fait pas contrôler l’ensemble de l’analyse des données par un institut indépendant. Amnesty appelle donc à la création d’un organe de contrôle indépendant. L’autorité danoise de surveillance de la protection des données devrait également impérativement enquêter sur le traitement des données.
Selon l’ONG, le système danois pourrait être soumis à l’interdiction du « social scoring » en vertu de la nouvelle loi européenne sur l’IA. Les autorités danoises devraient au moins cesser d’utiliser le système tant qu’il n’a pas été établi s’il répond ou non aux exigences de l’UE. L’utilisation de données sur « l’affiliation étrangère » devrait également être interdite.
Les traités internationaux relatifs aux droits humains, les lois de l’UE et la législation nationale obligeraient alors le Danemark à respecter les droits à la vie privée, la protection des données personnelles, la liberté d’expression, l’égalité et la non-discrimination. Hellen Mukiri-Smith a déclaré : « Ces droits ne sont pas seulement la force motrice d’une société juste, ils permettent également un accès équitable à la sécurité sociale, aux soins de santé et bien plus encore. »
Avec d’autres ONG, Amnesty a intenté une action en justice contre un algorithme d’aide sociale en France il y a quelques semaines. Les ONG en dénoncent les pratiques discriminatoires et réclament son interdiction. (js)