La tête en biais

Dans les bureaux de la police de Detroit, un voyant lumineux s’agite sur un écran. Il encadre un visage qui vient de passer devant une caméra de vidéosurveillance et que le logiciel de reconnaissance faciale a identifié. Après comparaison avec le permis de Robert Williams, les policiers n’ont aucun doute : les deux visages correspondent. Il ne leur reste plus qu’à cueillir l’homme qui se promène tranquillement avec sa femme et ses enfants. D’abord surpris par cette intervention inopinée, Robert explique qu’il n’est pas la personne recherchée. Et il dit vrai : le logiciel de reconnaissance faciale s’est trompé.

« Une humiliation » : voilà comment définit cet habitant de la banlieue de Detroit l’interpellation qu’il a subie en janvier dernier. « Je ne peux même pas définir ce qui s’est passé. C’était une des choses plus choquantes que j’ai vécues », explique l’homme. Mercredi 24 juin 2020, il a demandé des excuses de la part de la police de Detroit ainsi que l’abandon de la technologie. La veille, plusieurs centaines de chercheurs et d’experts ont signé une lettre publique qui condamne la réalisation d’une étude menée par l’université Harrisburg aux États-Unis. Dans ces recherches, publiées au début du mois de mai, deux professeurs et un étudiant diplômé déclarent avoir développé un programme de reconnaissance faciale capable de prédire si une personne est criminelle ou non, simplement à l’aide de son visage avec « 80 % de précision et sans aucun biais racistes », prétendent les chercheurs.

L’étude devait être publiée par Springer Nature. Mais la lettre adressée par près de 1 000 experts, notamment issus d’Harvard, Google ou Microsoft, a poussé cette grande société d’édition académique germano-américaine à faire marche arrière. Il faut dire que les algorithmes derrière la reconnaissance faciale ont beaucoup montré leurs défauts ces derniers temps. Des études démontrent que cette technologie ne fonctionne pas de la même manière selon l’objet ou la personne à laquelle on l’expose. Son efficacité varie selon le genre, l’ethnie, l’âge et elle semble plus précise lorsqu’il s’agit de reconnaître une personne blanche. Des failles aux conséquences catastrophiques dans le cadre d’affaires criminelles.

Le 20 juin dernier, sur Twitter, un internaute a d’ailleurs rapporté le comportement déroutant de PULSE, une intelligence artificielle qui utilise StyleGAN afin de dépixeliser une image. L’objectif est de déduire de cette photo pixelisée la photo d’origine. En tentant l’expérience avec un portrait de Barack Obama, il a obtenu un résultat déroutant. L’intelligence artificielle a reconnu une personne blanche au lieu de l’ancien président des États-Unis. D’autres tests comme celui-ci ont été menés et à plusieurs reprises et la technologie semble renvoyer vers le même type de profil. Que ce soit des personnes au teint sombre ou aux yeux bridés, l’algorithme génère plus souvent des visages caucasiens. « Il semble que PULSE produit des visages blancs beaucoup plus souvent que des visages de personnes noires », constate son créateur.

Selon la professeure de droit à l’université d’Ottawa Céline Castets-Renard, spécialiste de l’éthique de l’IA, ce genre d’erreurs « dépend surtout de la conception de l’algorithme et des données avec lesquelles on le nourrit, mais aussi des données qu’on va ajouter dans son utilisation. On peut ajouter des biais dans plusieurs étapes de l’algorithme et les critères rentrés orientent aussi les résultats ». Le créateur de PULSE confirme : « Ce biais est hérité de la base de données sur laquelle StyleGAN a été formée, même si d’autres facteurs auxquels nous ne prêtons pas attention pourraient influer ». Ses algorithmes fonctionnent ainsi moins bien sur des personnes noires ou sur des visages féminins, car ils ont moins été entraîné avec eux. Ils sont donc moins aptes à les reconnaître. Dit autrement, ses créateurs ont introduit un « biais raciste » en ne leur donnant pas une base de données assez diverse à assimiler. Et c’est sans doute ce qui a valu à Robert Williams son humiliation.

Mauvais fruits

Dans le cas de Robert Williams, deux biais ont pu être à l’œuvre. D’abord, les algorithmes sont le plus souvent entraînés sur des visages d’hommes caucasiens, et leur efficacité est donc moins bonne pour les autres. Le décalage est tel qu’en 2015, un algorithme de Google avait pris des Afro-Américains pour des gorilles. Ensuite, les IA ciblent des catégories de population avec les mêmes préjugés que ceux qui les utilisent. « Il n’y a tout simplement aucun moyen de développer un système qui peut prédire la “criminalité” sans avoir des biais racistes, car les données de la justice criminelle sont intrinsèquement racistes », juge Audrey Beard, une des signataires de la lettre destinée à Springer Nature.

En 2017, des scientifiques avaient déjà commis une étude visant à prédire un futur comportement criminel en entraînant un algorithme avec les visages de personnes déjà connues pour crimes. Sauf qu’ils ont remarqué que la méthode était discriminante : puisque les algorithmes tentent de deviner un événement à venir en faisant des statistiques, c’est-à-dire en généralisant, ils ciblaient particulièrement certains groupes ethniques déjà surveillés de manière disproportionnée par la police. « Ce sont surtout les outils de prise de décision automatique qui sont porteurs de biais, comme les outils de police prédictive qui ont pour objectif de guider la police dans les quartiers où il risque de se produire quelque chose. Ces outils sont biaisés dans le sens où ils obtiennent des données de la police qui sont elles mêmes biaisées », explique par téléphone Céline Castets-Renard. Ces racines tordues peuvent donner de mauvais fruits dans de nombreux domaines.

Jusqu’en 2014 Amazon utilisait une IA qui triait automatiquement les CV, nourrie par des données récoltées entre 2004 et 2014. L’algorithme distribuait systématiquement des mauvaises notes aux candidatures de femmes pour les métiers techniques et cela s’explique par le fait que durant ces dix années, l’entreprise ne recrutait presque que des hommes. L’intelligence artificielle n’a fait que reproduire le sexisme passé qui était resté bloqué dans les données. Au début du mois de juin 2020, Amazon a interdit l’usage de sa technologie de reconnaissance faciale à la police après que des défenseurs des droits humains ont souligné la présence de failles dans la technologie qui menacent les personnes noires. « Nous entraînons les algorithmes avec des données d’un monde profondément inégalitaire » affirme l’informaticienne et sociologue Isabelle Colet.

En France, une application de gestion de données utilisée par l’Éducation nationale a perturbé les projets et l’avenir de centaines de milliers d’élèves et étudiants : Parcoursup. Selon Céline Castets-Renard, son fonctionnement comporte des biais « par rapport à certains critères, notamment géographiques comme le lycée d’où l’on provient ». La France a reconnu ces difficultés liées à l’IA dans différents secteurs et a adopté une Déclaration commune avec le Canada en juin 2018 qui a pour objectif d’œuvrer pour une IA éthique, centrée sur l’humain et respectueuse des droits de la personne. L’organisation de coopération et de développement économiques (OCDE) a elle adopté cinq principes en mai 2019 afin de recréer une intelligence artificielle dans le respect des droits de l’homme, des valeurs démocratiques et de la diversité.

Seulement, la tâche n’est pas aisée. « Il est difficile de débiaiser », indique Céline Castets-Renard. « On peut essayer d’identifier les données discriminées pour leur attribuer une valeur plus importante et les faire ressortir. Il vaudrait mieux attribuer une valeur supérieure algorithmique à ces communautés et prendre le problème à l’envers, faire de la discrimination positive. Cela suppose d’accepter quelles sont les données sensibles et de les indiquer, parce que d’habitude, elles sont occultées. » Pour faire un geste dans cette direction, la police de Detroit pourrait donc commencer par reconnaître non seulement son erreur, mais aussi les biais de ses outils.

Couverture : John Carr