Le président de Google Europe Matt Brittin fait face au présentateur de Channel 4, Krishnan Guru Murthy. En ce 7 novembre 2018, durant plus d’une vingtaine de minutes, les deux hommes devisent sous l’œil attentif des caméras et du public qui les écoute dans l’ombre. Il est tout d’abord question des 20 ans de la multinationale, parce qu’après deux décennies, Google dit vouloir faire le plus de bien possible et aider la planète entière, même si certains – dont des milliers de ses employés – clament haut et fort le contraire.

Là encore, la résolution est que la technologie œuvre pour le bien commun. C’est du moins l’engagement que l’entreprise a pris cette année, comme en témoignent les intitulés des conférences proposées par les géants de la tech : « AI for Good », « More social good in tech, more tech in social good », « Business doing well by doing good »… Pour Google, ce sera « Digital as a force for good », qui n’est pas sans évoquer en creux sa première devise.

Le maléfice

« Don’t be evil. »

Ne soyez pas maléfique.

C’était la devise des employés de Google de 2000 à 2015. Cette année-là, avec la création d’Alphabet comme maison-mère de la société, elle s’est transformée en « Do the right thing ». Faites les choses bien. Mais elle était toujours mentionnée à maintes reprises dans le code de conduite des « Googlers » et elle faisait toujours partie de leur quotidien. Elle a même été utilisée comme mot de passe pour la connexion Wi-Fi du siège de Google à Mountain View.

Pas sûr, néanmoins, que cette devise se transmette aux générations suivantes. Elle a en effet presque disparu du code de conduite de l’entreprise entre le 21 avril 2018 et le 4 mai 2018. Et ce, sans que Google ne l’annonce ou ne le spécifie. Il n’en reste plus qu’une seule mention, à la dernière ligne du document, qui se termine ainsi : « Et rappelez-vous… ne soyez pas mauvais, et si vous voyez quelque chose de mauvais — parlez-en ! »

Or la formule « Don’t be evil » « consiste à fournir à nos utilisateurs un accès impartial à l’information, en se concentrant sur leurs besoins et en leur proposant les meilleurs produits et services que nous pouvons », précisait la société de Mountain View le 21 avril 2018. « De plus, il s’agit aussi de faire de bonnes choses plus généralement : se conformer à la loi, agir honorablement et traiter les collègues avec courtoisie et respect. »

Google n’accorde-t-il plus autant d’importance à ses utilisateurs, à la loi et à l’honneur qu’auparavant ? Est-il en train de basculer du côté obscur de la Force ?

Plusieurs éléments autorisent certains à le penser. À commencer par ses propres employés.

L’accès spécial

Le 26 avril 2017, Robert O. Work, alors sous-secrétaire d’État à la Défense américaine, annonçait la création d’une « équipe inter-fonctionnelle de guerre algorithmique » afin de travailler sur un projet baptisé Maven. « Comme plusieurs études l’ont montré, le Département de la Défense (DoD) doit intégrer l’intelligence artificielle et le machine learning plus efficacement dans ses opérations pour maintenir son avantage sur des adversaires de mieux en mieux dotés », justifiait-il.

L’équipe en question s’est donc entourée d’experts en intelligence artificielle et en machine learning, parmi lesquels Google. La société de Mountain View offre en effet ses services au Pentagone sous la forme d’un « accès spécial » à son système d’apprentissage automatique TensorFlow. Celui-ci permet de trier et d’analyser algorithmiquement les données envoyées par les drones de l’armée américaine, l’aidant ainsi à reconnaître et à traquer ses cibles potentielles.

Une collaboration intensément discutée par les employés de la firme, qui pour certains ont fini par faire fuiter l’information, indignés à l’idée d’aider à concevoir des technologies de surveillance pour drones militaires. Puis, le 4 avril dernier, ils ont carrément fait publier une lettre ouverte à l’intention de leur PDG, Sundar Pichai.

« Nous ne pouvons pas confier la responsabilité morale de nos technologies à des tiers », écrivaient-ils. « Les valeurs affichées par Google le montrent clairement : chacun de nos utilisateurs nous fait confiance. Ne compromettez jamais cela. Jamais. Ce contrat met en péril la réputation de Google et s’oppose directement à nos valeurs fondamentales. Construire cette technologie pour aider le gouvernement américain dans la surveillance militaire – avec des résultats potentiellement mortels – n’est pas acceptable. »

« La légalité de ces opérations est remise en question par le droit international et le droit américain. »

Ces employés ont été soutenus dans leur indignation par des centaines de chercheurs dans une seconde lettre ouverte. « Avec le projet Maven, Google s’implique dans la pratique contestable des assassinats ciblés […], qui peuvent viser des individus en se basant non pas sur leurs activités mais sur des probabilités issues de vidéos de surveillance », écrivent-ils pour leur part. « La légalité de ces opérations est remise en question par le droit international et le droit américain. »

La société de Mountain View restant néanmoins indifférente à leurs préoccupations, une douzaine de ces employés ont fait annoncer leur démission le 14 mai dernier. « Les actions parlent plus fort que les mots, et c’est un principe auquel je tiens aussi », justifiait l’un d’eux. « Exprimer mes inquiétudes en interne ne me satisfaisait pas. La déclaration la plus forte que je pouvais faire était de partir. »

« À un moment donné, je me suis rendu compte que je ne pouvais pas de bonne foi recommander à quelqu’un de rejoindre Google, sachant ce que je savais », confie un autre. « Si je ne peux pas recommander aux gens de se joindre à moi, que fais-je encore là ? » Mais tous les « Googlers » n’ont pas ce genre de cas de conscience. Certains semblent au contraire se réjouir des effrayants virages que peut prendre leur société.

Le registre égoïste

À Mountain View, il circule une vidéo de 9 minutes qui décrit un avenir dans lequel l’enregistrement de nos données en ligne pourrait être utilisé pour influencer et orienter le comportement humain. Et si son existence n’a été révélée par le site d’information The Verge que le 17 mai dernier, elle a été réalisée en 2016, par Nick Foster, le responsable du laboratoire de recherche et développement de Google, X.

Son titre, The Selfish Ledger, ou « Le Registre égoïste » en français, fait clairement référence au livre Le Gène égoïste, du biologiste britannique Richard Dawkins. Publié en 1976, celui-ci « adopte le point de vue du gène sur la nature pour démontrer que nous sommes des robots programmés à l’aveugle afin de préserver les molécules égoïstes connues sous le nom de gènes ». On dit de lui qu’il est « le livre le plus important écrit sur la théorie de l’évolution depuis Darwin ».

Le terme « registre » désigne l’endroit où toutes nos données seraient rassemblées et traitées afin de fournir un gigantesque modèle des comportements, décisions, relations et traits de caractère humains transmis de génération en génération. Ce modèle permettrait de tirer des conclusions et de faire des prédictions sur les rapports entre ces décisions, actions, préférences, relations et traits de caractère au niveau global.

« Nous pourrions alors développer une compréhension à l’échelle de l’espèce des questions complexes telles que la dépression, la santé, et la pauvreté », assure le narrateur de The Selfish Ledger. Mais selon lui, Google pourrait également influencer ses utilisateurs au niveau individuel, dans toutes leurs décisions quotidiennes.

« Les suggestions pourraient ne pas être converties par l’utilisateur, mais par le registre lui-même. Le registre pourrait activement chercher à combler les vides dans sa connaissance et même sélectionner des produits à acheter assurant la collecte de données dont il pense qu’ils pourraient séduire l’utilisateur. » Et l’inciter, par exemple, à manger plus sainement, à protéger l’environnement, ou encore à soutenir les entreprises locales.

« Et si le registre pouvait se voir confier une volonté ou un objectif, au lieu de se contenter d’agir comme une référence historique? Et si nous nous concentrions sur la création d’un registre plus riche, en introduisant d’autres sources d’information ?  » se demande le narrateur de The Selfish Ledger. Comme le note The Verge, il ne mentionne jamais « les inquiétudes en matière de respect de la vie privée ou des externalités négatives », qui sont pourtant évidentes.

« La Silicon Valley est à la dérive, a perdu toute éthique et n’a rien appris » — Zeynep Tufekci

Invité à commenter la vidéo, un porte-parole de X a dit comprendre qu’elle puisse déranger. « C’est conçu pour ça », a-t-il ajouté. « Il s’agit d’un exercice intellectuel mené par l’équipe du Design qui date d’il y a des années, et qui utilise une technique appelée “concept spéculatif” pour explorer des idées et des concepts inconfortables afin de provoquer la discussion et le débat. Ce n’est lié à aucun produit actuel ou futur », a-t-il en outre affirmé. Pourtant, des produits actuels de Google font bel et bien polémique.

Qui rira le dernier

Le téléphone sonne. La coiffeuse décroche. À l’autre bout du fil, on demande un rendez-vous pour une coupe de cheveux. La coiffeuse en donne un « mardi matin ». Une conversation sans aucun n’intérêt, à un détail près : la coiffeuse vient de donner rendez-vous à un robot. Son enregistrement a été diffusé lors de la conférence annuelle de Google pour les développeurs, qui se tenait le 8 mai dernier à Mountain View, et présentait la nouvelle génération du système d’intelligence artificielle Google Duplex.

« Notre vision pour ce système, c’est de vous aider à être productif », expliquait alors Sundar Pichai. « Pour ça, il faut souvent passer un coup de fil, appeler un plombier, prendre rendez-vous chez le coiffeur. » Cette vision bassement matérialiste de l’intelligence artificielle aurait pu en choquer plus d’un. Mais ce sont les efforts fournis par la société de Mountain View pour rendre la voix de cette intelligence qui ont créé la polémique. Cette voix n’a rien d’artificiel ni de métallique. Rien ne la distingue d’une voix humaine. La coiffeuse enregistrée n’avait aucun moyen de savoir qu’elle s’adressait à un robot.

« Il devrait dire : “Ici l’Assistant Google de X ou Y”, ou quelque chose qui l’identifie clairement comme une machine », estime Alexander Rudnicky, chercheur spécialisé dans les interactions humain-ordinateur à l’université Carnegie-Mellon. C’est « terrifiant », souligne pour sa part Zeynep Tufekci, professeure à l’université de Caroline du Nord et critique des nouvelles technologies. « La Silicon Valley est à la dérive, a perdu toute éthique et n’a rien appris. »

Google a donc été obligé de promettre que « cette fonctionnalité ne viendra pas sans un système qui l’annonce clairement : nous ferons en sorte d’être sûrs et certains que l’interlocuteur identifie bien à qui il parle ». « Ce que nous avons montré à la conférence était une simple démonstration technologique, et nous sommes impatients d’intégrer les critiques en en faisant un produit. Nous comprenons et apprécions la discussion autour de Google Duplex – comme nous l’avons dit depuis le début, la transparence de la technologie est importante. »

Mais pour Zeynep Tufekci, le simple fait que les nombreuses personnes présentes à Mountain View le jour de la conférence annuelle de Google pour les développeurs « n’ont pas sombré dans la panique totale et le dégoût à la seule suggestion » de ne pas identifier l’intelligence artificielle en tant que telle est « incroyable ». « Qu’en est-il des fameux forums de discussion de Google ? » demande-t-elle. « De quoi discutez-vous tous si ce n’est pas ça ?!?! »

D’autres internautes ont choisi de prendre la dernière prouesse du géant de la tech avec humour. Une vidéo postée sur YouTube le 11 mai dernier charge par exemple l’assistant intelligent de Google d’annoncer à une certaine Diane que son compagnon veut mettre un terme à leur relation à grands coups de « John voudrait que vous veniez chercher vos affaires pour les enlever de chez lui » et de « Vous plaisantez ? ».

Reste à savoir qui rira le dernier.

Couverture : L’Étoile Google de la Mort.