Il faut « stopper Amazon avant qu’il ne soit trop tard ». C’est le titre d’une tribune publiée ce lundi 16 novembre 2020 sur le site de France Info, dont les 120 signataires regroupent notamment des ONG comme Greenpeace et Attac, des éditeurs et des libraires qui pâtissent des ventes en ligne, ainsi que des maires, députés et sénateurs de gauche (LFI, PCF, EELV, PS).
En cause, la fortune indécente de Jeff Bezos, l’homme le plus riche du monde dont les avoirs ont bondi à la faveur de la pandémie, jusqu’à franchir la barre des 200 milliards de dollars. Une fortune qui se fait au prix, pêle-mêle : des conditions de travail des salariés d’Amazon, dont plus de 20 000 employés ont été infectés par le Covid-19 ; d’une évasion fiscale massive ; d’une expansion infrastructurelle que la pandémie n’a pas freinée (19 nouveaux entrepôts vont êtres construits en France), alors même que les petits commerces sont obligés de fermer ; et d’un encouragement de la surconsommation qui accélère la crise climatique.
Alors qu’il semble de plus en plus difficile pour quiconque, citoyens et gouvernements, de se dresser face à la volonté d’une des entreprises les plus puissantes du monde et de ses pairs, se pourrait-il que le PDG aux faux airs de Lex Luthor se transforme inexorablement en véritable super-vilain ?
Le Titan fou
Chaque année, au début du printemps, un convoi de vans noirs longs comme des limousines s’arrête devant le musée de l’aviation de Palm Springs, en Californie. Jeff Bezos prépare ici quelques démonstrations aux invités de la conférence MARS (Machine-learning, Automation, Robotics and Space). Il y a deux ans, dans un hangar aux lumières violacées, le patron d’Amazon leur a présenté un mecha. Quand ce robot contrôlé de l’intérieur a bougé, les murmures se sont transformés en souffles étonnés puis en rires. Le milliardaire s’amusait comme un enfant en cabine de pilotage. « Pourquoi j’ai l’impression d’être Sigourney Weaver ? » s’est-il exclamé en référence à cette scène d’Aliens où Ripley prend les commandes d’un pareil exosquelette.
Crédits : Hankook Mirae Technology
Avec ses pattes d’ours mécanique qui obéissent au doigt et à l’œil, le Method-2 de Hankook Mirae Technology semble débarquer de la science-fiction. Ce n’est pas un hasard si l’un de ses créateurs, Vitaly Bulgarov, a aussi travaillé sur les films Ghost In the Shell et Transformers 4: Age of Extinction. À bord, Bezos prenait évidemment un malin plaisir à jouer le super-héros, au risque d’effrayer l’assistance. Car le vertige qu’il ressentait en haut du mecha était la démonstration que ses fantasmes les plus fous pouvaient être réalisés à coup d’innovation. Or, on le sait maintenant, Amazon collabore sans scrupule avec l’armée américaine. Derrière le crâne chauve de Bezos se cache peut-être moins un avatar du Professeur Xavier que de Lex Luthor, voire de Thanos.
Dans le film sorti le 24 avril 2019 en France, ce « Titan fou » vient de détruire la moitié de toute forme de vie dans l’univers, en se servant des Pierres de l’Infini préalablement réunies. Les Avengers et les Gardiens de la Galaxie qui ont survécu vont devoir le neutraliser. À l’image de leur ennemi, qui concentre à lui seul un pouvoir sans précédent, les patrons des géants technologiques ont ces dernières années accumulé assez de moyens pour disposer d’un grand pouvoir de nuisance. Le fondateur de Palantir, Peter Thiel, est encore plus heureux que Bezos de mettre son expertise au service du Pentagone. Il soutient même ouvertement Donald Trump, dont le projet du mur à la frontière mexicaine est appuyé par un autre magnat de la technologie, Palmer Luckey et sa société Anduril.
L’ascension de ces rejetons de la Silicon Valley a été si rapide et si grisante que rien ne devrait selon eux s’opposer à leurs rêves. Sûr de sa capacité à changer le monde, Jeff Bezos promeut le tourisme spatial avec Blue Origin et songe à rallonger sa durée de vie grâce aux médicaments développés par la start-up Unity Biotechnology, à l’instar des fondateurs de Google/Alphabet Sergueï Brin et Larry Page, qui couvent le rêve d’accéder à l’immortalité à travers leurs filiales Calico et Verily. De son côté, le responsable de Tesla, Elon Musk veut construire une ville sur Mars d’ici 2050 et entend connecter le cerveau humain à une intelligence artificielle (IA). Avec le progrès scientifique, les mégalomanes d’aujourd’hui disposent de leviers nouveaux pour satisfaire leurs obsessions démiurgiques. En plus des robots, ils misent sur l’IA et la génétique pour créer un homme augmenté. Mais il n’est pas nécessaire d’être milliardaire pour avoir la capacité de faire le mal à grande échelle.
Nick Bostrom
« Les progrès réalisés dans les outils de biohacking à domicile pourraient permettre à n’importe quel apprenti-biologiste de tuer des millions de personnes », avertit le chercheur d’Oxford Nick Bostrom. Dans un article intitulé « L’hypothèse du monde vulnérable », le patron du Future of Humanity Institute (FHI), rattaché à l’université d’Oxford, prévient contre d’autres risques : « Les nouvelles technologies militaires pourraient déclencher une course aux armements dans laquelle celui qui frappera le premier aura un avantage décisif ; ou une formule économique fructueuse pourrait produire des externalités négatives globales difficiles à réguler. »
Le chercheur rappelle aussi qu’il s’en est fallu de peu pour que la guerre froide ne débouche pas sur une apocalypse, chaque super-puissance ayant amassé assez d’armes pour condamner la Terre. Avant de trouver les pierres de l’infini, Thanos avait d’ailleurs lancé une attaque nucléaire contre son propre monde, tuant des milliers de personnes dont sa mère.
Éthique de la fin du monde
Moscou ne répond plus. Dans les profondeurs de la mer des Caraïbes, au large de Cuba, un silence abyssal accompagne le sous-marin soviétique B-59. Traqué par des navires américains depuis deux jours, ce 27 octobre 1962, le submersible se tient à bonne distance de la surface. Le signal radio est hors d’atteinte. À l’intérieur, sevré d’air frais et d’information, l’équipage végète dans un cloaque empesté par le gaz carbonique du moteur. Il fait 50 degrés. Aux dernières nouvelles, l’atmosphère est à peine plus respirable là-haut : dès qu’ils ont découvert des missiles russes près de La Havane, les États-Unis ont sorti les leurs. Une batterie de bombes thermonucléaires est pointée vers l’Europe de l’est par soixante B-52 américains.
Quand soudain, cinq détonations résonnent coup sur coup en cabine. « Est-ce la guerre ? » s’enquiert le commandant. Cinq secousses plus tard, Valentin Savitsky explose : « On va les pulvériser maintenant. Nous mourrons, mais nous coulerons tous ensemble. » L’ordre est alors donné d’armer une torpille nucléaire de dix kilotonnes, pareille à celle d’Hiroshima. Par chance, un certain Vassili Arkhipov se trouve à bord. Ce chef d’état-major de la flotte déploie une force de persuasion suffisante pour le convaincre de ne pas tirer. Les explosions n’étaient que des « charges creuses ». Selon l’historien Thomas Blanton, Arkhipov « a sauvé le monde » et n’a donc rien à envier aux Avengers.
Vassili Arkhipov
Aujourd’hui, son nom est inscrit devant une salle de conférence du Future of Humanity Institute (FHI), sur le campus d’Oxford, au Royaume-Uni. De l’autre côté du couloir, une pièce porte le nom de Stanislav Petrov, l’officier soviétique qui a désamorcé un potentiel conflit nucléaire en 1983. « Ils ont peut-être sauvé plus de vies que la plupart des hommes d’États célébrés par nos timbres », remarque le fondateur de l’institut, Nick Bostrom. Né en Suède, ce quadragénaire tire de ses études en physique, en informatique, en mathématiques et en philosophie une réflexion foisonnante sur la technologie. Après avoir mis sur pied l’Association transhumaniste mondiale en 1998 (rebaptisée Humanity+), il a participé à la création de l’Institut d’éthique pour les technologies émergentes en 2004 puis au FHI en 2005. Fin 2018, ce dernier a reçu un don de 13,3 millions de livres en provenance de The Open Philanthropy Project, l’organisation caritative du cofondateur d’Instagram Mike Krieger.
Cette approche résolument prospective n’en fait pas un techno-béat. Dans l’ouvrage Superintelligence: Paths, Dangers, Strategies, paru en 2014, le chercheur d’Oxford explore les catastrophes que pourraient engendrer l’intelligence artificielle (IA). Les algorithmes, prévient-il, sont « potentiellement plus dangereux que les ogives nucléaires ». Contrairement aux techniques d’enrichissement d’uranium, qui restent l’apanages de quelques États, ils sont assez faciles d’accès, pour le meilleur comme pour le pire. En février 2019, l’organisation OpenAI a d’ailleurs refusé de publier tous les résultats de ses recherches sur des générateurs de textes, par crainte que des personnes malveillantes ne s’en servent.
Boule noire
Nick Bostrom venait justement d’élaborer sa « théorie du monde vulnérable ». Désormais, prévient-il, « les progrès scientifiques et technologiques » portent le bacille d’une « déstabilisation de la civilisation ». Bostrom cite pèle-mêle le biohacking, les technologies militaires ou encore le dérèglement climatique, et l’on pense aux outils d’édition du génome, aux épidémies conservées en laboratoire ainsi qu’aux armes autonomes. Tout cela pourrait être encadré mais, dans la Silicon Valley, beaucoup de monde s’y oppose. Car il ne faut pas prendre de retard sur la Chine, où un chercheur a déjà génétiquement modifié des bébés au mépris de toutes règles éthiques.
« Si le progrès technologique continue, il rendra possible l’anéantissement de la civilisation »
Le monde est ainsi lancé dans une dangereuse fuite en avant dont se réjouit Peter Thiel. Dans un essai écrit en 2009 pour le Cato Institut, le fondateur de Palantir s’élève contre les impôts, le gouvernement, les femmes, les pauvres et même l’inexorabilité de la mort. « Je ne pense pas que la liberté et la démocratie soient encore compatibles », ajoute-t-il. Depuis les années 1920, « l’accroissement de nombre de bénéficiaires des aides sociales et l’extension du droit de vote aux femmes ont transformé la notion de démocratie capitaliste en un oxymore. »
À une époque où l’innovation prolifère parfois en dehors de tout cadre légal, l’humanité ne joue-t-elle pas avec le feu ? « Nous avons des exemples de civilisations qui ont été détruites par des inventions », pointe le chercheur suédois. Pendant les « grandes découvertes », les navires qui permirent aux Européens de traverser l’Atlantique ont par exemple été fatals aux population vivant aux Amériques, en Australie, en Tasmanie ou ailleurs. Il n’est au reste pas exclu qu’Homo sapiens ait survécu aux Néandertaliens et aux Dénisoviens – dont il porte une partie du code génétique – grâce à une meilleure maîtrise des technologies.
Aujourd’hui, n’importe qui peut loisiblement reprendre les codes de l’IA ou transformer des outils d’édition génétique pour essayer d’en faire une arme. Si Elon Musk, Jeff Bezos et Peter Thiel ne sombrent pas dans la démence à force de se mirer dans leur réussite, les outils qu’ils développent pourraient bien être récupérés par d’autres. Et rien ne dit qu’un nouveau Vassili Arkhipov sera présent au moment fatidique. Si « là où croît le péril, croît ce qui sauve », comme disait le philosophe allemand Friedrich Hölderlin, la réciproque n’est pas moins vraie. Pour schématiser le problème qui s’offre à l’humanité, Nick Bostrom compare les chercheurs à des joueurs de l’émission de télévision Motus : ils trouvent une idée comme on pioche une boule dans un grand bac, c’est-à-dire sans trop savoir ce que cela va entraîner.
« Dans l’histoire, nous avons eu beaucoup de bonnes boules, pour la plupart jaunes, mais certaines avaient des nuances de gris (elles étaient plus ou moins néfastes) », constate-t-il en partant de ce principe. Pour l’heure, « nous ne sommes pas tombés sur une boule noire, autrement dit sur une technologie qui détruirait inévitablement la civilisation », poursuit-il. « Cela n’est pas dû à notre caractère particulièrement prévenant ou notre grandeur d’esprit. Nous avons juste été chanceux. » Et puisque le vent est ainsi fait qu’il tourne, chaque virage technologique va devoir être maîtrisé avec précision. Si possible.
En eaux troubles
Devant son journal, Leo Szilard fait une mine grise comme le ciel de Londres en ce 12 septembre 1933. Réfugié dans la capitale anglaise pour échapper aux nazis, le physicien hongrois apprend en lisant les mots de son collègue Ernest Rutherford qu’il est vain de vouloir extraire de l’énergie de la réaction nucléaire. Passablement irrité, Szilard calme ses nerfs en partant se promener. Chemin faisant, il a l’idée d’une réaction en chaîne qui donnera plus tard naissance à la bombe atomique. Heureusement, cette arme dévastatrice ne peut être conçue qu’à partir de plusieurs kilos de plutonium et d’uranium enrichi, deux composants difficiles à obtenir.
Quand il confie ses découvertes à ami Albert Einstein, puis au président américain Franklin Roosevelt, Szilard les prévient bien sûr contre leur danger. Cela n’empêchera ni le projet Manhattan ni les bombardement des villes japonaises d’Hiroshima et Nagazaki, en 1945. Les scientifiques ont beau plaider pour un contrôle strict de la technologie après la guerre, elle est vite copiée par les Soviétiques puis par d’autres.
« La politique nucléaire n’est plus entre leurs mains », observe Nick Bostrom. Elle serait logiquement tombée entre d’encore plus mauvaises mains s’il n’était pas si difficile de développer la bombe. Cette crainte explique la présence du nucléaire et de ses radiations dans de nombreux comics, de Hulk aux Avengers en passant par Spider-Man, Les 4 Fantastiques, Superman ou les X-Men. Dans Watchmen, le Dr Manhattan porte même le nom du projet américain de développement de la bombe.
Crédits : X-Men Apocalypse
Désormais, « vus la rapidité et l’anonymat avec lesquels quelqu’un peut publier sur Internet, il serait encore plus difficile de limiter la propagation de secrets scientifiques », estime Bostrom. Confronté à la volatilité de l’information, les pouvoirs publics « n’ont pas les moyens de surveillance suffisants pour empêcher à de petits groupes de prendre des initiatives désapprouvées par 99 % de la population mondiale. » C’est le premier symptôme de ce que le chercheur suédois appelle l’état « semi-anarchique » qui caractérise l’époque. Le deuxième est une « gouvernance limitée », et le troisième « une grande disparité d’intérêts ». En cherchant à devenir riche dans leur coin, certains acteurs pourraient par exemple prendre des risques inconsidérés pour la planète entière.
Qui les en empêchera ? Même si son ancienne société de mercenaires, Blackwater, a essuyé un scandale international pour son rôle dans l’assassinat de civils en Irak, Erik Prince continue d’être « partout », d’après un article du New York Times publié en octobre 2018. Après avoir manigancé de longues années pour fonder une armée de l’air privée, le frère de Betsy DeVos tente à présent de convaincre les officiels américains de déléguer ses opérations militaires en Afghanistan à des firmes privées.
Face à de tels acteurs, le monde est vulnérable, pointe Bostrom : « Si le développement technologique continue, il rendra un jour l’anéantissement de la civilisation probable, à moins qu’elle sorte de son état semi-anarchique. » Elle n’avance certes pas complètement à l’aveugle. Pour améliorer la métaphore, « nous pouvons admettre que la couleur des boules est corrélée à une matière, en sorte que nous pourrions avoir une idée de quoi piocher », précise le chercheur en revenant à Motus. Des élastiques pourraient aussi les relier les unes aux autres, une invention pouvant en cacher une autre.
Une suggestion procède de ce modèle : les chercheurs doivent évidemment se laisser le temps de la réflexion – à l’en croire, surtout ceux qui manipulent l’ADN. Pour le reste, la réponse de Bostrom tient en deux mots : gouvernance et surveillance. Afin d’empêcher des acteurs malveillants d’utiliser la technologie à mauvais escient, il imagine un panoptique capable de les repérer tout en protégeant la vie privée. L’IA serait bien sûr mise à profit. Car là où croît le péril, croît aussi ce qui sauve.
Couverture : Jeff Thanos, titan d’Amazon. (Ulyces/Marvel)
