LISEZ ICI LA PREMIÈRE PARTIE DE L’HISTOIRE

Le test de la batte

La réalité artificielle aura besoin des bâtisseurs de mondes comme Taylor et Jackson pour inventer la grammaire de la VR et de la MR. La grammaire des films a mis des décennies à évoluer. Les techniques de cinéma comme le plan d’ensemble, le fondu et le gros plan ont toutes dû être inventées puis digérées avant que tout le monde ne comprenne ce qu’elles signifiaient. Aucune de ces techniques ne fonctionne bien en réalité virtuelle. Il est déjà évident que le langage des expériences diffère de tout ce qui l’a précédé. Par exemple, le point de vue à la première personne est la position par défaut de certaines des franchises de jeux vidéo les plus vendues. Parmi elles, il y a Minecraft, auquel jouent plus de 100 millions de gens sur des écrans de PC, de tablettes et de téléphones. Dans le jeu, vous pouvez voir votre main tenir une pioche. Mais dans la version VR de  Minecraft que développe Microsoft, l’expérience provoquée par le fait de tenir une pioche et de fendre les blocs est si immédiate et réelle – bien que les blocs soient formés de gros pixels cartoonesques – que la sensation de présence du joueur en est grandement amplifiée.

Des chercheurs se sont aperçus que la vue spécifique créée par la VR est si intense qu’elle est éprouvante émotionnellement. Les gens ont besoin d’un break après une heure de jeu. Curieusement, si les gens restent dans la VR mais se connectent à une version plate de Minecraft, ils peuvent continuer à jouer sans souci. Après s’être reposé en ayant joué un moment à la première personne, ils peuvent revenir à la version pleinement immersive offerte par la VR. Avec la VR, le sentiment de présence est parfois si fort qu’il faut baisser d’un ton la représentation de la brutalité. Les aspects gores et chaotiques auxquels nous ont habitués les FPS ne fonctionnent pas aussi bien en réalité virtuelle. Les scénarios exagérés qui sont à peine convaincants dans un monde plat peuvent être très impressionnants lorsqu’on on est pleinement immergés dans la VR.

Jouer à Minecraft avec HoloLens
Crédits : Microsoft

Ceci dit, ce n’est pas la réalité de la réalité artificielle qui m’a le plus surpris mais sa dimension sociale. Les meilleures expériences que j’ai eues en VR ou en MR impliquaient au moins une autre personne. Être plusieurs améliore l’expérience. À vrai dire, quelques personnes de plus suffisent à l’améliorer de façon exponentielle. C’est un effet de réseau : les joies de la VR sont proportionnelles au carré du nombre de personnes qui les partagent. Cela signifie que la VR sera le médium le plus social de son temps. Plus social que ne le sont les réseaux sociaux aujourd’hui. L’un des premiers tests de qualité pour la réalité virtuelle était le test de la batte. Si vous vous teniez près de quelqu’un tenant une batte de baseball virtuelle et qu’il tentait de vous frapper avec, vous baisseriez-vous ? Seulement si vous y croyez vraiment.

Autrement, vous vous contenterez de rire ou d’attendre pour voir ce qu’on « ressent » en prenant le coup. Dans la vraie vie, vous ne feriez jamais ça. Mais le test le plus efficace pour la VR est celui de la partie de poker. Il est question de savoir si les avatars assis autour de vous permettent, à travers leur regard, leur langage corporel et leur présence, de savoir s’ils bluffent. J’ai participé à une démonstration de l’Oculus Rift sur le campus de Facebook. Palmer Luckey, le créateur de l’appareil, s’est joint à nous. Nous avons partagé un terrain de jeu virtuel. Dans la vraie vie, Luckey est exubérant. Il est du genre bondir partout. Il agite les bras lorsqu’il parle, pas seulement ses mains. Son langage corporel a été traduit dans la VR. Nos avatars ne reproduisaient pas nos caractéristiques physiques réelles, mais celui de Luckey – une tête bleue fantomatique assortie de deux mains fantomatiques – bougeait de la même manière que lui. Il m’a lancé des blocs pour s’amuser. Ils ont passé le test de la batte avec succès car je me suis baissé pour les éviter. Il a ensuite allumé des pétards virtuels et des feux d’artifice avant de les jeter dans ma direction. Là encore, leurs explosions semblaient assez réelles pour que je m’éloigne instinctivement. Son enthousiasme était contagieux : j’ai essayé de le faire exploser avec un blaster, mais je l’ai manqué et j’ai détruit une tour. Bien que la physique de cette démo appelée Toybox était remarquable – les objets rebondissaient ou s’entrechoquaient avec une incroyable vraisemblance –, les jouets semblaient réels en grande partie parce qu’on pouvait se les passer, les partager et collaborer pour les déplacer. Mon expérience n’était pas avec les jouets mais avec une autre personne.

Crédits : Oculus Rift

« Notre but est de rendre la communication virtuelle meilleure encore que la communication réelle », dit Luckey. « La VR est la seule chose qui nous permettra d’y arriver. » Le jour approche où lorsque quelqu’un dira « rencontrons-nous », tout le monde saura qu’il veut dire : « Rencontrons-nous en VR. » Par défaut, le mode de la VR est « ensemble ». Lorsque vous portez une visière de réalité mixte ou augmentée comme Magic Leap, HoloLens ou Meta, elle cartographie l’environnement proche. Par exemple, pour faire apparaître une tasse de thé virtuelle sur une table réelle, elle a besoin de savoir où se trouve la table. La visière utilise des caméras et des capteurs tournés vers l’extérieur pour scanner votre environnement afin de créer cette carte. Magic Leap (et les autres) travaille à partir de protocoles qui sauvegardent l’endroit cartographié dans le cloud afin de ne pas avoir à le refaire à chaque fois. Votre appareil doit à peine s’enregistrer et être mis à jour quand des changements interviennent dans l’espace. Cela vous permettra de partager des objets virtuels dans différents environnements, même s’ils sont éloignés les uns des autres. Une personne à Barcelone peut placer une fleur virtuelle dans un vase virtuel à Chicago. La réalité virtuelle étant sociale par essence, ses environnements seront eux aussi sociaux et connectés par essence. Cela ne veut pas dire que ce sera facile. Ne laissez pas la taille relativement réduite des appareils. Plus ils deviendront petits et performants (et ce sera le cas), plus l’infrastructure qui les soutient devra être importante. L’échelle des serveurs, de la bande-passante, du traitement, du stockage et l’intelligence requise pour faire tourner des environnements virtuels interconnectés à l’échelle de la planète pour des milliards de gens va au-delà du Big Data. On l’appelle le Ginormous Data.

Ce qui soulève un autre problème. L’un des aspects les moins étudiés de la réalité synthétique est que chaque monde virtuel sera potentiellement soumis à une surveillance totale. Par définition, tout est localisé à l’intérieur d’un monde de VR ou de MR. Ceci car plus votre corps et votre comportement sont suivis avec précision, plus votre expérience est optimale. Que votre périple virtuel dure deux minutes ou deux heures, les choses sur lesquelles votre regard s’attarde, les endroits que vous choisissez de visiter, la façon dont vous interagissez avec les autres et le niveau de détails de l’ensemble personnalise les expériences en fonction de vos préférences. Mais d’autres usages de ces données sont à craindre. Le tracking de votre comportement à l’intérieur de ces mondes pourrait être utilisé pour vous vendre des choses, rediriger votre attention, compiler un historique de vos intérêts, vous persuader de façon subliminale, mesurer vos actions pour s’auto-améliorer, personnaliser la prochaine séquence, etc. Si un smartphone est un appareil de surveillance que nous portons volontairement dans notre poche, alors la VR sera un un monde totalement surveillé dans lequel nous entrerons de notre plein gré.

Toybox
Crédits : Oculus Rift

Pour autant que je sache, aucun des systèmes de VR actuels ne stockent les données qu’ils récoltent à d’autres fins que de créer le monde et votre avatar virtuels. Bien qu’ils soient conscients de ce potentiel, les concepteurs sont tout bonnement trop absorbés par l’élaboration de ces mondes virtuels pour s’embêter pour le moment avec l’exploitation de ces données. Il est cependant inévitable que certains finiront par voir cette immense manne de données personnelles comme un trésor commercial. Cela constituera dans un futur proche un sujet de société majeur. Il est facile d’imaginer qu’une entreprise dominant l’univers de la VR ne tardera pas à stocker des données personnelles, non seulement sur vos préférences et celles de trois milliards d’autres personnes, mais sur ce que vous faites le week-end, qui sont les gens auxquels vous vous intéressez, ce qui vous effraie, et des milliers d’autres détails. Dans la vraie vie, un tel procédé serait hors de prix et intrusif. Le faire dans la VR sera invisible et peu coûteux.

La vallée dangereuse

La création d’une réalité artificielle globale est un immense projet, et son adoption commencera doucement. Durant chaque expérience de VR que j’ai testée au cours des derniers mois, j’ai eu besoin d’aide pour mettre l’équipement et l’ajuster. Des observateurs étaient présents pendant la plupart des démos. Il fallait s’occuper de sangles, éviter de trébucher sur des câbles et esquiver des meubles. Le logiciel rencontrait des bugs. Et trop souvent, la démo requérait que des personnes extérieures me suggèrent de me retourner et de regarder par ici ou par là, car les interfaces utilisateurs ne sont pas encore au point. « Pour le moment, les systèmes de VR – particulièrement ceux utilisant la localisation – ne fonctionnent pas sans une maintenance technique constante », explique Jeremy Bailenson, qui dirige le Virtual Human Interaction Lab de l’université de Stanford. « Je fais marcher de la VR depuis 20 ans, et les mises à jour de drivers sont le fléau de mon existence. La VR est prête à se développer n’importe où du moment qu’on peut engager quelqu’un pour en assurer la maintenance. »

Certaines difficultés sont inhérentes au prototypage d’un produit. Mais certaines caractéristiques fondamentales font encore défaut à la VR. Chris Dixon, partner chez Andreessen Horowitz, est responsable de l’investissement prématuré de sa société dans Magic Leap. Il pense que la VR va connaître un effet de volant d’inertie : lente à démarrer, son élan finira par la rendre inarrêtable. « Je suis très optimiste quand je vois à quel point la VR est déjà au point », dit-il. « Quand les gens expérimentent la VR haut de gamme, ils en veulent encore. On se souviendra de 2020 comme de l’ère de la VR, mais lors des cinq prochaines années je me prépare à l’inévitable phase de désillusion que va connaître son cycle de popularité. » Tandis que le volant d’inertie commence lentement à tourner, des points de friction vont venir entraver sa rotation. On devrait cependant les considérer comme des opportunités nouvelles. Les solutions à ces problèmes donneront lieu à de nombreuses autres innovations. Chacun des points faibles suivants pourrait voir naître les premiers milliardaires de la VR :

De nouveaux modes de narration
Crédits : Magic Leap

Le facteur d’imbécillité Il n’y a aucun moyen d’éviter d’avoir l’air d’un imbécile en portant un casque de VR. Il occulte notre humanité. L’échec des Google Glass était en grande part dû au fait que vous aviez l’air con en les portant. Vous vous souvenez du Segway, le transporteur personnel ? Si vous n’avez pas essayé leur dernière version, vous devriez, ils sont incroyables. Mais s’ils fonctionnent à merveille, il n’ont pas été la révolution espérée en partie car les gens ont l’air ridicule dessus. La VR et la MR ont du chemin à faire avant de devenir invisibles de ce côté-là. La sécurité J’ai failli tomber lors d’une récente expérience de VR en essayant de sauter dans une fosse qui n’était pas vraiment là. L’Oculus avertit curieusement ses utilisateurs de « rester assis tout le temps ». Le problème étant que si vous êtes présent – vraiment présent – dans un endroit alternatif, vous êtes absent de l’endroit où se trouve votre corps. C’est la recette imparable des accidents. La réalité mixte, dans laquelle la pièce qui vous entoure reste visible, peut diminuer cet effet mais ne l’élimine pas complètement. Vient ensuite notre ignorance des effets à long terme de cette duperie du corps et de l’esprit. C’est si nouveau que nous ne savons pas encore quelles questions poser. Nous savons que le malaise qu’on est susceptible de ressentir est bien réel. Jeremy Bailenson estime qu’une personne sur 30 y est sujette. Mais quels autres problèmes se présenteront après des dizaines de milliers d’heures d’utilisation ?

L’interface inadaptée À ce moment de son développement, la VR en est aux mêmes balbutiements que les premiers PC qui requéraient des lignes de commande. Il n’existe pas encore d’outils intuitifs pour la création. L’industrie de la VR attend son Doug Engelbart, pour inventer l’équivalent de la souris. Cette lacune est peut-être la pièce manquante du puzzle la plus problématique, qui empêche son envol rapide. Sans une interface pouvant être saisie en quelques minutes, le contenu ne peut être développé que par les amateurs de technologie. Presque toutes les expériences de VR à ce jour ont été créées en utilisant un moteur de jeu tel qu’Unity ou Unreal (presque tous les systèmes ont en commun cet aspect vidéoludique). Toutes ces expériences de première génération ont été créées avec des outils 2D – un écran, des fenêtres, une souris. Mais la VR ne saurait atteindre l’ubiquité avant que ses outils de création ne soient eux-mêmes en VR – que la VR émane de la VR. Les premiers pas vers des outils natifs ont été annoncés au printemps dernier. Unity et Unreal ont tous deux sortis une démo de version VR. Cependant, pour permettre une transition souple, les versions VR des moteurs créatifs importent des éléments 2D (comme les menus – l’équivalent des lignes de commande) dans la VR. Il manque encore la vision révolutionnaire qui tirera partie des particularités de la VR pour dompter ses complexités. J’ai vécu un grand moment avec une app VR appelée Tilt Brush, qui a été achetée par Google. J’utilisais un pinceau pour peintre avec de la lumière en trois dimensions. Mes tracés dans l’air pouvaient être fins, épais, clignotants, vibrants et de n’importe quelle couleur. J’étais à l’intérieur de ma création, pouvant déplacer mon corps tout entier. J’ai réalisé l’esquisse d’une sculpture, ou bien la sculpture d’une esquisse… ou peut-être que je dansais avec une traînée de lumière – je ne saurais pas comment appeler ça, mais je ne me suis jamais autant amusé avec la VR. Et ce n’est pas qu’un divertissement. Google a conclu que Tilt Brush pouvait être l’outil de création de prototype idéal. En quelques minutes, même un novice peut esquisser le design d’une voiture ou le plan d’un meuble dans un bureau et le voir instantanément. J’ai réalisé qu’à sa racine, la VR est autant un outil de création qu’un outil de consommation. Aussi amusant qu’il soit d’explorer la VR, il est encore plus amusant de la créer. Pendant très longtemps, personne ne pensait que les amateurs pourraient réaliser leurs propres vidéos, mais cela a changé quand il a été simple de filmer une séquence en tenant un téléphone. La VR est en passe de réduire encore davantage les barrières de la création. Le génie qui trouvera une interface VR élégante adaptée à la création sera couvert de gloire. Ces outils vous permettraient de manipuler l’espace 3D avec des gestes simples, la voix et le regard. J’ai l’intuition qu’il sera beau de regarder un créateur talentueux travailler en VR, comme de regarder un ébéniste ou un danseur. Une interface universelle pour travailler en VR pourrait déclencher la plus grande expression de créativité que l’humanité a jamais connu.

L’étroitesse du champ de vision Pour le moment, le champ de vision des appareils de réalité mixte est trop étroit. Parmi les lunettes MR actuelles, le champ de vision des Meta 2 est le plus large, mais ce n’est toujours pas ça. Les objets virtuels qui sont localisés directement face à vous, au cœur du champ couvert par l’écran, donnent un sentiment de présence. Mais lorsque vous détournez le regard, ils disparaissent de votre vision périphérique, ce qui brise la chaîne de persuasion. Les appareils de VR entièrement fermés n’ont pas le même souci, car vous ne voyez rien sur votre vision périphérique (sinon une obscurité délibérée). Il n’y a pas d’information contradictoire. Les objets disparaissent lorsque vous tournez la tête, mais l’arrière-plan aussi. Tous les systèmes de réalité mixte sont face à un autre défi qui n’affecte pas les systèmes de VR : idéalement, dans une réalité mixte, la tasse de thé virtuelle que vous voyez sur votre bureau devrait être éclairée de la même façon (direction de l’éclairage, couleur) que votre bureau réel. Y parvenir requerrait des caméras externes et un logiciel calculant de façon dynamique la lumière de la pièce en temps réel. Aucun appareil de MR n’y parvient pour le moment. Ce décalage dans l’éclairage est un autre maillon faible de la chaîne de persuasion. Cet écart produit un curieux effet. Impossible de confondre les objets artificiels avec l’environnement réel. Mais pourtant, ces choses artificielles semblent bien présentes.

Les attaches On ne peut pas surestimer l’importance de porter un appareil léger qui ne soit pas connecté à un endroit fixe. Être libre de vagabonder accroît la sensation de présence, tandis que s’inquiéter de ne pas marcher sur un câble tend à briser l’envoûtement. Si les écrans et les processeurs peuvent être rétrécis jusqu’à ne plus se voir, les batteries sont un problème pour la VR. La charge de calcul de la VR est si grande que les casques non-connectés seront très difficiles à alimenter. Il va s’écouler beaucoup de temps avant qu’une journée de batterie puisse tenir dans les cadres des lunettes. Pour le moment, elles seront branchées à une batterie dans votre poche.

~

La coévolution de la science-fiction et de l’innovation commence doucement à être reconnue comme une force culturelle essentielle. Si vous parlez assez longtemps à un ingénieur travaillant sur la VR, il finira obligatoirement par mentionner l’un des deux livres : Snow Crash ou Player One. Ernest Cline, l’auteur de Player One, a inventé l’Oasis, un vaste univers connecté rempli de planètes virtuelles, où des milliards de personnes s’immergent pour l’école, le travail et le jeu. Dans un délicieux exemple de la nature récursive de l’influence de la SF, l’invention de Cline pourrait bien devenir réalité. « Il y a une chance pour que les studios réalisent une expérience virtuelle rudimentaire basée sur l’Oasis du film », dit Cline. « Si elle évoluait lentement après ça, il est possible que l’Oasis devienne un monde virtuel utilisé par des millions de personnes – après que je l’ai imaginée dans mon roman. » Parmi les premières personnes qu’Abovitz a engagé à Magic Leap, il y avait Neal Stephenson, l’auteur de l’autre roman d’anticipation de la VR, Snow Crash. Il voulait que Stephenson soit le futuriste en chef de Magic Leap, car « il a un esprit d’ingénieur fusionné avec celui d’un grand écrivain ». Abovitz voulait qu’il dirige une petite équipe pour développer de nouvelles formes de narration. Une fois encore, le faiseur de mythes les matérialiserait.

Il compare le défi de la VR à la traversée d’une vallée dangereuse pour atteindre de nouveaux sommets.

Le héros de Snow Crash maniait une épée dans le monde virtuel. Pour charmer Stephenson, quatre émissaires de Magic Leap sont venus le trouver chez lui avec Orcrist – l’épée « pourfendeuse de gobelins » de la trilogie du Hobbit. C’était une reproduction de l’accessoire conçu par un maître forgeron. Il s’agissait donc de la réplique d’une véritable épée utilisée dans le monde imaginaire du film – un bel exemple de récursivité taillé pour la réalité mixte. Stephenson était intrigué. « Ce n’est pas tous les jours que quelqu’un se présente à votre domicile armée d’une épée mythique, j’ai donc fait ce que toute personne qui a lu beaucoup de romans de fantasy aurait fait : je les ai invités à entrer et je leur ai servi une bière », a-t-il écrit sur le blog de Magic Leap. « Fidèles à la tradition, ils m’ont invité à participer à une quête et m’ont demandé de signer un contrat (enfin, un accord de non-divulgation). » Stephenson a accepté la mission. « Nous avons tiré tout ce qu’il y avait à tirer des écrans 2D », dit-il. « À présent, il est temps de partir à la découverte de tout ce qui peut l’être en 3D, ce qui signifie redéfinir le médium de zéro. Cela ne peut pas passer par de petites étapes. » Il compare le défi de la VR à la traversée d’une vallée dangereuse pour atteindre de nouveaux sommets. Il admire Abovitz car il est prêt à « s’aventurer dans cette vallée ». Il est trop tôt pour savoir ce qu’est la réalité virtuelle ou ce qu’elle deviendra. Abovitz est convaincu que la réalité synthétique est le médium humain ultime car il est directement branché à nos cerveaux. « Notre cerveau est un incroyable ordinateur sensoriel. Magic Leap est seulement l’encre et le papier, la machine à écrire, la toile et le pinceau d’un pouvoir que les gens ont en eux depuis que les premiers d’entre nous sont apparus sur Terre. La véritable voie du futur est la biologie. »

Il y a une chose dont nous pouvons être certains : l’évolution de la technologie peut prendre des chemins curieux.Les téléphones mobiles étaient au départ si volumineux qu’ils avaient besoin de leur propre valise. Il était aisé d’imaginer qu’ils deviendraient de plus en plus petits. Et c’est ce qu’il s’est passé. Mais ils ne se sont pas bornés à devenir des versions miniatures d’eux-mêmes. En devenant plus petits, les téléphones mobiles ont fini par perdre leur clavier, ils se sont munis d’un écran couleur haute résolution et ont commencé à grandir de nouveau, avant d’arrêter d’être utilisés comme des téléphones. Ils ont évolué en quelque chose de différent et d’inattendu. La VR aussi nous surprendra. Pas tout de suite, mais dans les 15 prochaines années, le gros de notre travail et de notre temps de jeu touchera au virtuel, à un certain degré. Les systèmes qui fourniront ces expériences virtuelles partagées deviendront les plus grandes entreprises de l’histoire. Les mondes VR entièrement immersifs génèrent et consomment déjà des gigaoctets de données par expérience. Au cours des dix prochaines années, l’échelle passera des gigaoctets par minute aux téraoctets par minute. L’industrie de la technologie mondiale – les concepteurs de puces, les fabricants d’appareils, les conglomérats de communication, les fabricants de composants, les studios de contenu et les créateurs de logiciels – luttera pour répondre à la demande de ce vaste système à mesure qu’il prospérera. Et seule une poignée d’entreprises domineront les réseaux de VR car, comme c’est souvent le cas avec les réseaux, le succès se renforce lui-même. Plus la société virtuelle grossit, plus elle devient attirante. Et plus elle est attirante, plus elle grossit. Les grands gagnants de la réalité artificielle deviendront les plus grandes entreprises de l’histoire, éclipsant de très loin les plus grandes sociétés actuelles. https://www.youtube.com/watch?v=iCVd9ZDPjXU Je ne sais pas si Magic Leap sera l’une de ces sociétés. Elle ne remportera pas la course pour être la première de sa catégorie, mais aucun de ses concurrents titanesques n’ont été les premiers sur leurs marchés. Alors que Magic Leap a déposé plus de 150 brevets auprès du Bureau américain des brevets et des marques de commerce, il n’ont pas encore publiquement fait la démonstration d’un prototype. Nous n’en savons pas encore assez sur la perception humaine pour savoir ce qui fonctionnera dans les domaines virtuels. Il faudra davantage de VR pour le comprendre. Nous devons nous aventurer dans cette vallée dangereuse avant d’atteindre de nouveaux sommets. Pourtant, quelque chose s’est bel et bien passé. Un seuil a été franchi. Après une longue gestation, la réalité virtuelle est assez bonne pour s’améliorer rapidement. Ça, c’est réel.

Traduit de l’anglais par Nicolas Prouillac et Arthur Scheuer d’après l’article « The Untold Story of Magic Leap, the World’s Most Secretive Startup », paru dans Wired. Couverture : Une vidéo de présentation de Magic Leap.