Genèse de la VR

Il se passe quelque chose de spécial dans ce parc de bureaux banal d’une banlieue morne de Fort Lauderdale, en Floride. Derrière les façades grises, au milieu des bureaux et des chaises vides, un robot-drone de 20 cm, tout droit venu d’une planète extraterrestre, est suspendu dans les airs face à une rangée de plantes en pots. Pour une créature steampunk, il est très mignon et fourmille de détails. Je peux tourner autour de lui et l’examiner sous toutes les coutures. En m’accroupissant, je m’attarde sur son ventre orné de motifs complexes. Mon visage n’est plus qu’à quelques centimètres de lui alors que j’inspecte ses tuyaux minuscules et ses armatures saillantes. Je vois même des tourbillons polis aux endroits où la surface métallique a été découpée. Lorsque je lève la main, il s’approche et tend un appendice luisant pour toucher le bout de mon doigt. Je me redresse et prend du recul pour l’observer de loin. Pendant ce temps, il bourdonne et pivote lentement au-dessus d’un bureau. Il semble aussi vrai que les lampes et les écrans d’ordinateurs qui l’entourent, mais il ne l’est pas. Je l’observe à travers un casque de réalité augmentée.

Je sais bien que ce drone est une simulation très élaborée, mais pour mes yeux il ne fait aucun doute qu’il est ici avec moi, dans ce bureau ordinaire. C’est un objet virtuel, mais aucun pixel ou artefact numérique ne parasite son intégrité tridimensionnelle. Si je me positionne de façon à ce qu’il se retrouve face à la lumière d’une lampe de bureau, je devine qu’il est vaguement transparent, mais cela n’amoindrit pas la sensation de présence qu’il dégage. C’est une des grandes promesses de la réalité artificielle : soit vous êtes téléporté dans des endroits magiques, soit des choses magiques sont téléportées auprès de vous. Grâce à ce prototype de lunettes créé par Magic Leap, une entreprise ultra-secrète qui fait couler beaucoup d’encre, ce drone extraterrestre a tout l’air d’avoir été téléporté dans ce bureau de Floride. Il apparaît plus réel que je ne l’aurais jamais cru possible. J’ai vu d’autres choses avec ces lunettes magiques. Des robots à taille humaine traversant les murs de la pièce, sur lesquels je pouvais tirer des décharges d’énergie grâce à un pistolet que je tenais vraiment en main. Un combat de lutte entre des êtres humains miniatures sur une table, à la façon du jeu d’échecs holographique de Star Wars. Ces petits êtres n’étaient pas réels, malgré leur impressionnant photo-réalisme, mais ils étaient

Logo de Magic Leap

indéniablement présents. Je veux dire par là que cela dépassait la simple illusion d’optique, je pouvais presque sentir leur présence. On appelle cette réalité virtuelle superposée au monde réel la réalité mixte, ou MR. (Les lunettes sont semi-transparentes et vous permettent encore de voir votre environnement.) C’est une technologie plus complexe que celle de la réalité virtuelle pleinement immersive, ou VR, qui n’est faite que d’images synthétiques. La réalité mixte est sans aucun doute la plus puissante des deux. Magic Leap n’est pas la seule entreprise à développer une technologie de réalité mixte, mais pour l’heure la qualité de ses visions dépasse toutes les autres. Grâce à ce statut de leader, l’argent coule à flots dans ce parc de bureaux de Floride. Google était un des premiers à investir. Andreessen Horowitz, Kleiner Perkins et d’autres ont suivi. L’année dernière, les dirigeants des plus grandes entreprises tech et médiatiques américaines sont venus en pèlerinage dans les bureaux de Magic Leap pour tester par eux-mêmes sa réalité synthétique futuriste. Au début de l’année, l’entreprise a réalisé ce qui est peut-être le troisième tour de table le plus impressionnant de l’histoire : 793,5 millions de dollars. Jusqu’ici, les investisseurs ont injecté 1,4 milliards de dollars dans Magic Leap.

La réalité mixte se superpose au réel
Crédits : Magic Leap

Cette somme vertigineuse est d’autant plus remarquable que Magic Leap n’a pas encore sorti de version bêta de son produit, même pour les développeurs. À l’exception des potentiels investisseurs, peu de gens ont été autorisés à voir le dispositif en action. La combinaison du financement et du mystère ont alimenté la curiosité générale. Mais pour comprendre véritablement ce qu’il se passe chez Magic Leap, il faut également comprendre le raz de marée qui déferle actuellement sur l’industrie de la tech toute entière. Tous les acteurs majeurs du secteur – Facebook, Google, Apple, Amazon, Microsoft, Sony et Samsung – possèdent des groupes dédiés à la réalité artificielle. Ils engagent davantage d’ingénieurs chaque jour. À lui seul, Facebook dispose de 400 employés qui travaillent sur la VR. Viennent ensuite près de 230 autres entreprises comme Meta, The Void, Atheer, Lytro et 8i, qui travaillent d’arrache-pied sur du hardware et des contenus destinés à ce nouveau domaine. Pour prendre l’entière mesure de la poussée gravitationnelle de Magic Leap, il faut être pleinement au fait de cette industrie émergente et connaître tous les casques de réalité virtuelle et de réalité mixte, les techniques de caméras VR, les dernières applications VR, les versions bêta des jeux VR, et tous les prototypes en circulation. C’est ce à quoi je me suis employé au cours des cinq derniers mois.

On comprend alors à quel point la réalité virtuelle s’apprête à devenir fondamentale, et pourquoi les entreprises comme Magic Leap ont l’opportunité de devenir parmi les plus grandes entreprises jamais créées par l’homme. Même si vous n’avez jamais essayé la réalité virtuelle, vous avez probablement une idée précise de ce qu’elle promet. Ce sera la Matrice, une réalité d’une telle vraisemblance qu’il est impossible de dire si elle est fausse. Ce sera le métavers du roman délirant de Neal Stephenson paru en 1992, Snow Crash, une réalité urbaine si séduisante que certaines personnes ne la quittent jamais. Ce sera l’Oasis du roman de science-fiction Player One, paru en 2011, une vaste réalité virtuelle à l’échelle planétaire où l’on se rendra à l’école et au travail. En vérité, on imagine la VR depuis si longtemps qu’elle semble très en retard.

Le roman est adapté au cinéma par Steven Spielberg
Crédits : Warner Bros.

J’ai fait l’expérience de la réalité virtuelle pour la première fois en 1989. Avant même l’invention du web, j’ai visité un bureau de Californie du Nord dont les murs étaient couverts de combinaisons de surf en néoprène auxquelles étaient attachés des câbles, de grandes paires de gants hérissés de composants électroniques, et des rangées de lunettes de plongée modifiées. Mon hôte, Jaron Lanier, qui portait de longues dreadlocks blondes, m’a tendu un gant noir et a placé une paire de lunettes bricolées sur ma tête, fixées avec des lanières. L’instant d’après, je me trouvais dans un endroit totalement différent. C’était un monde cartoonesque fait de blocs, pas si éloigné de l’univers de Minecraft. Il y avait un autre avatar présent dans ce petit monde de la taille d’une grande salle – c’était Lanier. Nous avons exploré ensemble ce paysage artificiel magique, que Lanier avait créé à peine quelques heures plus tôt. Nos mains gantées pouvaient saisir et déplacer des objets virtuels. Lanier a donné à cette nouvelle expérience le nom de « réalité virtuelle ». Cela me semblait incroyablement réel. Au cours de cette brève visite, je savais que je venais d’être témoin du futur. L’année suivante, j’ai organisé la première exposition interactive public du genre (le Cyberthon), qui présentait deux douzaines de systèmes de VR expérimentaux conçus par l’armée américaine, des universités et des entreprises de la Silicon Valley.

Pendant 24 heures en 1990, quiconque achetait son billet pouvait essayer la réalité virtuelle. La qualité de l’expérience était primitive, mais néanmoins exaltante. Tous les éléments clés étaient là : un dispositif monté sur la tête, de la reconnaissance de mouvement et une immersion dans une autre réalité à plusieurs. Mais l’arrivée du marché de masse de la VR n’était pas pour tout de suite. L’équipement coûtait des milliers de dollars. Au cours des décennies suivantes, les inventeurs ont réussi à en améliorer la qualité, mais pas à faire baisser les prix. 25 ans plus tard, un sauveur improbable est apparu : le smartphone ! Son succès mondial galopant a permis d’améliorer la qualité des petits écrans en haute résolution et fait chuter leur prix. Les écrans VR ont emprunté les gyroscopes et les détecteurs de mouvement incorporés dans les téléphones pour suivre les mouvement de la tête, de la main et du corps. Pour une bouchée de pain. Sans compter que la puissance de processeur d’une puce de téléphone moderne est égale à celle des super-ordinateurs du passé, ce qui lui permet de lire des films en streaming sans souci. L’ubiquité abordable des écrans et des puces ont permis au tout jeune Palmer Luckey de fabriquer son premier prototype de casque de réalité virtuelle, à grand renfort de gaffer. Il a lancé la campagne Kickstarter de l’Oculus Rift en 2012. L’Oculus a été le signal déclencheur que de nombreux entrepreneurs attendaient. Facebook a acheté la société pour deux milliards de dollars en 2014. Tous les casques de VR d’aujourd’hui sont conçus à partir de cette technologie héritée des téléphones à bas prix. Lanier, qui a contribué au système de réalité mixte de Microsoft, HoloLens, estime qu’il aurait fallu plus d’un million de dollars en 1990 pour atteindre les résultats de casques aussi basiques que le Samsung Gear ou le Google Cardboard d’aujourd’hui.

The Void

L’une des choses que j’ai réalisées à l’issue de mon récent « tour des plages » de la réalité synthétique, c’est que la réalité virtuelle est en train de donner naissance à la prochaine évolution de l’Internet. Aujourd’hui, l’Internet est un réseau d’information. Il contient 60 trillions de pages web, garde en mémoire quatre zettabits de données et transmet des millions d’emails par seconde, tous interconnectés par des sextillions de transistors. Nos vies personnelles et professionnelles se déroulent sur cet internet de l’information. La réalité artificielle est en train de concevoir un internet des expériences. À travers les équipements de VR ou de MR, nous partageons des expériences. En ouvrant une fenêtre magique dans notre salon, nous vivons une expérience. Et toutes ces expériences permises par la technologie vont rapidement finir par se croiser et s’articuler en réseaux.

Le toucher, la vision et le son forment la trinité essentielle de la réalité virtuelle.

Dans chaque monde virtuel où j’ai pénétré, les expériences que j’ai vécues étaient bien réelles malgré l’environnement factice. La VR accomplit deux choses capitales : tout d’abord, elle génère un sentiment intense et convaincant de présence. Les paysages virtuels, les objets virtuels et les personnages virtuels ont absolument l’air d’être là. Cette perception n’est pas tant une illusion visuelle qu’un sentiment profond. C’est magique. Mais c’est la deuxième chose qui importe le plus. Cette technologie vous force à être présent – ce à quoi ne parviennent pas les écrans plats – afin que vous puissiez vivre d’authentiques expériences, aussi authentiques que celles de la vie réelle. Les gens se souviennent des expériences de réalité virtuelle non pas comme de quelque chose qu’ils ont vu, mais comme de quelque chose qu’ils ont vécu. L’expérience est la nouvelle monnaie d’échange dans la VR et la MR. Les technologies comme Magic Leap vont nous permettre de générer, transmettre, mesurer, affiner, personnaliser, agrandir, découvrir, partager, repartager et sur-partager des expériences. Ce glissement de la création, la transmission et la consommation d’information vers la création, la transmission et la consommation d’expérience est ce qui définit cette nouvelle plateforme.

Comme le dit le fondateur de Magic Leap Rony Abovitz : « Notre voyage est intérieur. Nous concevons un internet de la présence et de l’expérience. » Nous n’avons pas encore pleinement saisi l’ampleur des bénéfices que l’internet de l’information a apporté au monde. Malgré cela, nous sommes sur le point de rebooter cet accomplissement avec l’avènement des réalités synthétiques. Avec la réalité virtuelle, nous allons créer un Wikipedia des expériences, potentiellement disponible pour tous, n’importe où et n’importe quand. Les expériences de voyage – la terreur qu’on ressent sur les bords d’un volcan en éruption, l’émerveillement qu’il y a à marcher auprès des pyramides égyptiennes –, qui étaient auparavant l’apanage des riches (comme les livres de l’ancien temps), seront accessibles à quiconque possède un dispositif de VR. Ces expériences pourront être partagées : nous pourrons marcher aux côtés de manifestants en Iran, danser aux côtés de noceurs du Malawi, et pourquoi pas changer de genre ? Nous vivrons des expériences qu’aucun humain n’a vécu jusqu’ici : explorer Mars, se glisser dans la peau d’un homard, admirer en gros plan votre propre cœur qui bat, en live. Vous avez vu ou lu beaucoup de choses de ce genre dans les films, à la télévision ou dans des livres. Mais vous ne l’avez pas vécu – sinon intellectuellement – de telle sorte que l’expérience se loge dans votre être et qu’elle fait désormais partie de ce que vous êtes. Kent Bye, le fondateur du podcast Voices of VR, a réalisé plus de 400 interviews avec les gens qui créent la réalité virtuelle. Il a pu voir pratiquement tous les prototypes de VR qui existent actuellement. « La VR parle à notre subconscient comme aucun autre média », dit-il.

Une expérience inédite et immersive
Crédits : The Void

Le sentiment de présence le plus intense dont j’ai fait l’expérience m’est arrivé avec un système appelé The Void, qui a été présenté lors de la conférence TED2016. The Void n’est pas aussi avancé technologiquement que Magic Leap, mais il tire parti du meilleur de ce qui se fait sur le marché de la VR couplé à un équipement customisé, pour créer une expérience inoubliable. Pendant plusieurs heures, j’ai observé une foule de gens se succéder dans The Void. La plupart poussaient des cris de joie, hurlaient, riaient et ressortaient complètement sidérés. J’ai ressenti la même chose. Je serais ravi de payer pour une session d’une heure. The Void est à la croisée du spectacle de magie, du parc d’attractions et de la maison hantée. Chaque année, Ken Bretschneider, l’un des trois cofondateurs, monte une maison hantée éphémère dans l’Utah, qui attire 10 000 personnes en deux jours. Il a réalisé qu’il pourrait décupler les interactions de sa maison hantée grâce à la réalité virtuelle. Curtis Hickman, le second cofondateur, est illusionniste professionnel. Il a conçu des tours pour des magiciens de renom, et il est aussi producteurs d’effets visuels. Le troisième, James Jensen, a débuté en développant des effets spéciaux pour des films ainsi que des expériences uniques pour les parcs d’attractions. Il a eu l’idée de superposer la VR à un terrain de jeu réel.

Le dénominateur commun entre les trois hommes était leur conscience du fait que la VR est un nouveau moyen de piéger l’esprit en lui faisant croire que quelque chose d’imaginaire est réel. The Void se déroule dans une grande salle. Vous portez une veste de cinq kilos qui contient des batteries, une carte mère et 22 plaques haptiques qui vibrent et vous secouent aux bons moments. Votre casque, vos lunettes et vos écouteurs sont connectés à votre veste, vous êtes donc libre de vous mouvoir sans cordon. Grâce à cette autonomie, vous n’avez pas à vous inquiéter de marcher sur un câble, de vous emmêler ou de trop vous éloigner. Ce soulagement accroît l’effet de présence de la VR. À l’intérieur de The Void, vous vivez une aventure à la Indiana Jones qui semble avoir lieu sur un immense territoire. L’illusion d’un espace illimité, ou comme le décrit Hickman, d’un « espace magique plus grand à l’intérieur qu’à l’extérieur », est obtenue grâce à une technique appelée « marche redirigée ». Si vous effectuez par exemple un virage à 90° dans la pièce, la VR ne fera tourner la pièce virtuelle que de 80°. Vous ne remarquez pas la différence, mais la VR cumule ces petites tricheries à chaque virage, jusqu’à vous faire éviter un mur voire à vous faire marcher en cercle, tout en vous donnant l’impression que vous venez de parcourir un kilomètre en ligne droite. Le toucher redirigé produit un effet similaire. Une pièce peut contenir un bloc réel mais afficher trois blocs virtuels sur une étagère – les blocs A, B et C. Vous voyez votre main saisir le bloc B, mais le système de VR la dirigera en réalité sur l’unique bloc réel présent dans la pièce. Lorsque vous reposez le bloc B et que vous saisissez le bloc C, vous ne faites en réalité qu’attraper le même bloc dans la réalité. Il est incroyable de voir à quel point ces petites informations erronées parviennent à vous tromper et vous faire croire que ce que vous voyez est vrai. Des escaliers peuvent donner l’impression d’être sans fin s’ils descendent alors qu’en réalité vous montez. À un moment de The Void, un sol pourri s’effondre quand vous marchez dessus, et vous pouvez entendre, voir et ressentir dans tout votre corps que vous chutez à l’étage en-dessous. En réalité, le sol ne s’enfonce que de 15 centimètres. On imagine aisément qu’une pièce de 20 m × 20 m contenant un ensemble de panneaux aux formes diverses, de rampes et de sièges, tous recyclés et redirigés, peuvent donner lieu à plusieurs heures d’aventures différentes. Voir n’est pas suffisant. Nous utilisons tous nos sens pour appréhender la réalité. La plupart des dispositifs de VR haut de gamme en vente cette année font la part belle au son dynamic binaural – c’est-à-dire à l’audio en 3D. C’est plus que de la stéréo, qui est figée dans l’espace. Pour être convaincante, la localisation apparente d’un son doit se déplacer lorsque vous bougez la tête. L’impression de présence est accrue par les sensations de mouvement nées dans votre oreille interne : si elles ne sont pas synchronisées avec ce que vous voyez, vous vous sentez mal. La bonne VR inclue également le toucher. Jason Jerald, professeur à l’institut de technologie Waterford, auteur d’un livre sur la VR, affirme que la sensation de présence de la VR vient en grande partie de nos mains. Les gants n’étant pas encore prêts à être mis sur le marché, les constructeurs utilisent pour le moment de simples manettes pourvues de quelques touches faciles à utiliser. Si élémentaires que soient ces sticks, ils doublent la sensation d’être présent dans la VR. Le toucher, la vision et le son forment la trinité essentielle de la réalité virtuelle.

Une avancée magique

Bien que Magic Leap n’ait pas encore atteint la sensation d’immersion de The Void, il est de loin le plus impressionnant du point de vue visuel. Leur technologie n’a pas son pareil pour créer l’illusion que des objets virtuels existent vraiment. Le fondateur de Magic Leap, Rony Abovitz, était le parfait inadapté social pour inventer cette technologie. Il a grandi dans le sud de la Floride. Enfant, il était fasciné par la science-fiction et les robots. Il a cherché à bâtir sa carrière autour de cet univers et a obtenu un diplôme en ingénierie biomédicale à l’université de Miami. Abovitz était encore étudiant lorsqu’il a monté une société fabriquant des robots chirurgicaux. Avant que son entreprise ne soit rentable, son seul revenu était les 30 dollars qu’il se faisait chaque semaine en dessinant pour le journal de l’université. La plupart des gens trouvaient les dessins d’Abovitz plus bizarres qu’amusants. Il s’agissait de gribouillis formant des créatures extraterrestres, annotés de petites inscriptions qui étaient en réalité des messages secrets adressés à ses petites amies. On ne se dit pas en les voyant qu’ils sont sortis de l’imagination d’un ingénieur. Mais il se trouve que la bonne réalité virtuelle est à la croisée de la physique et de la fantaisie.

Rony Abovitz
Crédits : Peter Yang

Abovitz est un homme corpulent affublé de lunettes, qui sourit constamment. Il est chaleureux et détendu, très à l’aise dans ses baskets. Mais il vibre. Il bourdonne d’idées. Il déborde. Une idée en déclenche deux autres. Il remue sa tête imposante lorsqu’il parle, flairant de nouvelles idées. Il lui est difficile de les empêcher de s’échapper, de ralentir la vitesse à laquelle elles fusent de son cerveau. Comme dans ses dessins, une discussion peut aboutir à peu près n’importe où. La plupart de ses idées combinent physique et biologie. Dans sa biographie Twitter, Abovitz se décrit comme « un ami des gens, des animaux et des robots », ce qui est assez juste. Lorsqu’il parle comme dans son travail, il fait montre d’une rare sensibilité à la logique des machines et à l’âme de la biologie. Lorsque vous fabriquez des bras robotiques pour aider des médecins à creuser dans de la chair vivante, vous devez obéir à la fois aux lois de la physique, de la biologie et de l’esprit humain. Abovitz a un don pour ces trois domaines et ses robots chirurgicaux se sont bien vendus.

En 2008, son entreprise, Mako, est entrée en bourse. Elle a été vendue en 2013 pour 1,65 milliards de dollars. Ce succès a donné naissance à une nouvelle idée. Abovitz s’interrogeait. Serait-il possible de concevoir un genou virtuel d’assez bonne qualité pour aider à réparer un genou réel ? Serait-il possible d’ « augmenter » une opération du genou en y superposant un genou virtuel ? Abovitz a commencé à réfléchir à la technologie qui pourrait marier des mondes virtuels à la chirurgie. Au même moment, il a commencé à travailler sur un roman graphique. Abovitz est un amoureux de science-fiction et il a inventé tout un monde sur une autre planète : des baleines volantes, des hommes en tenues de libellule, une jeune femme et son singe-chauve-souris domestique et une invasion de robots soldats. Grâce à l’argent de son entreprise de robotique, il a pu engager Weta Workshop, le célèbre studio d’effets spéciaux néo-zélandais fondé par le cinéaste Peter Jackson, pour créer une représentation détaillée de ce monde. L’équipe de Weta a conçu tous les accessoires et les effets visuels du Seigneur des anneaux, et ils ont participé à inventer la culture des Na’vi dans Avatar. Ils ont designé le monde d’Abovitz, baptisé Hour Blue, jusqu’aux moindres détails des baleines volantes et des singes-chauve-souris. Le résultat est vite passé du roman graphique à précurseur de réalité virtuelle.

Quel monde extraterrestre ne serait pas meilleure en 3D immersive ? Abovitz était déjà un pionnier de la réalité mixte pour les médecins, ce n’était là que la suite logique de ses idées. L’entreprise qu’Abovitz a fondé pour développer ce monde immersif était Magic Leap. Son logo serait son animal totem, la baleine bondissante. Il fallait inventer le hardware capable de créer la MR. À cette époque, en 2012, la campagne Kickstarter pour l’Oculus était lancée et d’autres prototypes utilisant une technologie héritée de la téléphonie étaient dans les tuyaux. C’est là qu’Abovitz a dévié de la voie principale. Fort de son travail dans la biomédecine, il a réalisé que la réalité virtuelle était une des rares technologies dont les êtres humains font encore partie intégrante du hardware. Pour fonctionner correctement, VR et MR doivent utiliser des circuits biologiques autant que des puces de silicium. La sensation de présence que vous ressentez quand vous portez un de ces casques n’est pas créée par l’écran mais par notre neurologie. Les tours comme la marche redirigée opèrent dans notre cerveau autant que dans le processeur Nvidia. Abovitz voyait la réalité artificielle comme une technologie symbiotique, à la fois chair et machine. « J’ai pris conscience que si vous donnez au corps et à l’esprit ce qu’ils veulent, ils vous donnent bien plus en retour », dit-il.

Une danseuse de ballet virtuelle
Crédits : Magic Leap

La réalité artificielle exploite les particularités de nos sens. Elle pirate le cerveau humain de dizaines de façons différentes pour créer ce qu’on appelle une chaîne de persuasion. Dans un film, notre cerveau perçoit le mouvement à travers une séquence d’images fixes. De la même façon, vous pouvez scanner une baleine bleue sous tous les angles puis la restituer en image 3D volumétrique qui pourra être affichée sur l’écran d’un casque et observée depuis n’importe quelle position. Même si nous savons que l’objet n’est pas réel – mettons qu’il s’agisse de Godzilla plutôt que d’une baleine –, nous avons le sentiment au niveau subconscient que sa présence est bien réelle. Si le moindre détail est mal aligné, ce décalage peut briser cette illusion de présence profonde. Quelque chose d’aussi anecdotique que de se soucier de ne pas marcher sur un câble de connexion peut instiller le doute dans notre inconscient. Peut-être que Godzilla aura l’air d’être là, mais on ne sentira plus sa présence. Abovitz a décidé de suivre son intuition et d’exploiter la biologie humaine, en mettant au point un dispositif de réalité virtuel qui soit plus symbiotique. Les écrans hérités des téléphones utilisés par la majorité des casques de VR comportent un problème de taille : ils sont placés juste devant vos yeux. Si l’appareil crée l’illusion d’une baleine bleue à 30 mètres, vos yeux devraient faire le point à 30 mètres. Mais ce n’est pas le cas, ils sont focalisés sur le petit écran situé à 3 cm d’eux. De même, quand vous regardez une méduse virtuelle flotter à 15 cm de votre visage, vos yeux ne se croisent pas comme ils le feraient dans la vraie vie, ils regardent tout droit. Personne n’est conscient de cette incohérence optique, mais après une utilisation prolongée, ce décalage subconscient pourrait contribuer à l’inconfort souvent évoqué par les utilisateurs et à l’amoindrissement de la chaîne de persuasion.

La solution de Magic Leap est un système optique qui crée l’illusion de profondeur de telle manière que vos yeux font la mise au point au loin pour les choses lointaines, et tout près pour les choses toutes proches. Ils convergent ou divergent aux distances exactes. En essayant le prototype de Magic Leap, j’ai trouvé qu’il fonctionnait incroyablement bien de très près, ce qui n’était pas le cas de la plupart des autres systèmes de réalité mixte ou virtuelle que j’ai essayés. J’ai aussi trouvé que la transition de retour au monde réel en ôtant les optiques de Magic Leap se faisait sans effort, aussi confortablement que d’enlever des lunettes de soleil, ce que je n’ai retrouvé avec aucun autre système. Cela semblait naturel.

Un casque HoloLens
Crédits : Microsoft

La concurrence de Magic Leap est cependant formidable. Microsoft vend actuellement des versions de développement de sa visière de réalité mixte HoloLens. Leur technologie est unique (jusqu’ici) car l’appareil tout entier – processeur, optiques et batterie – est contenu dans la visière. Elle est véritablement autonome. Une autre start-up du nom de Meta a sorti un appareil de MR qui a débuté, comme l’Oculus Rift, avec une campagne Kickstarter. Le casque est connecté à un ordinateur et les kits de développement devraient être livrés avant la fin de l’année – probablement bien avant Magic Leap. Ces trois appareils de MR fonctionnent grâce à des images projetées sur un matériau semi-transparent – généralement du verre pourvu d’un revêtement de nano-nervures. L’utilisateur voit le monde extérieur à travers les lunettes, tandis que les éléments virtuels sont projetés par une source lumineuse située sur le bord du verre et reflétée dans les yeux de l’utilisateur par les nano-nervures qui dédoublent le faisceau lumineux. Magic Leap affirme que son dispositif est unique car il diffuse la lumière à l’intérieur de l’œil. L’entreprise refuse d’en dire davantage pour le moment. Qu’importe la façon dont fonctionne Magic Leap, son avantage est que les pixels disparaissent. La plupart des casques de VR basés sur un écran souffrent d’un léger effet de pixellisation qui vient de leur grille de pixels visible. Les images virtuelles de Magic Leap, au contraire, sont lisses et incroyablement réalistes. Mais la qualité de l’affichage de tous les équipements de réalité alternative – VR et MR – s’améliore rapidement.

Mois après mois, la résolution de toutes les visières augmente, la cadence des images fait des bonds, la plage dynamique s’approfondit et l’espace colorimétrique s’étend. D’ici deux décennies, lorsque vous regarderez un affichage de réalité virtuelle de pointe, votre œil sera convaincu de regarder à travers une véritable fenêtre dans un monde véritable. Tout sera aussi lumineux et net que ce que vous voyez en regardant par la fenêtre. Une fois que ce petit écran atteint le réalisme parfait, il devient l’écran unique pour les gouverner tous. Si un écran disposé près de votre œil offre une résolution suffisante, la luminosité, l’ampleur et la richesse de couleurs optimales, il peut afficher n’importe quel nombre d’écrans virtuels, de n’importe quelle taille. Lorsque je portais les lunettes photoniques de Magic Leap, j’ai regardé un film HD sur un écran de cinéma virtuel. L’image était aussi lumineuse et nette que mon écran de télévision 55 pouces à la maison. Avec le Microsoft HoloLens, j’ai regardé un match de football en direct sur un écran virtuel flottant près d’une page internet, ainsi que plusieurs autres écrans virtuels. Je pouvais remplir mon bureau d’autant d’écrans que je voulais, aussi grands (ou petits) que je le désirais. Je pouvais cliquer n’importe où dans le monde réel pour qu’un écran s’y superpose. L’une des ambitions de Microsoft avec son HoloLens est de remplacer tous les écrans d’un bureau typique par des dispositifs portables. Les démos de l’entreprise imaginent des gens déplaçant des écrans virtuels autour d’eux ou cliquant pour être téléportés dans une salle de conférence en 3D, avec une douzaine de collègues vivant dans différentes villes. Ces écrans virtuels à l’intérieur de la réalité virtuelle m’ont semblé étonnamment naturels et pratiques. Chez Magic Leap, l’équipe de développement abandonnera bientôt les écrans de bureaux pour les remplacer par des affichages virtuels. Meron Gribetz, le fondateur de Meta, dit que ses nouvelles lunettes de réalité mixte Meta 2 auront remplacé les écrans de son entreprise comptant une centaine d’employés d’ici un an. Il n’est pas difficile d’imaginer de telles lunettes remplacer également les petits écrans que nous avons tous dans nos poches. En d’autres termes, cette technologie peut simultanément prendre la relève des PC, des ordinateurs portables et des téléphones. Il n’est pas étonnant qu’Apple, Samsung et les autres s’y intéressent d’aussi près. C’est à cela que ressemble une disruption à grande échelle.

Travailler sur les premiers prototypes de lunettes Magic Leap a inspiré Peter Jackson.

Peter Jackson est d’accord. Je rencontre le réalisateur dans une pièce ensoleillée de son studio de cinéma à l’extérieur de Wellington, en Nouvelle-Zélande. Avec son short et ses pieds nus, il ressemble à un hobbit qui se serait échappé du département maquillage pour aller gambader librement dans les rues. C’est un petit homme grassouillet avec un nez bulbeux, et sa tête est couronnée de cheveux de hobbits indomptables. Il a de grands pieds velus. Jackson confesse qu’il est moins emballé qu’avant par la réalisation de films ; ce n’est pas le contenu le souci, mais le processus. Il voit la réalité artificielle comme un territoire vierge pour raconter des histoires et créer de nouveaux mondes. Il fait partie d’un groupe consultatif pour Magic Leap, et son entreprise produira du contenu pour leur nouvel équipement. « Cette réalité mixte n’est pas une extension des films en 3D. C’est quelque chose de complètement différent », dit-il. « Une fois que vous pouvez créer l’illusion que des objets solides se trouvent n’importe où, vous créez de nouvelles opportunités de divertissement. » Travailler sur les premiers prototypes de lunettes Magic Leap l’a inspiré. « Je trouve la réalité mixte bien plus excitante que la VR », dit-il. « Elle ne vous transporte pas hors du monde. Elle ajoute des éléments au monde réel et elle est dotée d’une grande souplesse. Vous pouvez ajouter le plus petit élément possible – un simple petit personnage qui nous parlerait sur cette table – ou remplacer tous  les murs de cette pièce par le ciel, pour que nous regardions les nuages flotter en silence. En portant vos lunettes Magic Leap, vous pouvez regarder l’Empire State Building être construit au début des années 1930, étage par étage, en avance rapide. Ou bien quand vous marchez dans les rues de Chicago, on peut imaginer que vous verrez des gangsters passer en voiture avec leurs mitraillettes. Ce pourrait être une forme d’éducation, de divertissement et de tourisme. Dans dix ans, je pense que les technologies de réalité mixte comme Magic Leap seront utilisées autant, sinon plus que les smartphones. » Jackson est assis dans un fauteuil en peluche et pose ses pieds nus sur la table basse. « La plupart des films de science-fiction contiennent un élément dont Magic Leap est capable, qu’il s’agisse de déplacer des données autour de vous d’une simple pression du doigt, de passer un appel téléphonique holographique ou d’un jeu d’échecs en 3D. C’est dans notre conscience collective depuis très longtemps. Comme les voitures volantes. Mais ce sera probablement mieux que les voitures volantes. » Weta est passé maître dans l’art de rendre crédibles (et trépidants) des mondes imaginaires en accordant un soin particulier aux détails. Les mondes des superproductions de MR et de VR requièrent un très haut niveau de compétences. La liberté inhérente à cette technologie permettant aux spectateurs de se déplacer, d’examiner les choses sous toutes leurs coutures et de s’attarder sur les détails pour le plaisir signifie qu’un talent et un travail immenses sont nécessaires pour préserver la chaîne de persuasion de tout ce qui peuple ce monde.

Un requin flotte dans un bureau
Crédits : Magic Leap

Weta travaille avec Magic Leap au développement d’un petit monde virtuel appelé Dr. Grordbort’s, basé sur des pistolets à rayons laser sculptés. C’est Richard Taylor qui dirige ce projet. Il construit des mondes depuis près de 30 ans, souvent avec Jackson. Taylor a été sculpteur toute sa vie. Son amour des matériaux – l’argile, la pierre, le bois, le cuivre, les tissus et le verre – est évident lorsqu’on visite son atelier, qui est bourré de centaines d’objets d’une beauté indescriptible. Le passage à la virtualité est un grand pas pour lui. « Je n’étais pas préparé à l’impact émotionnel de Magic Leap », dit-il. « Je n’aurais jamais imaginé que j’aurais autant envie de me retrouver dans un monde peuplé d’artefacts et de personnages virtuels. Mais une fois digérée la surprise, j’ai complètement changé d’avis sur la question. »

LISEZ ICI LA SUITE DE L’HISTOIRE

COMMENT MAGIC LEAP VA RÉVOLUTIONNER LA RÉALITÉ

Traduit de l’anglais par Nicolas Prouillac et Arthur Scheuer d’après l’article « The Untold Story of Magic Leap, the World’s Most Secretive Startup », paru dans Wired. Couverture : Une vidéo de présentation de Magic Leap.