Les propos ayant servi à réaliser cette histoire ont été recueillis par Clémence Postis au cours d’un entretien avec John Underkoffler. Les mots qui suivent sont les siens. L’informatique m’a fasciné très jeune. Quand j’étais au collège, mon professeur de mathématiques a apporté en classe quelques modèles du TRS-80 de Radio Shack. J’ai passé toute une partie de mon été avec lui, à expérimenter leurs atouts pédagogiques et à chercher ce qu’ils pouvaient apporter de plus dans l’enseignement. À la même époque, mon oncle avait un ami, un excentrique complètement fou de radio. C’était un amateur, mais son toit était recouvert d’antennes gigantesques et il avait chez lui une pièce entière remplie de radios et d’ordinateurs. C’était assez impressionnant et ce fut une grande source d’inspiration. Et puis, à la toute fin des années 1970, ma famille a acheté un Apple II Plus, une machine extraordinaire. Elle était si simple, faite d’un seul bloc, vous pouviez tout apprendre, tout comprendre de son fonctionnement, interne comme externe. Tout comprendre de son langage, de son électronique… C’était une invitation à la découverte. Il n’y avait aucun logiciel préinstallé contrairement aux ordinateurs actuels, tout était à faire et à expérimenter. Je débutais complètement, mais j’ai installé toutes sortes de programmes, des jeux, des logiciels musicaux… J’ai vraiment assisté à la naissance d’un nouveau média.

John Underkoffler présente son interface utilisateur
Crédits : TED

Enfant du MIT Media Lab

Mais après le bac, je voulais absolument devenir chimiste ou ingénieur chimiste. Enfant, mon idole était Marie Curie, et je me passionnais pour la physique et la chimie. Au lycée, mon mentor et modèle était une professeure incroyablement charismatique qui avait autrefois été chimiste. Malgré tous ces signes prometteurs, j’ai rapidement compris en arrivant à la fac que ce n’était pas ma voie. J’étais en réalité très mauvais dans ce domaine. À la place, je me suis tourné vers l’imagerie. Et le Media Lab. Je suis un enfant du MIT Media Lab. Je suis arrivé à MIT en 1984, pile au bon moment. Les fondateurs du Media Lab, Nicholas Negroponte et Jerome Wiesner, avaient réussi à lever les fonds nécessaires et la construction des bâtiments était finie. J’ai rejoint le Media Lab six ou neuf mois avant son ouverture officielle. J’étais un petit jeune sous-qualifié embarqué dans une aventure incroyable. De nombreuses disciplines qui n’avaient jamais eu l’occasion jusqu’à présent de se rencontrer se retrouvaient à cohabiter sous le même toit. Dans le Media Lab, d’éminents informaticiens travaillaient aux côtés de réalisateurs de documentaires, des architectes avec des physiciens, et ainsi de suite. De toutes ces collaborations – parfois fructueuses, parfois catastrophiques –, beaucoup de concepts novateurs ont émergé.

Au Media Lab, il conçoit un programme de musique assistée par ordinateur
Crédits : John Underkoffler

Pour un inadapté comme moi, qui n’aurait jamais eu sa place dans un département scientifique classique, le Media Lab était le paradis sur Terre. Et tout naturellement, j’y suis resté longtemps, de 1984 à 2000. Tant de choses extraordinaires sont arrivées à cette époque et à cet endroit. Les huit premières années au Media Lab, j’ai travaillé sur les hologrammes grâce aux lasers et à la création d’image en 3D. Mais très rapidement, entre le milieu des années 1980 et le début des années 1990, tous les corps de métier se sont informatisés. Le temps passant, je me suis mis à utiliser des ordinateurs toute la journée. Et un jour de 1992, l’immobilité des hologrammes et leur manque d’interactivité m’a vraiment frustré. On pouvait simplement les regarder, et moi je voulais davantage. Alors je me suis réorienté et j’ai commencé à concevoir de nouvelles interfaces utilisateurs. En 1984, le McIntosh faisait son apparition sur le marché – une étape incroyable dans l’histoire de l’informatique. L’ordinateur apprenait soudain à parler avec des images, et nous apprenions à comprendre et à utiliser ces images et ces icônes. C’était la transition entre le texte unidimensionnel et l’image vectorielle en deux dimensions. Auparavant, l’utilisateur tapait du texte et recevait une réponse textuelle sur l’écran. Il faisait appel à la partie de son cerveau consacrée au langage abstrait. Mais le McIntosh s’adressait à l’autre partie, la partie vectorielle. D’un certaine manière, il s’agit de la partie la plus terre à terre du cerveau, la plus basique. Et cela a ouvert le monde à l’informatique, car un grand nombre de personnes pouvaient dès lors utiliser l’ordinateur et profiter de ses avantages. En 1994, dix ans après la sortie du McIntosh, j’ai naïvement cru que dix ans d’existence suffisaient pour une interface utilisateur, et qu’il était temps d’en créer une nouvelle. Les ordinateurs avaient dix ans de plus et étaient plus puissants, utilisaient Internet, et regorgeaient de capacités extraordinaires. Il était évident pour moi qu’il fallait offrir aux gens une nouvelle interface, une nouvelle façon d’interagir avec les machines. J’ai alors commencé toute une série d’expérimentations et construit des prototypes qui, je l’espérais, permettraient d’utiliser les ordinateurs d’une façon plus humaine, plus puissante, et peut être moins abstraite. Une utilisation plus proche des interactions qu’un peintre, qu’un designer ou un sculpteur peuvent avoir avec la technologie.

Le système d’exploitation g-speak
Crédits : Oblong Industries

Évidemment, j’étais trop naïf et il était bien trop tôt. Trente ans après, nous utilisons toujours l’interface McIntosh. Mais je pense qu’à présent, assez de temps a passé, et les choses sont prêtes à changer. J’ai alors passé  toute une année à construire un système d’exploration et d’informatisation de la musique. Grâce à des graphiques très détaillés, l’utilisateur pouvait voguer entre les partitions, les notes, et la progression se synchronisait avec la version originale du morceau. Ce projet était extrêmement distrayant et a augmenté mes compétences techniques et esthétiques. Il s’agissait pour moi de la première étape vers un monde entièrement synthétique. J’étais très influencé par le concept de cybermonde présenté dans les romans de science-fiction de William Gibson et Neal Stephenson. Pour moi, il était temps d’inventer ce cyberespace. Mais tout ne s’est pas passé comme je l’imaginais. Mon superviseur de l’époque – qui n’était pas encore le professeur Hiroshi Ishii –, a détesté ce projet parce qu’il détestait lui-même la musique. Je n’avais jamais rencontré personne qui n’aimait pas la musique ou qui n’était pas capable de la comprendre ! J’ai ainsi perdu plus d’un an de ma vie. Je ne savais plus quoi faire, tout était bouché. L’université a même essayé de me renvoyer après cette débâcle. Fort heureusement, le professeur Hiroshi Ishii, le directeur actuel du Tangible Media Group, un des pôles du Media Lab, m’a défendu et soutenu dans l’adversité. J’ai passé des mois et des mois à essayer de trouver un autre projet. Jusqu’au jour où mon meilleur ami m’a dit : « C’est le Media Lab. Réfléchis au truc le plus stupide et le plus cher que tu puisse trouver. Ça va forcément marcher. »

L’idée de génie

C’était le coup de pouce qui m’a permis de sortir de l’impasse dans laquelle je me trouvais. J’ai commencé à regarder l’ampoule de mon bureau. J’ai commencé à penser à l’éclairage et à cet objet vieux de 110 ans, qu’on trouvait dans chaque bâtiment et dans chaque chambre de chaque bâtiment. Nous plaçons les ampoules au plafond afin qu’elles puissent éclairer l’intégralité d’une pièce. Elles « voient » tout.

La Luminous Room a amené Hollywood à entrer en contact avec moi pour travailler sur le film Minority Report.

Je me suis alors demandé ce qu’il se passerait si on plaçait des appareils informatiques au plafond. Si, à la place des filaments de l’ampoule qui éclairent à la même intensité dans toutes les directions, on installait un projecteur. Ce projecteur, si tous les pixels de même couleur et de même intensité étaient activés, pourrait tout de même éclairer la pièce. Mais si vous envoyiez un signal différent à l’intérieur du projecteur, que vous lui faisiez envoyer une image ou une vidéo, alors vous pourriez injecter des informations dans le monde réel. Et pourquoi ne pas intégrer une caméra dans le projecteur en bonus ? Ainsi, l’ampoule ne se contente plus d’envoyer de la lumière, elle la reçoit également, et capte des informations. C’est ainsi qu’est né le I/O Bulb. Le concept était de créer un tout nouveau genre d’interface utilisateur, moins indirecte que l’utilisation de la souris. Finalement, lorsque l’utilisateur utilise une souris, sa main est à un endroit, et ce qui lui importe, les pixels, sont à un autre endroit. L’idée est de projeter et de collecter des informations au même endroit, là où l’être humain se tient, et là où sont ses mains. Une nouvelle forme d’interaction devient alors possible, entièrement centrée sur l’humain plutôt que sur la technologie. L’interaction peut se faire sur n’importe quelle surface de la pièce, et plus uniquement sur les éléments informatiques dédiés. Cette idée s’est révélée fructueuse. Avec le Tangible Media Group, nous y avons travaillé pendant des années, et nous avons baptisé cet ensemble de systèmes et de prototypes Luminous Room. Et c’est la Luminous Room qui a amené Hollywood à entrer en contact avec moi pour travailler sur Minority Report.

Avec le Tangible Media Group, il crée la Luminous Room
Crédits : John Underkoffler

Quand Steven Spielberg a choisi d’adapter Minority Report, il voulait que le monde de 2054 soit le plus crédible possible. Il voulait que le public, devant le film, comprenne instinctivement toutes les étapes qui séparaient 2002 de 2054, comment cette évolution avait été possible. Mais c’est une tâche extrêmement ardue que de concevoir cinquante ans de sciences et de techniques. Il faut imaginer les moyens de transports, l’agriculture, l’architecture, la sociologie, la mode… Il faut que tout soit réfléchi, logique et parfaitement cohérent. La tâche a incombé à Alex Mcdowell, le plus talentueux des chefs décorateurs du monde. Il trouvait extraordinaire de pouvoir être le père de tout un univers. Il a alors fait le tour de monde et voyagé à travers toute l’Amérique à la recherche de nouvelles innovations techniques et d’idées futuristes à intégrer dans le film. C’est ainsi qu’il a découvert nos travaux sur la Luminous Room au Media Lab. Soudain, le principal problème du film, à savoir l’aspect des ordinateurs, trouvait sa solution. Un beau jour, je suis monté dans un avion et je suis parti créer le monde de 2054 avec Alex McDowell et Steven Spielberg. Quand j’ai commencé à travailler en 2000 sur Minority Report, l’idée d’un consultant scientifique ou technologique sur un film était inédite, alors qu’avoir recours à des consultants et des experts sur les tournages était tout de même monnaie courante.

G-speak est basé sur le mouvement
Crédits : Oblong Industries

Pour un film sur la chirurgie, il y a toujours un médecin référent ; un drame judiciaire a forcément besoin d’un conseiller juridique. Si c’est un road movie, le réalisateur fait appel à des conseillers militaires, et si c’est un drame policier, à des agents des forces de l’ordre. Mais introduire la science et la technique dans la réalisation d’un film était une véritable nouveauté. Malgré cela, les gens ont été complètement emballés par l’attention portée à la création du futur de Minority Report et à la crédibilité technologique du film. D’autres réalisateurs ont voulu eux aussi apporter du soin à l’esthétique et à la logique technologique de leurs œuvres, eux aussi ont voulu un background pour leur univers. Des collègues et moi-même sommes ainsi devenus conseillers techniques sur différents films. Pour ma part, après Minority Report, j’ai travaillé après sur Hulk, du génial Ang Lee. J’ai participé à de nombreux films, dont le plus récent d’entre eux est Iron Man. Je devais travailler sur ce personnage, ce géant égoïste, à la fois scientifique et ingénieur. Nous devions trouver comment un super-héros, créateur de ses propres pouvoir, peut réagir, parler, comment il pense le monde autour de lui et quels les outils il peut créer et utiliser.

MetamorFaces, un des premiers systèmes interactifs de modélisation du visage en 3D
Crédits : John Underkoffler

Le travail entre Minority Report et Iron Man était très différent. Minority Report est un chemin à la fois intérieur et extérieur. C’est l’histoire d’un monde, d’un système qui se veut utopique, où des enfants prescients peuvent prédire les crimes à venir. Mais ce système est corrompu. Il s’agit également de l’histoire et du cheminement intérieur de John Anderton, le personnage incarné par Tom Cruise, qui interagit avec un système corrompu qui est l’écho de son propre passé. Iron Man est une pure fable personnelle, une histoire d’ego. L’histoire d’un homme particulièrement talentueux, Tony Stark, un ingénieur incroyablement égotique qui construit lui-même l’univers qui l’entoure. Il conçoit des solutions à ses problèmes, il construit toutes ces choses pour lui-même. Il se construit une armure, il se construit un ordinateur… La tâche était donc philosophiquement complètement différente. Nous n’avions pas à concevoir un monde avec lequel toute une population interagit, mais le monde d’un seul homme, que lui seul utilise.

~

Il y a un cercle vertueux entre le cinéma et la science, ils s’influencent sans cesse, et cette inspiration n’est jamais allée aussi vite : la réalité rattrape la fiction. Je suis véritablement obsédé par les interfaces utilisateurs, je veux rendre les ordinateurs plus humains, plus compétents. En faire de véritables partenaires et outils pour les êtres humains, plutôt que les êtres humains soient dépendant des ordinateurs – ce qui est plus ou moins le cas aujourd’hui.

Le moteur de la conscience est le résultat du mouvement.

Je pense que pour y parvenir, ce n’est ni l’informatique, ni les autres interfaces utilisateurs qu’il faut étudier. Il faut étudier l’ensemble des activités humaines : la musique, la danse, l’architecture, la sculpture et avant tout le cinéma. Car le cinéma saisit le temps et l’espace. C’est l’art de la narration, il décrit la façon dont les gens se réunissent, dont les corps et les objets se déplacent à travers l’espace et interagissent les uns avec les autres. À l’instar de la biologie. Ce qui nous importe le plus, c’est la conscience, et le moteur de la conscience est le résultat du mouvement. La biologie est à l’heure actuelle le meilleur moyen de comprendre l’origine de la conscience et de l’intelligence. Les plantes n’ont pas de conscience parce qu’elles ne bougent pas, elles n’ont pas besoin de comprendre le monde qui les entoure et de planifier des choses. Mais les animaux, les créatures vivantes ont besoin de planifier. Elles ont besoin  de déterminer vers quoi nager ou de quoi s’échapper, ce qu’elles peuvent manger, ou comment communiquer. C’est le mouvement qui détermine qui nous sommes, qui nous offre une conscience. Nous sommes des créatures en mouvements et le mouvement est à l’origine de la plupart de nos pensées et de notre sens esthétique. C’est donc cela que nous devons utiliser, ce à quoi nous devons penser en réalisant des ordinateurs et des interfaces utilisateurs.

De la fiction à la réalité

Quelques années après la sortie de Minority Report, une chose étrange s’est produite. L’intérêt pour les interfaces utilisateurs, pour les interfaces gestuelles du film, n’a pas diminué. Les journalistes et le public continuaient d’en parler, et les gens ont commencé à réfléchir à l’intérêt de telles interfaces. Les grandes entreprises m’appelaient sans cesse pour savoir si ce que j’avais inséré dans le film était une simple idée ou une réalité. Et si c’était une réalité, elles voulaient l’acheter et l’utiliser.

Le Projet Mezzanine
Crédits : Oblong Industries

À la longue, j’ai pris conscience qu’il était temps pour moi de fonder ma propre société, d’apporter mes idées dans le monde réel et non plus seulement au cinéma. Ces idées étaient peut-être bonnes, et le monde était peut-être enfin prêt à changer d’interface utilisateur. Ainsi, avec des collègues, nous avons créé Oblong, une entreprise dont le but est de changer l’utilisation des ordinateur, mais d’une manière particulière : en commençant par l’interface utilisateur. Chez Oblong, nous travaillons sur g-speak et sur le projet Mezzanine. G-speak est essentiellement une plateforme logicielle, autrement dit un système d’exploitation. Il s’agit du système d’exploitation sur lequel se basent tous les systèmes d’Oblong. Mezzanine se base donc sur g-speak, de la même façon que Skype utilise Windows ou l’OS X d’Apple. Mais g-speak est le système d’exploitation à utiliser pour élaborer des programmes comme Mezzanine, qui se déplacent sur de nombreux écrans et espaces d’affichage, et qui permettent à plusieurs personnes d’interagir au même moment, de plusieurs façons différentes et avec divers mouvements. Mezzanine est l’ordinateur dont nous rêvions depuis toujours : un complément, une pièce rajoutée qui s’imbrique parfaitement avec les ordinateurs que nous possédons aujourd’hui. Il faut reconnaître que ces ordinateurs sont quelques peu limités, conçu pour un unique individu. C’est un peu comme n’avoir qu’un seul ami ou une seule personne à qui parler. L’ordinateur ne pense qu’à vous, il ne se soucie que d’une personne à la fois.

John Underkoffler au Web Summit
Crédits : Web Summit

Cela signifie que l’activité humaine la plus importante, à savoir la collaboration ou la conversation, est par essence impossible dans le monde numérique. Et ce uniquement à cause de nos conceptions et de l’élaboration de nos ordinateurs. Mezzanine est donc l’autre moitié de l’ordinateur, celle consacrée à la collaboration, à la conversation. C’est un ordinateur « architectural » qui utilise dans l’espace des pixels et des écrans sur plusieurs murs à la fois. Il remplit la pièce de pixels, d’informatique, de savoirs et d’informations, disponibles symétriquement et démocratiquement pour tous les utilisateurs présents dans la pièce. Mezzanine tire son inspiration de l’architecture. En tant qu’êtres humains, nous construisons des pièces, des immeubles, des espaces et des formes qui peuvent contenir nos activités. Elles sont à l’échelle humaine et ont pour but spécifique de rassembler les gens pour parler, manger, se battre, créer, compatir, analyser, travailler… Mezzanine, c’est transformer l’informatique en une forme architecturale. C’est être accessible à tous, permettre à n’importe qui de rentrer dans la pièce et de commencer à jeter des idées sur les murs, déplacer ces idées et les rassembler, les juxtaposer. G-speak et Mezzanine n’incarnent pas forcément l’avenir de l’informatique. Mais ils le seront si nous avons envie d’évoluer dans une société saine. Je crois sincèrement que la création d’interfaces utilisateurs est un acte politique, et si nous construisons des interfaces qui limitent les gens, si nous leur permettons uniquement de regarder des films et d’acheter, alors c’est un bien étrange monde que nous créons. C’est le monde d’aujourd’hui. Je suis beaucoup plus intéressé par une interface qui permet à l’utilisateur d’être actif, puissant, expressif, qui autorise les gens à collaborer les uns avec les autres. Qui les autorise à transformer leurs idées en réalité. Et tout cela est bien plus complexe et sophistiqué que de regarder un film ou que d’acheter un produit en ligne. Nous avons besoin d’un nouveau modèle d’interface, et c’est la raison pour laquelle la conception d’interfaces utilisateur est une tâche continue, qui nécessite des centaines de personne pour que ce soit réussi.D’après moi, c’est extrêmement important, car aujourd’hui, nous, les êtres humains, avons décidé d’être à moitié biologique et à moitié numérique. Nous avons fait ce choix sans en discuter, mais nous vivons maintenant avec les ordinateurs, ils nous envahissent. Si notre espèce tient à rester équilibrée, alors nous devons prendre le contrôle sur ces appareils, et faire d’eux nos partenaires créatifs. Des outils créatifs plutôt que des outils commerciaux.

Les Mezzanine Room travaillent ensemble
Crédits : Oblong Industries

G-speak et Mezzanine devraient se propager partout, entrer dans chaque affichage, chaque écran, chaque ensemble de pixels, et lorsque ce sera le cas, la communication et la collaboration – et non plus la consommation – deviendront les principales activités d’un ordinateur. Aujourd’hui, si une idée vient à l’esprit d’une personne, la chose la plus naturelle pour elle est d’en parler à quelqu’un, ou à défaut, de s’emparer d’un bout de papier et d’un crayon. Naturellement, elle va faire un croquis ou écrire cette idée dont elle veut tant se souvenir et travailler dessus plus tard. Je pense qu’il devrait en être ainsi pour les ordinateurs : ils devraient être un moyen de se souvenir et de discuter, d’engager des conversations, et de synthétiser. Cela peut sembler impossible pour un ordinateur, mais c’est seulement dû au fait que dans la vie quotidienne, on attrape un stylo ou un crayon, un geste tellement naturel qu’on n’y réfléchit plus. Je voudrais donc que pour l’informatique, pour ces appareils que nous transportons, ce soit la même chose et qu’automatiquement, sans avoir à y penser, nous puissions conserver et transformer nos idées ainsi. Plus de cinquante entreprises à travers le monde utilisent déjà Mezzanine. On peut trouver actuellement Mezzanine et g-speak sur six continents. Mezzanine permet de rassembler des collaborateurs, où qu’ils soient. Une Mezzanine Room peut entrer en contact avec une autre, et les pixels sont ainsi partagés, traversant les distances qui les séparent.

G-speak se base sur les mouvements et le partage
Crédits : Oblong Industries

Dentsu Aegis, l’agence de publicité, possède aujourd’hui des Mezzanine Room à New York, Londres et Singapour, afin que leurs équipes du monde entier puissent collaborer visuellement et simultanément. Ce n’est plus seulement une affaire de téléphone ou de chat vidéo, mais d’idées visuelles qui peuvent traverser naturellement les frontières. Je souhaite que ces possibilités et ces capacités soient accessibles à tous les êtres humains, dans leur vie professionnelle ou chez eux.

Traduit de l’anglais par Claire Ferrant et Clémence Postis. Couverture : g-speak, Oblong Industries