Les propos ayant servi à réaliser cette histoire ont été recueillis par Nicolas Prouillac et Arthur Scheuer au cours d’un entretien avec la co-fondatrice de Tactai, Katherine Kuchenbecker. Les mots qui suivent sont les siens. Nos mains sont l’élément clé de notre interaction avec le monde, qu’il soit réel ou virtuel. On ne sait pas ce que c’est que d’essayer de contrôler son corps sans le toucher. Les robots n’ont pas de peau, ils n’ont pas conscience de buter dans des obstacles et ils ont des moteurs à la place des muscles. Il est très difficile de simuler ce que représente le toucher pour un être humain. D’une certaine manière, la réalité virtuelle aide à comprendre ça : on est plongé dans un environnement en trois dimensions mais il nous est impossible de toucher les objets qui nous entourent. Nos mains passent à travers. Ce problème est en passe d’être résolu.
Une utilisatrice du Tactai Touch dans le laboratoire de l’UPenn
Crédits : Tactai
Haptique
J’ai grandi en Californie du Sud où je suis allée à l’université de Stanford. J’y ai étudié le génie mécanique. Tout tournait autour de la physique appliquée et de la compréhension des dynamiques et des transformations du monde. Je me suis prise de passion pour la conception de technologies innovantes avec lesquelles il serait possible d’interagir directement. Mécatronique, capteurs, robotique : tous ces champs m’intéressaient. Mon premier amour était l’étude des interactions homme-machine. En 1988, j’ai fait un stage chez IBM. J’y ai travaillé sur des capteurs dont le but était de nous faire interagir d’une façon inédite avec les ordinateurs. Cet été-là, j’ai travaillé sur les premiers prototypes de tablettes : nous avons pris 30 ordinateurs portables que nous avons customisés pour les équiper d’écrans tactiles. Nous étions persuadé que cette invention avait de l’avenir. Parallèlement à cela, j’ai découvert que j’adorais enseigner et travailler avec les étudiants. C’est pourquoi je me suis lancée dans un doctorat à Stanford : pour devenir professeure. Lorsque j’ai décidé d’entreprendre mon doctorat, je me suis demandée quel genre de recherches j’avais envie de poursuivre. Je ne viens pas d’une famille d’ingénieurs. La plupart évoluent dans le champ de la médecine : ma mère est chercheuse et psychologue, mon père est chirurgien, ma sœur vétérinaire et mon frère est physicien. Cela m’a influencée malgré moi et j’ai travaillé avec un grand nom de la chirurgie robotique qui m’a conduit en salle d’opération, pour qu’on conçoive ensemble le prototype d’un appareil médical qu’il avait imaginé.
Katherine Kuchenbecker
Crédits : UPenn
À l’intersection de tous ces domaines de connaissance se trouve l’haptique. Il s’agit de l’étude scientifique du toucher, de la façon dont nous interagissons physiquement avec le monde. C’est l’haptique qui permet aux êtres humains comme aux robots de saisir des objets, de coordonner leurs mouvements, de ressentir le monde et d’interagir avec lui. Elle est aussi à la base de l’interaction homme-machine, comme avec la réalité virtuelle (VR), la réalité augmentée ou la chirurgie à distance. Mon directeur de thèse avait été ingénieur chez Intuitive Surgical, une entreprise de conception et de production de robots médicaux de renommée mondiale. J’ai commencé à travailler avec lui sur de nouveaux moyens de contrôler et d’améliorer les systèmes robotiques comme le Da Vinci, afin que le chirurgien aux commandes puisse véritablement sentir ce qu’il touche lorsqu’il opère. Cet instrument sophistiqué obéit au doigt et à l’œil de l’opérateur, mais lui ne ressent rien en retour. Ce genre de casse-tête à résoudre n’a jamais cessé de me fasciner. Après avoir fondé mon propre laboratoire, j’ai continué à travailler sur ces sujets et à m’intéresser à la réalité virtuelle. Je me suis lancée dans un grand projet dont le but était d’enregistrer les sensations que provoquent différentes surfaces au toucher, puis à les recréer de façon réaliste dans un environnement virtuel. C’est ce qu’on appelle l’haptographie, ou la photographie haptique. Mais je n’ai jamais abandonné la chirurgie robotique et les autres champs de la robotique.
~
Lorsque je donne des cours à des enfants, je leur demande : « Quels sont nos cinq sens ? » Ils répondent alors : « La vue, l’odorat, le goût, l’ouïe et le toucher. » Et lorsque je leur demande quel est leur préféré, ils répondent tous la vue, parce que c’est avec lui qu’on regarde la télé et qu’on observe le monde qui nous entoure. Tous nos sens jouent des rôles différents et importants dans nos vies, mais les gens tiennent généralement la vue et l’ouïe pour être les plus précieux, du fait des interactions qu’ils nous permettent d’avoir avec le monde. Le toucher est au moins aussi important, peut-être même plus, mais c’est pourtant celui qui vient en dernier. Et ce pour une raison simple : il ne s’éteint jamais. C’est un sens plus riche que les autres.
Tandis que la vision est centralisée dans nos yeux et que l’ouïe l’est principalement dans nos oreilles, le toucher s’exprime dans tout le corps. On peut sentir notre cœur battre dans notre poitrine, l’air s’engouffrer dans nos poumons et notre nourriture se déplacer dans notre estomac. Ses fonctions tactiles nous permettent de ressentir les choses dans notre peau : l’endroit d’un contact, la pression, la qualité d’une texture, les vibrations ou la température. Mais le toucher a aussi une fonction kinesthésique qui nous permet de nous orienter, de mesurer notre force ainsi que d’évaluer notre position et celle des éléments du monde extérieur, grâce à un ensemble de récepteurs extrêmement sensibles. C’est la raison pour laquelle on sait instinctivement où se trouvent nos membres et qu’on n’a pas besoin de regarder nos mains pour qu’elles agissent. Notre cerveau enregistre constamment cette foule d’informations pour nous aider à maîtriser les mouvements de notre corps et coordonner nos actions. On n’y fait généralement pas attention, mais lorsqu’on essaie de programmer un robot pour qu’il puisse se déplacer dans l’espace de façon cohérente, on prend conscience de la difficulté de l’entreprise.
Conférence PopTech
Crédits : PopTech/Flickr
VR
J’évolue dans plusieurs domaines à la fois. Je travaille sur des robots autonomes, sur leur contrôle à distance et sur la réalité virtuelle. C’est un spectre de disciplines très complémentaire et synergique : ce qu’on découvre dans l’une nous en apprend sur les autres. Si l’on se focalise simplement sur la conception de robots autonomes, on n’apprendra pas grand-chose sur le fonctionnement du toucher humain. Ce qui pose problème quand, comme moi, on essaie de répliquer ces stimulations dans un environnement virtuel. Les signaux qu’on doit retranscrire fidèlement pour que l’utilisateur plongé dans la VR ressente les objets qui l’entourent sont les mêmes que ceux que nécessite un robot pour être capable de se mouvoir, de ressentir et de réagir au monde réel. J’ai fait mes premiers pas dans la réalité virtuelle en préparant mon doctorat à Stanford. Mon directeur de thèse a eu l’idée d’un appareil médical utilisant l’haptique pour rendre tangible la VR, et cette idée a commencé à germer en moi. C’était une idée brillante, l’aube d’une révolution scientifique : nous allions doter les objets virtuels de la texture du réel. L’idée n’était pas nouvelle, cependant. Le PHANToM Haptic Interface est un petit robot qu’on pose sur son bureau dont on peut saisir le bras pour manipuler des choses à l’écran. Il se termine par une sorte de stylet et il est pourvu de moteurs qui, lorsqu’on touche un objet virtuel, s’activent pour rendre la pression proportionnellement. C’est un procédé ingénieux, mais les objets ne donnent pas la sensation d’être réels. Ils semblent toujours faux et synthétiques. Nous voulions restituer fidèlement les sensations que provoquent le toucher dans la vie réelle. Et pour créer cette illusion, on ne pouvait pas se contenter d’un ressort.
Combinée à des graphismes convaincants, la sensation sera grisante.
Mais comment capturer les sensations ressenties au contact d’un objet ? Nous avons inventé un device équipé de nombreux capteurs, tenant dans la main. Grâce à son capteur de force, il peut déterminer la puissance avec laquelle on touche l’objet ; ses capteurs de tracking permettent de localiser précisément les endroits et la façon dont on le déplace ; et enfin, ses capteurs de vibrations et son accéléromètre enregistrent la texture de l’objet. Cela nous permet de faire la différence entre un morceau de bois et une étoffe de soie. Ces informations sont ensuite extraites sous forme d’ondes uniques pour chaque objet, que nous classons sous forme de HOP (Haptic Object Properties) dans une vaste bibliothèque. Lorsqu’on touche par la suite un morceau de bois virtuel, son contact reproduit fidèlement la richesse des caractéristiques de l’objet réel. C’est le travail pour lequel je suis la plus reconnue et nous l’avons mis à profit pour créer le Tactai Touch. Nous atteignons aujourd’hui un degré de réalisme bluffant, sans avoir à utiliser de matériel excessivement coûteux.
~
Depuis le début de mes recherches, j’ai toujours souhaité que nos inventions atteignent le grand public. Je n’étais pas la seule. Je me souviens qu’après une démonstration lors d’une conférence à Séoul, les employés de Samsung qui ont pu essayer notre prototype l’ont trouvé génial. Mais je suis ingénieure, je n’aurais jamais su fonder une entreprise et lancer le fruit de mon travail sur le marché. La chance s’en est chargée. Steven Domenikos est venu à moi. C’est un entrepreneur expérimenté de Boston qui a débuté sa carrière comme ingénieur en informatique. Il s’y connaît en hardware et il avait lancé et vendu quatre ou cinq startups tech avant de me rencontrer. Il y a quelques années, il a monté un incubateur et s’est demandé ce qu’il pourrait faire ensuite. Il a découvert l’haptique par hasard et s’y est intéressé. Il s’est mis en quête de scientifiques partants pour monter un projet commercial dans le domaine. Certaines personnes ont fini par lui recommander de s’adresser à une certaine Katherine Kuchenbecker. J’ai reçu un email venu de nulle part durant l’été 2014, et nous avons longuement discuté. Nous nous sommes très bien entendus. Dès le départ, nous avions tous deux envie de mettre entre les mains des consommateurs une technologie plus avancée que la moyenne. Les démonstrations auxquelles on assiste dans ces conventions spécialisées donnent à voir des technologies bien plus poussées que celles mises à disposition du grand public. Steven a donc investi de son propre argent dans l’affaire et c’est comme ça que Tactai est né, en embarquant mon laboratoire dans l’aventure. Nous avons décroché la Phase I d’une subvention d’État pour développer notre projet et en faire un produit commercial.
Les développeurs peuvent d’ores et déjà utiliser le code de Tactai
Crédits : Tactai
À la clé, 150 000 dollars et six mois pour réaliser un premier prototype. Nous avons travaillé d’arrache-pied et la première version du Tactai Touch – que nous n’avons cessé d’améliorer depuis – a vu le jour à la fin de l’année 2015. Nous avons postulé pour la Phase II de l’aide en janvier dernier et nous l’avons décrochée dans le courant de l’été. C’est une chance inouïe. Nous avons reçu 750 000 dollars de plus pour aller plus loin. C’est le signe que nous sommes sur la bonne voie.
Tactai Touch
Le Tactai Touch fonctionne de la manière suivante : l’utilisateur porte un petit accessoire sur le bout du doigt, généralement l’index de la main droite. Nous nous focalisons sur l’index non seulement car il s’agit du doigt utilisé instinctivement pour désigner les choses qu’on veut toucher, mais aussi car en mesurant la distance entre ce dernier et le pouce, le device permet de saisir les objets virtuels. Il s’enfile confortablement sur le doigt, de façon à ne pas gêner les mouvements de l’utilisateur. À l’intérieur se trouve une petite plateforme qui entoure la première phalange de l’index sans la toucher. Les capteurs du Tactai Touch permettent de localiser sa position et de suivre ses mouvements.
Le dernier prototype en date
Crédits : Tactai
Il faut ensuite disposer d’un environnement virtuel – il peut s’agir d’un jeu, d’un logiciel éducatif ou d’un site d’achats en ligne. Prenons l’exemple de l’application d’une boutique de vêtements. Vous avez sous les yeux une modélisation en 3D du produit qui vous intéresse et grâce au Tactai Touch, en plus de pouvoir l’examiner sous toutes les coutures, vous pouvez le toucher. C’est là que la magie opère : notre logiciel sait lorsque vous touchez l’objet et il génère ce qu’on appelle une onde tactile dynamique. La plateforme à l’intérieur du device s’active et retranscrit la sensation du vêtement au bout de votre doigt. Il pourrait aussi s’agir d’un canapé. Lorsque vous entrez en contact avec sa surface, la plateforme vibre au bout de votre doigt d’une façon unique. Plus vous presserez sur l’objet et plus la pression s’intensifiera. Si vous touchez le bras du canapé, le contact sera dur, s’il s’agit du cuir, vous aurez la sensation de vous enfoncer dedans. Et en passant le doigt le long de sa surface, vous pourrez sentir la texture de son revêtement, sa douceur ou sa rudesse. Cette pression est générée par une vibration, mais elle n’a rien à voir avec celle d’un smartphone qui vibre pour attirer l’attention. Elle fait appel à un vaste panel de sensations qui retranscrivent une fréquence unique simulant ce qu’on ressent en touchant l’objet dans la réalité. Certaines sont quasiment imperceptibles, mais notre cerveau sait interpréter les signaux les plus infimes. Combinée à des graphismes convaincants, la sensation sera grisante.
~
Le Tactai Touch pourrait avoir de multiples applications : films en 3D, jeux vidéo, contenu en ligne, tourisme virtuel… on peut même imaginer pouvoir toucher les œuvres des musées grâce à lui, ou caresser la surface d’une autre planète. Les artistes pourront l’utiliser pour créer des contenus exclusifs et originaux. Il aura aussi sa place à l’école, non seulement en médecine mais dans toutes sortes de champs éducatifs comme la physique, la mécanique ou la robotique, pour les petits comme pour les adultes. Les designers pourront enfin l’utiliser pour concevoir la forme d’une voiture, d’une chaussure ou d’une sculpture. Et ce ne sont là que quelques exemples. Il s’agit d’améliorer l’interactivité proposée à l’utilisateur dans un environnement virtuel. Nous n’en sommes qu’aux prémices de ses possibilités mais la réalité virtuelle a besoin de devenir tangible. Nous voulons créer une technologie qui touchera le plus de gens possibles. En tant que scientifique, j’ai toujours été attirée davantage par les solutions simples plutôt que par les processus complexes. Notre device sera commercialisé à un prix abordable. Nous aurions évidemment pu développer dans mon laboratoire une machine coûtant des milliers et des milliers de dollars à fabriquer, mais elle n’aurait pas le même impact. Les prototypes actuels du Tactai Touch coûtent moins de 12 dollars à réaliser. Toute la magie vient du logiciel, pas du hardware. Nous verrons comment les choses évolueront mais dans le futur, peut-être pourrons-nous porter plusieurs Tactai Touch en même temps, ou mieux : supprimer le hardware.
Crédits : Tactai
Traduit de l’anglais par Nicolas Prouillac et Arthur Scheuer d’après un entretien avec Katherine Kuchenbecker. Couverture : La VR enfin palpable. (Vox/Ulyces)
COMMENT J’AI INSPIRÉ TONY STARK
John Underkoffler n’a pas seulement imaginé les ordinateurs de Minority Report et Iron Man, il les a créés. Il entend bien révolutionner notre utilisation de l’informatique.
Les propos ayant servi à réaliser cette histoire ont été recueillis par Clémence Postis au cours d’un entretien avec John Underkoffler. Les mots qui suivent sont les siens. L’informatique m’a fasciné très jeune. Quand j’étais au collège, mon professeur de mathématiques a apporté en classe quelques modèles du TRS-80 de Radio Shack. J’ai passé toute une partie de mon été avec lui, à expérimenter leurs atouts pédagogiques et à chercher ce qu’ils pouvaient apporter de plus dans l’enseignement. À la même époque, mon oncle avait un ami, un excentrique complètement fou de radio. C’était un amateur, mais son toit était recouvert d’antennes gigantesques et il avait chez lui une pièce entière remplie de radios et d’ordinateurs. C’était assez impressionnant et ce fut une grande source d’inspiration. Et puis, à la toute fin des années 1970, ma famille a acheté un Apple II Plus, une machine extraordinaire. Elle était si simple, faite d’un seul bloc, vous pouviez tout apprendre, tout comprendre de son fonctionnement, interne comme externe. Tout comprendre de son langage, de son électronique… C’était une invitation à la découverte. Il n’y avait aucun logiciel préinstallé contrairement aux ordinateurs actuels, tout était à faire et à expérimenter. Je débutais complètement, mais j’ai installé toutes sortes de programmes, des jeux, des logiciels musicaux… J’ai vraiment assisté à la naissance d’un nouveau média.
John Underkoffler présente son interface utilisateur
Crédits : TED
