Plutôt que d'avoir besoin d'un médiateur pour utiliser un ordinateur (une souris), Mistry s'est évertué à trouver un moyen d'utiliser l'ordinateur de façon immédiate, et il a fait de la main humaine une souris: au lieu de relier les capteurs de la souris à une boîte en plastique, il les a reliés aux doigts. Il a trouvé un moyen de reproduire les gestes réels dans le monde virtuel.
Puis il a voulu intégrer au monde virtuel non plus seulement la main, mais aussi les objets réels. Il a ainsi travaillé à des sortes de google map très évoluées. Sur un écran posé à plat, et montrant une carte virtuelle, il déposait des objets (des lunettes de soleil ou une tassé à café), afin que la carte sur laquelle ils étaient déposés indique l'endroit de la ville où l'on pouvait retrouver ces mêmes objets.
Le monde réel pouvant intégrer ainsi le monde virtuel, Mistry s'est demandé comment faire l'inverse: comment faire surgir le monde virtuel hors du virtuel pour le placer dans le monde réel. Il a alors mis en place une installation avec caméra permettant de projeter sur le monde réel des images numériques, comme ceci:
Dans les images projetées sur le réel, les mains servent toujours de souris. Des gestes mimant l'écriture permettent donc d'écrire sur l'image virtuelle projetée sur un mur par exemple. Un clavier téléphonique peut être projeté sur la paume de votre main, qui sert alors elle même de clavier, tandis qu'avec la main libre vous pianotez dessus.
Vous pouvez prendre une photo dans la rue à l'aide de vos doigts mimant l'appareil photo, vous pouvez aller dans une librairie, saisir un livre, scanner le titre et obtenir les commentaires des internautes d'Amazon, sortir votre ticket de bus et voir projeté dessus le temps qu'il vous faudra pour arriver à destination. Vous pouvez vous servir d'une feuille de papier comme écran d'ordinateur et avoir exactement les mêmes fonctionnalités que sur un ordinateur normal (jeux vidéo, lecture, recherches...).
C'est tout le quotidien et la recherche constante d'information qui sont révolutionnés. Mais pour Mistry, il s'agit ainsi de bénéficier de toutes les potentialités d'internet, et de la technologie, tout en préservant tous les gestes humains et en interagissant comme auparavant avec le monde réel.
Voir la vidéo avec toutes les explications
Vous souhaitez proposer un lien complémentaire sur ce sujet ou sur tout autre sujet d'actualité? Envoyez-le à infos @ slate.fr
Image de une: capture d'écran de la conférence
