État des lieux et réflexions sur les interfaces tactiles multipoints

Nous avons vu (et voyons) entré dans notre environnement technologique de plus en plus d’interfaces tactiles multipoints (ou multi-touch) à haute résolution depuis qu’Apple a lancé l’Iphone en 2007 et, Microsoft, la table interactive Surface en 2008. Ces deux technologies qui ont fait repenser la manière d’interagir avec un cellulaire ou un ordinateur sont basées sur un long travail de recherche et dont les premières apparitions grand public proviennent du travail du chercheur Jef Han qui présenta son prototype, directement sorti de son laboratoire, à l’une des conférences Ted.

Cela peut nous paraître banal aujourd’hui, mais les vidéos des prototypes, et des possibilités qu’ils ouvrent dans l’interaction homme-machine, ont fait fantasmer plus d’un Geek qui avait découvert ça sur Youtube avant que la présentation officielle soit réalisée au Ted.

Pourquoi ? Parce qu’avec le film Minority Report (2002), Spielberg a changé notre vision de l’interaction homme-machine en nous faisant rêver d’une interaction plus facile, plus intuitive et plus ludique.

Est-ce que l’incursion des interfaces tactiles multipoints nous facilite la vie ?

Pour répondre à cette question, je me suis amusé à rechercher les différentes explications/démonstrations des gestes digitaux à réaliser pour interagir avec les systèmes. (Je n’ai pas pu les obtenir pour tous les systèmes comme Android ou Microsoft Surface)

L’Iphone et Ipod Touch:

L’intégration dans les pavés tactiles (ou trackpads) des Mac Books :

La Magic Mouse :

Le Palm Pré :

On se rend compte que ces interactions sont assez proches l’une de l’autre et toutes relativement intuitives. Cependant, elles ne répondent qu’à des actions simples, même si récurrentes. En effet, on remplace doucement la souris, mais on est encore loin du souhait de Jef Hans de supprimer toute interface entre l’écran et l’utilisateur (à l’exception près des smartphones) Nous optimisons donc nos interactions en les utilisant, mais aucune de ses interfaces ne révolutionne complètement notre interaction avec les machines.

Les pistes de recherche pour aller plus loin dans l’utilisation du toucher comme interface

Même si la question de la suppression du clavier et de la souris reste discutable, car, par exemple, le feeling de taper sur un clavier à touche permet de taper sans regarder ce que je pense difficilement réalisable sur une surface plane comme un écran, je me suis questionné sur les pistes de solution qu’il faudrait approfondir pour élargir le champ d’utilisation du toucher comme interface. De mon point de vue, il existe trois pistes qui peuvent être combinées :

1. La combinaison de plusieurs doigts

La combinaison de plusieurs doigts associés avec des gestes simples est relativement complexe à retenir comme nous pouvons le voir sur le schéma d’un brevet déposé aux États-Unis.

System and method for packing multi-touch gestures onto a hand - Wayne Carl Westerman et al

Elle ne pourrait donc être envisageable que comme une fonctionnalité de plus à l’une des deux autres possibilités sauf si tous les logiciels commencent à les utiliser de manière standardisée. On pourrait comparer cette possibilité aux raccourcis claviers qui sont bien utiles, mais qui ne peuvent se substituer complètement à la souris et dont seuls les raccourcis standardisés sont réellement utilisés par tout le monde.

2. L’utilisation de gestuelles plus ou moins complexes

L’utilisation de gestuelle est intéressante si elle est définie par l’utilisateur qui pourra ainsi utiliser des référents personnels pour se souvenir des gestes à réaliser pour telle ou telle action. Le problème, c’est qu’elle empêche l’utilisation de la machine par un autre utilisateur (mais, ce serait donc un bon système de sécurité). De plus, elle nécessite aux utilisateurs de configurer leurs gestes avant de pouvoir commencer à utiliser la machine.

À l’opposé, si les gestes sont définis par défaut, nous n’aurions pas ces problèmes. Cependant, il faudrait faire appel à des “chorégraphes” qui devront se spécialiser en prenant connaissance des gestes digitaux les plus anatomiques, les plus mémorisables par notre mémoire kinesthésique et les plus intuitifs afin que tout le monde soit capable de les utiliser.

Nous avons pu déjà voir cette technique utilisée, pour les plus joueurs d’entre nous, dans le jeu Black and White (2001) où nous devions réaliser des gestes/dessins avec notre souris pour que notre avatar, un dieu, puisse faire un miracle. Pour les autres, le « glisser-déposer » introduit par Apple pour déplacer un élément est la première gestuelle faite avec une souris.

3. La modification des interfaces visuelles

La modification des interfaces visuelles pour correspondre avec les interactions tactiles peut paraître exagérée, voire contre-productive, puisque notre mémoire visuelle, et spatiale, s’est adaptée aux évolutions de ces interfaces visuelles. Déjà, le transfère d’un système d’exploitation à un autre est difficile, dû au besoin d’adaptation de notre mode de pensée à un nouveau système de pensée, alors que les concepts de curseur, de dossier, de fenêtre et autres sont identiques.

Cependant, cette modification de l’interface visuelle est obligatoire si nous conservons les doigts sur l’écran et conseillée dans la mesure où les interfaces visuelles actuelles ont été construites et optimisées parallèlement à la conception et à l’évolution de la souris. Il est donc logique qu’une modification des interfaces visuelles soit réalisée dans le futur afin de s’adapter aux contraintes des interfaces physiques ou multimodales choisies et standardisées.

Vous pouvez voir dans cette vidéo la proposition du designer Clayton Miller:

Vous pourrez remarquer que ces problématiques et pistes de recherche sont similaires à celles des interfaces gestuelles (la combinaison de gestes, les gestes en tant que tels et l’adaptation des interfaces visuelles) dont Minority Report nous a tant fait rêver :

J’imagine que dans un futur proche, nous allons donc développer de nouveaux métiers pour répondre à ces problèmatiques d’ergonomie tant anatomique que Web. Quels seraient, selon vous, les métiers de demain relatifs à ces nouvelles technologies et les compétences qu’ils demanderaient?

Tags: état des lieux, geste, interfaces, interfaces tactiles, iphone, mouvement, réflexions, surface, technologie

Publié le 24 novembre 2009 à 8:35 sous Ergonomie Web, Technologies Internet. Vous pouvez laisser une réponse, ou créer un rétrolien de votre site.