2M : un Espace de Conception pour l’Interaction Bi-Manuelle

1. 2M : un Espace de Conception pour l’Interaction Bi-Manuelle Gilles BAILLY, Laurence NIGAY, David AUBER

2. Introduction • L’informatique ubiquitaire • Fusion des mondes physique et numérique • Définition d’un espace mixte • L’interaction bi-manuelle au sein d’un environnement mixte

3. Introduction • Domaine d’application : Biologie • Environnement informationnel mixte pour les biologistes • Manipulation bi-manuelle de grands graphes avec des jetons • Graphe : Acide ribonucléique

4. Interaction bi-manuelle au sein d’un environnement mixte : pourquoi ? • Naturelle • Performante • Parallélisme • Augmentation du Langage d’Interaction (pouvoir d’expression)

5. Interaction bi-manuelle au sein d’un environnement mixte : pourquoi ? • Naturelle • Performante • Parallélisme • Augmentation du Langage d’Interaction (pouvoir d’expression) Manipulation d’un rectangle : rotation/ translation/ homothétie

6. Interaction bi-manuelle : attention ! • Pas toujours pertinente selon la tâche • Exemple • Kabbash P., Buxton W., Sellen A., "Two-Handed Input in a Compound Task", Proceedings of CHI’94, 417-423.

7. Plan • Objectifs • Différentes approches • Notre espace de conception • Exemples • Conclusion et perspectives

8. Objectifs • Apporter les avantages du monde physique dans le monde numérique • Etude de l’interaction bi-manuelle au sein d’une environnement mixte • Espace de conception 2M

9. Constat : pourquoi un espace de conception • Aujourd’hui : systèmes conçus et développés de façon ad hoc (faible capitalisation des expériences) • Absence d’éléments de conception de développement d’évaluation

10. Objectifs : espace de conception • Organisation des éléments de conception dans un canevas cohérent • Pouvoir taxinomique des systèmes interactifs bi-manuels existants • Pouvoir génératif de nouvelles techniques • Pouvoir comparatif : guide à la conception

11. Plan • Objectifs • Différentes approches • Notre espace de conception • Exemples • Conclusion et perspectives

12. Différentes approches • Exploitation de plusieurs domaines et axes • Psychologie [Guiard 87] • IHM • Interaction à deux mains [Buxton 05] • Multimodalité

13. Psychologie : Modèle de la chaîne cinématique • Coopération à deux mains • La main non dominante fixe le contexte • La main non dominante précède • Macro versus Micro • La main dominante est la main préférée

14. Différentes approches • Exploitation de plusieurs domaines et axes • Psychologie [guiard 87] • IHM • Interaction à deux mains [Buxton 05] • Langage de l’action • Relation temporelle • Multimodalité

15. Langage de l’action • Actions discrètes : les actions discrètes sont des actions qui impliquent le déclenchement discret des événements (saisir au clavier, utiliser les touches spéciales, appuyer sur un bouton d’une souris) • Actions continues : les actions continues sont des actions qui impliquent le contrôle continu de un ou plusieurs degrés de liberté (déplacer un élément graphique avec la souris) • Actions composées : les actions composées sont des actions qui entrelacent des actions continues et des actions discrètes (déplacer le curseur sur un objet graphique puis le sélectionner avec la souris)

16. Langage de l’action

17. Relation temporelle 2 1 4 3

18. Différentes approches • Exploitation de plusieurs domaines et axes • Psychologie [Guiard 87] • IHM • Interaction à deux mains [Buxton 05] • Multimodalité • Définitions [Nigay 94] • Typologie [Nigay 93] • Extension [Vernier 01]

19. Canal gestuel Main dominante ou Main non dominante Multimodalité : Définitions [Nigay 94] Dispositif Langage Tâche Modalité Niveau d’abstraction

20. Multimodalité : Typologie [Nigay 93] Dépendance Combiné • Lexicale • Syntaxique • Sémantique Indépendant séquentiel parallèle Temps

21. Multimodalité : Typologie [Vernier 01] • Extension par affinement de l’axe temporel Dépendance Temps

22. Plan • Objectifs • Différentes approches • Notre espace de conception • Exemples • Conclusion et perspectives

23. Notre espace de conception Combiner trois approches Mutimodalité Relation temporelle Langage d’action

24. Notre espace de conception : 2M Nature de l’action Trois axes • Temps : usage séquentiel / parallèle • Nature de l’action : (MND,MD) • Fusion : lexicale, syntaxique, sémantique Temps Fusion

25. 2M : Axe Temps Considérés par Buxton Regroupés sous le terme parallélisme

26. 2M : Axe Temps Coïncidente Concomitante Parallèle

27. 2M : Axe Temps Séquentiel Coïncident Anachronique parallèle Concomitant Temps

28. Dis : discrèteCont : continueComp : composée 2M : Axe Nature de l’action Nature de l’action (Comp,Comp) (Cont,Comp) (Cont,Cont) (Dis,Comp) (Dis,Cont) (Dis,Dis) Coïncident Séquentiel parallèle Anachronique Concomitant Temps Fusion

29. 2M : Axe Fusion Fusion Lexicale Fusion Syntaxique Fusion Sémantique Fusion de bas niveau Shift -click Fusion des paramètres «mets ça la» Fusion des tâches Char Modalité Niveau d’abstraction

30. Notre espace de conception : 2M Nature de l’action (Comp,Comp) (Cont,Comp) Dis : discrèteCont : continueComp : composée (Cont,Cont) (Dis,Comp) (Dis,Cont) (Dis,Dis) Séquentiel Coïncident parallèle Anachronique Concomitant Indépendant Temps Lexicale Syntaxique Sémantique Fusion

31. Plan • Objectifs • Différentes approches • Notre espace de conception • Exemples • Conclusion et perspectives

32. Notre espace de conception : 2M Nature de l’action • EXEMPLES (Comp,Comp) (Cont,Comp) (Cont,Cont) (Dis,Comp) (Dis,Cont) (Dis,Dis) Séquentiel Coïncident Anachronique Concomitant parallèle Indépendant Temps Lexicale Syntaxique Sémantique Fusion

33. Exemples • Two-Handed Interaction on a Tablet DisplayUniversity of California, Berkeley

34. Notre espace de conception : 2M Nature de l’action • Déplacement puis dessin (Comp,Comp) (Cont,Comp) (Cont,Cont) (Dis,Comp) (Dis,Cont) (Dis,Dis) Séquentiel Coïncident Anachronique Concomitant parallèle Indépendant Temps Lexicale Syntaxique Sémantique Fusion

35. Notre espace de conception : 2M Nature de l’action • Déplacement puis dessin • Dessin et changement de couleur (Comp,Comp) (Cont,Comp) (Cont,Cont) (Dis,Comp) (Dis,Cont) (Dis,Dis) Séquentiel Coïncident Anachronique Concomitant parallèle Indépendant Temps Lexicale Syntaxique Sémantique Fusion

36. Exemples • Démonstrateur NavGrapheCLIPS-IMAG et LABRI

37. Notre espace de conception : 2M Nature de l’action • Rotation-Zoom (Comp,Comp) (Cont,Comp) (Cont,Cont) (Dis,Comp) (Dis,Cont) (Dis,Dis) Séquentiel Coïncident Anachronique Concomitant parallèle Indépendant Temps Lexicale Syntaxique Sémantique Fusion

38. Exemples • Déformation de graphes / reconstruction de d’arêtes

39. Notre espace de conception : 2M Nature de l’action (Comp,Comp) (Cont,Comp) (Cont,Cont) (Dis,Comp) (Dis,Cont) (Dis,Dis) Séquentiel Coïncident Anachronique Concomitant parallèle Indépendant Temps Lexicale Syntaxique Sémantique Fusion

40. Plan • Objectifs • Différentes approches • Notre espace de conception • Exemples • Conclusion et perspectives

41. Conclusion • Interaction bi-manuelle au sein d’un environnement mixte • Espace de conception 2M • Pouvoir taxinomique des systèmes interactifs bi-manuels existants • 20 systèmes classés • Pouvoir génératif de nouvelles techniquesPouvoir comparatif : guide à la conception • Conception de notre environnement mixte pour les biologistes basée sur l’espace 2M • Evaluation expérimentale à mener et à lier à l’espace

42. Questions ?