Interagir dans des environnements 3D

1
Interagir dans des environnements 3D
Des solutions permettant d agir sur des objets
virtuels 3D
Par C Chaillou, G Casiez, F Martinot et Q Pan
2
Plan du cours

• Introduction
• Définition et vocabulaire
• Interagir en immersion
• Manipulation en 3D
• Contrôle d application
• Les périphériques de table
• Le Phantom
• Le Digihaptic
• Vers l équivalent de la souris au 3D.
• Le Digitracker
• Métaphores hybride, pseudo-haptique

3
Introduction

• La main
• Très complexe
• c est quoi interagir
• Sélection, contrôle
• Se déplacer
• Manipuler,
• Monter-démonter,
• Déformer, sculpter, etc

4
Introduction

• HAPTIQUE adjectif qualifiant les perceptions du
  toucher, synonyme de tactile
• Par extension interactions tactiles via
  l ordinateur
• Deux sens
• Kinesthésique (la proprioception) mouvements et
  forces avec muscles et articulations
• Cutané, sensation via la peau (choc, pression,
  vibration, température, texture, )

5
Introduction

• Le toucher est peu étudié
• Visualisation satisfaisante pour le calcul
• Nécessité de contact avec les objets
• Aspect redondant par rapport à la vision
• Complexité des mécanismes perceptuels
• Perception active impliquant la motricité

6
Introduction

• Que souhaite-t-on faire en 3D
• Manipuler en 3D
• Naviguer dans des mondes virtuels
• Contrôler l application
• Pointage et sélection en 3D
• Introduction de périphériques d entrée/sortie
• Retour d effort
• Retour cutané

7
Introduction

• Retour d effort
• Premier exosquelette par GE dans les années 60
• Premier Phantom en 1994
• Joystick à retour d effort vers 1997
• Retour cutané
• afficheur Braille 1969

8
Définitions et Vocabulaire

• Les degrés de liberté.
• Périphériques intégrés ou séparés
• Le contrôle isotonique versus élastique
• Lié à l homme ou à l environnement
• Évaluations

9
Les degrés de liberté

• Dans la réalité, un nombre considérable
• Combien de degrés de liberté
• Pour le pointage en 3D, 3 DDL
• Pour la manipulation d objets 6DDL

10
Intégré vs séparé

• Interfaces intégrales un seul effecteur

Périphérique qui permet de rentrer plusieurs
grandeurs simultanément et de pouvoir les
modifier en une seule opération.
11
Le contrôle
isotonique
isométrique
élastique
12
Absolu versus relatif

• Absolu
• Position deffecteur ?? Position de pointeur
• Espace physique limité?? Espace virtuel limité
• Relatif (souris)
• Mesure de la variation de position
• Débrayage
• permet dengager et de désengager le lien entre
  laction de contrôle et le mouvement du pointeur
• Espace de travail virtuel infini
• Les périphériques dentrée 3D sont absolus

13
Liés ou non à l homme

• Les périphériques liés à l homme
• Les souris volantes, les gants
• Réaliste mais imprécis et fatiguant
• Les périphériques de tables
• Moins immersif

14
Interagir en immersion

• Le problème
• Les gants de données
• Les solutions à fils
• Autres solutions
• Le contrôle informatique, par exemple le
  changement d outil dans un simulateur
• Les solutions mixtes à base de cube ou de
  mannequin

15
Interagir en immersion

• Utilisation de capteurs de position

16
Interagir en immersion

• Les gants à retour d efforts
• Les exosquelettes

17
Interagir en immersion

• Les périphériques à fils SPIDAR

18
Le contrôle en immersif

• Intégrer le contrôle d application dans les
  environnements virtuels
• Rapide
• Facile à apprendre
• Ne pas distraire lutilisateur de son activité
• Donner un bon retour à lutilisateur

19
Le contrôle en immersif

• Quelques solutions
• Menu en 1D
• Menu 2D flottant
• Menu 3D flottant

Ring Menu JDCAD Liang and Green
menu try-out VRAM
20
Les périphériques de table

• Les solutions commerciales
• La Space mouse
• Le Phantom
• Une solution originale le Digihaptic
• Description
• Evaluations
• Bilan

21
La space mouse

• Vendues par 3D connexion (Logitech)
• Manipulation avec 6DDL,
• Complémentaire de la souris
• Mode élastique complet

22
Le phantom Sensable

• Périphérique isotonique
• Manipulation d un point en 3D via un crayon
• 6 DDL, dont trois motorisés pour le retour
  d efforts

23
Le Digihaptic

• Vers du  vrai  retour haptique à coût
  raisonnable
• Une proposition totalement nouvelle
• Découplage des degrés de liberté
• Grande souplesse dutilisation
• Utilisable en mode isotonique ou élastique
• Nécessite un apprentissage

24
Le Digihaptic

• Ergonomie
• Travailler le poignet posé
• Utilisation de 3 doigts et 3 DDL
• Respect des mouvement naturel des doigts
• Pour toutes les tailles de mains

25
Le Digihaptic technologies

• Les composants
• Trois manettes (moteur, potentiomètre, molette,
  axe, câble et ses fixations)
• Habillage (ergonomie et esthétique)
• Electronique (connecteurs potentiomètres et
  moteurs, alimentation moteur, processeur pour la
  commande, connecteur PC USB)
• API informatique

26
Le Digihaptic technologies

• Description d une manette

27
Le Digihaptic technologies

• Architecture du périphérique

28
Le Digihaptic usages

• Trois usages possibles
• Mode isotonique en manipulation
• isomorphisme d orientation et de direction
• petit volume de travail
• Mode élastique en manipulation
• contrôle en vitesse
• volume de travail illimité
• Mode élastique pour la navigation

29
Le Digihaptic évaluation

• Navigation avec retour d effort
• Parcours d un tunnel
• Comparaison avec l utilisation de la space
  mouse.
• Etude sur 30 sujets

30
Le Digihaptic évaluation

• Résultats
• Temps de parcours comparable
• Contacts moins long avec le retour deffort
• Digihaptic est plus précis et moins fatigant

31
Le Digihaptic bilan

• La séparation des DDL est facile pour les taches
  séparables comme la navigation.
• Peu pertinent pour les activités intégrées.
• Le retour d effort dans les modes élastiques
  posent encore de nombreuses questions
• Utilisation les deux modes dans une même
  application
• Changement explicite ou non
• Introduction d un mode hybride

32
Vers l équivalent pour la 3D de la souris

• Vers un périphérique dinteraction 3D équivalent
  à ce que la souris est aux actuelles interfaces
  2D.
• Le digitracker
• Le mode hybride

33
Les interfaces 2D

• En 2D, une interface s est imposé le WIMP
• Le périphérique est la souris qui permet de
  piloter un pointeur dans le plan

34
Les interfaces 2D

• La fonction de transfert de WindowXP

35
Le Digitracker

• Un périphérique permettant le pointage et la
  sélection en 3D

36
Le Digitracker

• Considérations ergonomiques
• Bras le long du corps
• Travail main posé sur la tranche
• Prise entre le pouce et l index
• Avoir des mouvements petits mais précis
• Pas de poids apparent
• Mécanisme caché
• Espace de travail

37
Le Digitracker

• Cinématique permettant de rester toujours proche
  de l équilibre 

38
Le Digitracker

• Un bouton de sélection
• De forme sphérique
• Sélection en appuyant
• Une coque dissimulant le mécanisme

39
Le digitracker

• Premières évaluations
• par une trentaine de personne
• Confirmation de nos choix
• Limitations technologiques
• La sélection déplace le pointeur
• Difficile de régler le gain entre l effecteur u
  périphérique et le pointeur 3D.

40
Le mode hybride

• Le Digitracker 3D est un périphérique absolu de
  petite taille
• Difficile de travailler dans un grand
  environnement virtuel
• Sensibilité importante ? faible précision
• Sensibilité faible ? limite dans les déplacements

41
Le mode hybride

• Définition du mode hybride
• Contrôle en positon au centre
• Contrôle en vitesse en périphérie

42
Le mode hybride

• Présentation du mode à l utilisateur
• Visuelle (couleur, flèche)
• Physique ( comme sur le joystick)

43
Le mode hybride

• Une simulation avec un phantom
• Comparaison entre débrayage et hybride

44
Conclusion sur hybride

• Le mode hybride
• Technique de débrayage virtuel
• Encore des travaux de finalisation
• les réglages
• la présentation visuelle et/ou physique
• Permet d envisager un périphérique équivalent à
  la souris pour les environnements 3D
• Possibilité d un nouveau périphérique pour les
  portables

45
Conclusion

• Le monde des périphériques pour les
  environnements virtuels est un domaine de
  recherche
• Les grandes questions
• Fixé à l utilisateur ou sur la table
• Le nombre de DDL et leur agencement
• Les modes de contrôle dont le mode hybride
• Les métaphores informatiques associées
• Utilisation des capacités de l utilisateur