Virtualit

1
Virtualité augmentée et usage du sonPhicons
Earcons Phearcons
Equipe Ingénierie de lInteraction Homme-Machine
(IIHM) Laboratoire CLIPS-IMAG, Université de
Grenoble

• Sylvain DAUDÉ
• Directrice de thèse Laurence NIGAY

2
Plan de l'exposé

• Domaine virtualité augmentée
• Sujet phearcons
• Démarche de travail
• Contributions
• Etat davancement

3
Plan de l'exposé

• Domaine virtualité augmentée
• Sujet phearcons
• Démarche de travail
• Contributions
• Etat davancement

4
Monde physique, monde numérique

• Deux approches pour relier les deux mondes

• Graphisme assisté par ordinateur
• Enrichissement de scènes virtuelles avec des
  images du monde réel

• Interaction Homme-Machine
• Enrichissement du monde réel avec de
  linformatique

5
Monde physique, monde numérique

• Deux approches pour relier les deux mondes
• avec un objectif commun

Monde physique Monde réel
Monde non-tangible Monde numérique Monde virtuel
6
Monde physique, monde numérique Objet de la
tâche et Interaction
Interactionnumérique
Virtualité augmentée
Monde numérique
Mondephysique
Interaction physique
Réalité augmentée
Avec objets physiques
Avec objets numériques
7
Monde physique, monde numérique Objet de la
tâche et Interaction
Interactionnumérique
Virtualité augmentée
Monde numérique
Mondephysique
Interaction physique
Réalité augmentée
Avec objets physiques
Avec objets numériques
Pixels miroir Vernier 99
8
Monde physique, monde numérique Objet de la
tâche et Interaction
Interactionnumérique
Virtualité augmentée
Monde numérique
Mondephysique
Interaction physique
Réalité augmentée
Avec objets physiques
Avec objets numériques
9
Mon domaine Virtualité Augmentée
Interactionnumérique
Virtualité augmentée
Monde numérique
Mondephysique
Réalité augmentée
Interaction physique
Avec objets physiques
Avec objets numériques
10
Mon domaine Virtualité Augmentée et son en
sortie
Interactionnumérique
Virtualité augmentée
Monde numérique
Mondephysique
Interaction physique
Réalité augmentée
Avec objets physiques
Avec objets numériques
11
Intérêt du son en sortie en virtualité augmentée

• Manipulation de sons (non tangibles) avec des
  entités physiques (tangibles)

12
Intérêt du son en sortie en virtualité augmentée

• Manipulation de sons (non tangibles) avec des
  entités physiques (tangibles)
• Canal de communication supplémentairepour
  alléger ou remplacer le système visuel
• situations mobiles
• interfaces pour aveugles
• retour dinformations dans les interfaces
  graphiques

13
Intérêt du son en sortie en virtualité augmentée

• Manipulation de sons (non tangibles) avec des
  entités physiques (tangibles)
• Canal de communication supplémentairepour
  alléger ou remplacer le système visuel
• Ouie outil danalyse
• informations sonores simultanées  effet
  cocktail 
• alertes
• données multidimensionnelles
• motifs temporels

14
Intérêt du son en sortie en virtualité augmentée

• Manipulation de sons (non tangibles) avec des
  entités physiques (tangibles)
• Canal de communication supplémentairepour
  alléger ou remplacer le système visuel
• Ouie outil danalyse
• Media dambiance en arrière-plan
• sons en arrière-plan entendus uniquement
• lorsque lutilisateur choisit de sy concentrer
• lorsquun changement soudain intervient dans le
  son
• suivi des sons darrière-plan activité
  principale indépendante

15
Intérêt du son en sortie en virtualité augmentée

• Manipulation de sons (non tangibles) avec des
  entités physiques (tangibles)
• Canal de communication supplémentairepour
  alléger ou remplacer le système visuel
• Ouie outil danalyse
• Media dambiance en arrière-plan
• Sentiment dimmersion
• ex réalité virtuelle

16
Plan de lexposé

• Domaine virtualité augmentée
• Sujet phearcons
• Démarche de travail
• Contributions
• Etat davancement

17
Phicons Earcons Phearcons

• Phearcons association
• dobjets physiques (phicons, physical icons
  Ishii)
• avec des sources sonores spatialisées (earcons
  Blattner)

18
Exemples dapplication

• Suivi dinformations en arrière-plan
• média dambiance
• effet cocktail
• passage du premier plan à larrière-plan en
  approchant ou en éloignant lobjet physique
  correspondant

19
Exemples dapplication

• Suivi dinformations en arrière-plan
• Composition Assistée par Ordinateur
• manipulation directe de sources sonores

20
Exemples dapplication

• Suivi dinformations en arrière-plan
• Composition Assistée par Ordinateur
• Audioconférence
• intervenants représentés par leurs photos
• possibilité d éteindre  momentanément un
  locuteur
• passage dun groupe de discussion à un autre

21
Objectifs

• Caractériser et évaluer
• linteraction avec les Phearcons
• la spécification des Phearcons par lutilisateur

22
Objectifs

• Caractériser et évaluer
• linteraction avec les Phearcons
• la spécification des Phearcons par lutilisateur
• Développer et évaluer à partir de cette
  caractérisation une plate-forme logicielle et
  matérielle de spécification et dexécution des
  Phearcons

23
Travaux relatifs

• Utilisation dobjets physiques et de médias
  dambiance
• Tangible Bits, Ambient Room Ishii
• "The smooth transition of users' focus of
  attention between background andforeground using
  ambient media andgraspable objects is a key
  challenge ofTangible Bits."

24
Travaux relatifs

• Utilisation dobjets physiques et de médias
  dambiance
• Tangible Bits, Ambient Room Ishii
• "The smooth transition of users' focus of
  attention between background andforeground using
  ambient media andgraspable objects is a key
  challenge ofTangible Bits."

25
Travaux relatifs

• Utilisation dobjets physiques et de médias
  dambiance
• Suivi dinformations sonores en arrière-plan
• Conversy sources sonores écologiques
• AROMA Pedersen conscience de groupe
• Malandrino état du réseau

26
Classification des Phearcons
Objet de la tâche
Interactionnumérique
Virtualité augmentée
Monde numérique
Mondephysique
Interaction physique
Réalité augmentée
Interaction
Avec objets physiques
Avec objets numériques
27
Classification des Phearcons
Objet de la tâche
Monde numérique
Dynamique
Mondephysique
Statique
Interaction
Avec objets physiques
Avec objets numériques
28
Plan de l'exposé

• Domaine virtualité augmentée
• Sujet phearcons
• Démarche de travail
• Contributions
• Etat davancement

29
Démarche de travail
Phearcons
30
Plan de l'exposé

• Domaine virtualité augmentée
• Sujet phearcons
• Démarche de travail
• Contributions
• interaction avec les phearcons justification
  théorique et expérimentale
• spécification des phearcons processus de
  sonification
• plate-forme de définition et dexécution des
  phearcons
• Etat davancement

31
Interaction avec les Phearcons justification
théorique et expérimentale
Phearcons
Spécification
Interaction
Processus de sonification
Justification théorique propriétés ergonomiques
Justification expérimentale magicien doz
Architecture logicielle
Paramètres de conception pour la spécification
Plate-forme matérielle et logicielle dexécution
et de spécification des phearcons
Expérimentations
32
Propriétés ergonomiques Scapin 86

• Adaptabilité
• Lutilisateur choisit les objets et les sons les
  plus pertinents par rapport aux informations
  diffusées.
• Il positionne les objets selon son but et sa
  tâche courants.

33
Propriétés ergonomiques Scapin 86

• Adaptabilité
• Familiarité
• Lutilisateur sentoure dun environnement
  familier.

34
Propriétés ergonomiques Scapin 86

• Adaptabilité
• Familiarité
• Concision de la manipulation des sources sonores
• Lutilisateur manipule directement les sources
  sonores.
• ex déplacer-déposer une source sonore

35
Propriétés ergonomiques Scapin 86

• Adaptabilité
• Familiarité
• Concision de la manipulation des sources sonores
• Interaction multifilaire avec les sources sonores
• L utilisateur manipule plusieurs sources
  simultanément
• Il suit plusieurs sources d informations
  simultanément

36
Propriétés ergonomiques Scapin 86

• Adaptabilité
• Familiarité
• Concision de la manipulation des sources sonores
• Interaction multifilaire avec les sources sonores
• Observabilité des sources sonorespar leur
  meilleure discrimination
• effet cocktail
• spatialisation
• association objet-son -gt meilleure mémorisation
  de la nature et de lemplacement des sources
  sonores

37
Expérimentations Magicien dOz motivation

• Validation dhypothèses théoriques
• utilisabilité
• satisfaction des utilisateurs ?
• association naturelle entre objet et son ?
• simplicité dutilisation ?
• discrimination des sources sonores ?
• utilité
• efficacité pour le suivi de sources sonores en
  arrière-plan ?

38
Expérimentations Magicien dOz motivation

• Validation dhypothèses théoriques
• Règles de conception pour une plate-forme
• nature du lien entre objets et sources
  dinformations
• actions possibles et souhaitables
• caractéristiques souhaitées des sources sonores

39
Expérimentations Magicien dOz protocole
expérimental

• 11 sujets
• non experts et non informaticiens
• âgés de 26 ans en moyenne
• recrutés par bouche à oreille

40
Expérimentations Magicien dOz protocole
expérimental
41
Expérimentations Magicien dOz sources sonores
présentées aux sujets
Rôle dinfirmier
42
Expérimentations Magicien dOz phase de
calibration

• Choix de lobjet à associer à chaque son
• effectué parmi un ensemble dobjets

43
Expérimentations Magicien dOz phase de
calibration

• Choix de lobjet à associer à chaque son
• Choix des commandes
• modalités proposées
• voix, gestes, manipulations de lobjet,
  combinaison de modalités

44
Expérimentations Magicien dOz phase de
calibration

• Choix de lobjet à associer à chaque son
• Choix des commandes
• modalités proposées
• commandes pour chaque source sonore
• arrêter / jouer le son
• augmenter / diminuer le volume
• faire venir le son de partout / de la direction
  de la source

45
Expérimentations Magicien dOz phase de
calibration

• Choix de lobjet à associer à chaque son
• Choix des commandes
• modalités proposées
• commandes pour chaque source sonore
• commandes pour toutes les sources sonores à la
  fois
• arrêter / jouer les sons

46
Expérimentations Magicien dOz phase
dexpérimentation
47
Expérimentations Magicien dOz recueil des
résultats

• Questionnaire avec réponses ouvertes et fermées
• Entretien à la fin de lexpérimentation

48
Expérimentations Magicien dOz principaux
résultats

• 10 des 11 sujets apprécient ce mode dinteraction

49
Expérimentations Magicien dOz principaux
résultats

• 10 des 11 sujets apprécient ce mode dinteraction
• ils apprécient de pouvoir suivre des informations
  tout en faisant autre chose

50
Expérimentations Magicien dOz principaux
résultats

• 10 des 11 sujets apprécient ce mode dinteraction
• ils apprécient de pouvoir suivre des informations
  tout en faisant autre chose
• ils sont à laise avec les associations objets /
  sons

51
Expérimentations Magicien dOz principaux
résultats

• 10 des 11 sujets apprécient ce mode dinteraction
• cependant
• ils ont des difficultés à se souvenir des
  commandes choisies (mais pas des objets choisis)

52
Expérimentations Magicien dOz règles de
conception déduites

• Association information-objet
• apparence de lobjet rappelant la sémantiquede
  linformation

53
Expérimentations Magicien dOz règles de
conception déduites

• Association information-objet
• Actions possibles
• objets suggérant des manipulations
• 3D, taille de la main, boutons
• manipulations possibles
• manipulation de boutons, déplacement dans zones
• tâches souhaitables
• rejouer dernière séquence de son
• jouer son de tous les haut-parleurs

54
Expérimentations Magicien dOz règles de
conception déduites

• Association information-objet
• Actions possibles
• Sources sonores
• sons facilement identifiables
• sons suivis émis ponctuellement
• régulièrement / lors dévénements
• si la source est rendue muette par lutilisateur
• événements observables de manière non auditive
• si la source est muette sans avoir été éteinte
  par lutilisateur
• possibilité davoir un diagnostic de panne
• manipulation préconisée secouer lobjet
  correspondant

55
Spécification des phearcons
Phearcons
Interaction
Spécification
Justification théorique propriétés ergonomiques
Justification expérimentale magicien doz
Processus de sonification
Paramètres de conception pour la spécification
Architecture logicielle
Règles de conception pour linteraction
Plate-forme matérielle et logicielle dexécution
et de spécification des phearcons
Expérimentations
56
Comment spécifier les Phearcons ?
Son
57
Comment obtenir des paramètres de conception
pour la sonification ?

• Adapter le processus de visualisation de Ed Chi
  Chi 00 à la sonification
• structuration du processus de sonification en
  étapes dabstraction
• identification de paramètres de conception pour
  chaque étape de sonification

58
Processus de visualisation de Chi
transformation des données
Données
Ensemble dedocuments
CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS
CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS
CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS
CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS
CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS
Transformation des données
Liste dedocuments
Abstraction analytique Vue sur les données
CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS
CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS
CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS
Transformation de visualisation
Abstraction de visualisation Espace visuel
abstrait
Transformation de réalisation visuelle
Vue Vue sur lespace
59
Processus de visualisation de Chi
transformation de visualisation
Données
Transformation des données
Liste dedocuments
Abstraction analytique Vue sur les données
CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS
CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS
CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS
Transformation de visualisation
CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS
CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS
CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS
Abstraction de visualisation Espace visuel
abstrait
Espace 2D
CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS
CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS
CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS
Transformation de réalisation visuelle
Vue Vue sur lespace
60
Processus de visualisation de Chi
transformation de réalisation visuelle
Données
Transformation des données
Abstraction analytique Vue sur les données
Transformation de visualisation
CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS
CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS
CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS
Abstraction de visualisation Espace visuel
abstrait
Espace 2D
CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS
CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS
CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS
Transformation de réalisation visuelle
Vue Vue sur lespace
Vue déformée
61
Processus de sonification transformation des
données
Données
Transformation des données
Abstraction analytique Vue sur les données
Transformation de sonification
Abstraction de sonification Espace sonore
abstrait
Transformation de diffusion
Rendu sonore
62
Processus de sonification transformation de
sonification
Données
Transformation des données
Abstraction analytique Vue sur les données
Niveau de gris intensitéOrdonnée hauteur
Transformation de sonification
. . .
Séquence de sons
Abstraction de sonification Espace sonore
abstrait
Transformation de diffusion
Rendu sonore
63
Processus de sonification transformation de
diffusion
Données
Transformation des données
Abstraction analytique Vue sur les données
Transformation de sonification
. . .
Séquence de sons
Abstraction de sonification Espace sonore
abstrait
Transformation de diffusion
Rendu sonore
64
Transformation des données

• Commun avec la visualisation
• Dépendant
• des données
• de la sémantique des données
• de la tâche de lutilisateur final
• ex AROMA Pedersen

Données
Transformation des données
Abstraction analytique Vue sur les données
Transformation de sonification
Abstraction de sonification Espace sonore
abstrait
Transformation de diffusion
Rendu sonore
65
Transformation de sonification espace sonore
abstrait
Données

• Espace sonore abstrait
• espace euclidien
• 1 point sans spatialisation
• son abstrait
• durée
• traits acoustiques variant pendant cette durée

Transformation des données
Abstraction analytique Vue sur les données
Transformation de sonification
Abstraction de sonification Espace sonore
abstrait
Transformation de diffusion
Rendu sonore
66
Transformation de sonification deux niveaux de
sonification
Données

• Espace sonore abstrait
• Deux niveaux de sonification
• 1 donnée ? 1 son

Transformation des données
Abstraction analytique Vue sur les données
Transformation de sonification
Abstraction de sonification Espace sonore
abstrait
Transformation de diffusion
Rendu sonore
67
Transformation de sonification deux niveaux de
sonification
Données

• Espace sonore abstrait
• Deux niveaux de sonification
• 1 donnée ? 1 son
• 1 ens. données ? 1 ens. sons

Transformation des données
Abstraction analytique Vue sur les données
Transformation de sonification
Abstraction de sonification Espace sonore
abstrait
Transformation de diffusion
Rendu sonore
68
Transformation de sonification représentation
dun ensemble de données
Données

• Espace sonore abstrait
• Deux niveaux de sonification
• 1 donnée ? 1 son
• 1 ens. données ? 1 ens. sons

Transformation des données
Abstraction analytique Vue sur les données
Transformation de sonification
Abstraction de sonification Espace sonore
abstrait
Transformation de diffusion
Rendu sonore
69
Transformation de sonification représentation
dune donnée
Données

• Espace sonore abstrait
• Deux niveaux de sonification
• 1 donnée ? 1 son
• Son spatialisé
• sémantique position ? sémantiquedu son
• spatialisation analogique par rapport à un
  phénomène
• sonore cathédrale
• non sonore Diary in the Sky Walker

Transformation des données
Abstraction analytique Vue sur les données
Transformation de sonification
Abstraction de sonification Espace sonore
abstrait
Transformation de diffusion
Rendu sonore
70
Transformation de sonification représentation
dune donnée
Données

• Espace sonore abstrait
• Deux niveaux de sonification
• 1 donnée ? 1 son

Transformation des données
Abstraction analytique Vue sur les données
Transformation de sonification
Abstraction de sonification Espace sonore
abstrait
Transformation de diffusion
Rendu sonore
71
Transformation de sonification représentation
dun ensemble de données
Données

• Espace sonore abstrait
• Deux niveaux de sonification
• 1 donnée ? 1 son
• 1 ens. données ? 1 ens. sons

Transformation des données
Abstraction analytique Vue sur les données
Transformation de sonification
Abstraction de sonification Espace sonore
abstrait
Transformation de diffusion
Rendu sonore
72
Transformation de sonification représentation
dun ensemble de données
Données

• Espace sonore abstrait
• Deux niveaux de sonification
• 1 donnée ? 1 son
• 1 ens. données ? 1 ens. sons
• Coordination des sons de lensemble de sons

Transformation des données
Abstraction analytique Vue sur les données
Transformation de sonification
Abstraction de sonification Espace sonore
abstrait
Espace
Sonstéréo
Diary in the Sky
Endroits différents
Transformation de diffusion
Rendu sonore
Même endroit
Colonne de pixels
Synthèsevocale
Temps
Simultané
Alterné
73
Transformation de diffusion
Données

• Transformation en 4 étapes
• (i) choix du point de vue sur lespace sonore
  abstrait
• (ii) espace sonore -gt paramètres pour le
  dispositif de rendu
• (iii) paramètres pour le dispositif de rendu -gt
  signal sonore
• (iv) signal sonore -gt son physique

Transformation des données
Abstraction analytique Vue sur les données
Transformation de sonification
Abstraction de sonification Espace sonore
abstrait
Transformation de diffusion
Rendu sonore
74
Transformation de diffusion
Données

• Transformation en 4 étapes
• Dispositif physique
• précision sonore
• degré de spatialité
• répartition géom. des haut-parleurs
• degré de partage
• liberté de déplacement
• degré dimmersion
• ex Soundbeam Neckset Sawhney

Transformation des données
Abstraction analytique Vue sur les données
Transformation de sonification
Abstraction de sonification Espace sonore
abstrait
Transformation de diffusion
Rendu sonore
75
Contributions (a) classification

• Exemple la catégorie des  earcons 

76
Contributions (b) aide à la conception

• Identification détapes de conception

77
Contributions (b) aide à la conception

• Identification détapes de conception
• Identification de paramètres de conceptionà
  chaque étape
• guide pour la conception
• fondation pour intégrer et générer des
  heuristiques de conception
• sonifications dépendantes du contexte

78
Spécification des Phearcons

• Paramètres identifiés permettant la spécification
  des sources sonores
• spécification grâce à une interface graphique
  la plateforme en cours de développement

79
Plate-forme logicielle et matériellede
spécification et dexécution
Phearcons
Interaction
Spécification
Justification théorique propriétés ergonomiques
Justification expérimentale magicien doz
Processus de sonification
Architecture logicielle
Paramètres de conception pour la spécification
Règles de conception pour linteraction
Plate-forme matérielle et logicielle dexécution
et de spécification des phearcons
Expérimentations
80
Plateforme en cours de développement
interaction avec les phearcons

• Suivi des objets vision par ordinateur Bérard

81
Plateforme en cours de développement
interaction avec les phearcons

• Suivi des objets vision par ordinateur Bérard
• Si objet déplacé

82
Plateforme en cours de développement
interaction avec les phearcons

• Suivi des objets vision par ordinateur Bérard
• Si objet déplacé
• informations contextuelles projetées

Radio FM Etat actif
83
Plateforme en cours de développement
interaction avec les phearcons

• Suivi des objets vision par ordinateur Bérard
• Si objet déplacé
• informations contextuelles projetées
• son caractéristique joué

Radio FM Etat actif
84
Plateforme en cours de développement
interaction avec les phearcons

• Suivi des objets vision par ordinateur Bérard
• Si objet déplacé
• informations contextuelles projetées
• son caractéristique joué
• 4 zones de volume

off
min
Radio FM Etat actif
med.
max
85
Plateforme en cours de développement
interaction avec les phearcons

• Suivi des objets vision par ordinateur Bérard
• Si objet déplacé
• informations contextuelles projetées
• son caractéristique joué
• 4 zones de volume
• zone Historique (H)

off
H
min
Radio FM Etat actif
med.
max
86
Plateforme en cours de développement
interaction avec les phearcons

• Suivi des objets vision par ordinateur Bérard
• Si objet déplacé
• informations contextuelles projetées
• son caractéristique joué
• 4 zones de volume
• zone Historique (H)
• zone Surround

Surround
off
H
min
Radio FM Etat actif
med.
max
87
Plateforme en cours de développement
spécification des phearcons
88
Plateforme en cours de développement
spécification des phearcons
89
Plateforme en cours de développement
spécification des phearcons
90
Plateforme en cours de développement
spécification des phearcons
91
Plateforme en cours de développement
spécification

• Code de chaque Phearcon généré selon ARCH
  UIMS92

CD
ANF
PL
NF
PP
92
Plateforme en cours de développement
spécification

• Code de chaque Phearcon généré selon ARCH
  UIMS92

CD
ANF
PL
NF
PP
93
Plateforme en cours de développement
spécification

• Code de chaque Phearcon généré selon ARCH
  UIMS92

CD
ANF
PL
NF
PP
94
Plateforme en cours de développement
spécification

• Code de chaque Phearcon généré selon ARCH
  UIMS92

CD
ANF
PL
NF
PP
95
Plateforme en cours de développement
spécification

• Code de chaque Phearcon généré selon ARCH
  UIMS92

Données
CD
Transformation des données
Abstraction analytique
Vue sur les données
ANF
PL
Transformation de
sonification
Abstraction de
sonification

Espace sonore abstrait
NF
PP
Transformation de diffusion
Rendu sonore
96
Plateforme en cours de développement
spécification

• Code de chaque Phearcon généré selon ARCH
  UIMS92
• Spécification dune Phearcon configuration de
  chaque niveau de larche

Données
CD
Transformation des données
Abstraction analytique
Vue sur les données
ANF
PL
Transformation de
sonification
Abstraction de
sonification

Espace sonore abstrait
NF
PP
Transformation de diffusion
Rendu sonore
97
Plan de l'exposé

• Domaine virtualité augmentée
• Sujet phearcons
• Démarche de travail
• Contributions
• Etat davancement

98
Etat davancement
Phearcons
Spécification
Interaction
Processus de sonification
Justification théorique propriétés ergonomiques
Justification expérimentale magicien doz
Architecture logicielle
Paramètres de conception pour la spécification
Plate-forme matérielle et logicielle dexécution
et de spécification des phearcons
Expérimentations
99
Etat davancement

• Plateforme en cours de développement
• tracking visuel ok
• routines sonores ok
• interface graphique de spécification fin en
  février

100
Ce qui reste à faire...

• Expérimentations utilisant notre plateforme
  mars à mai
• utilité des paramètres de sonification
• sonification dinformations contextuelles avec
  Gaëtan Rey
• ex activité de groupe
• utilisation de longue durée (2 mois) avec des
  sources distantes

101
Ce qui reste à faire...

• Expérimentations utilisant notre plateforme
  mars à mai
• Rédaction du mémoire mai à août
• envoi de la thèse le 31 août, soutenance fin
  octobre

102
Publications
Phearcons
Interaction
Spécification
IHM 02 ICAD 03
Justification théorique propriétés ergonomiques
Justification expérimentale magicien doz
Processus de sonification
Architecture logicielle
Paramètres de conception pour la spécification
Règles de conception pour linteraction
Plate-forme matérielle et logicielle dexécution
et de spécification des phearcons

• mars-mai
• utilité paramètres sonification
• utilisation longue durée

Expérimentations
103
Merci pour votre attention !
des questions ?
104
Expérimentations Magicien dOz règles de
conception déduites

• Association information-objet
• apparence de lobjet rappelant la sémantiquede
  linformation (charge informationnelle)

105
Expérimentations Magicien dOz règles de
conception déduites

• Association information-objet
• Actions possibles
• objets suggérant des manipulations
• 3D, taille de la main, boutons (affordance)
• manipulations possibles
• manipulation de boutons, déplacement dans zones
  (concision charge informationnelle)
• tâches souhaitables
• rejouer dernière séquence de son
  (observabilité)
• jouer son de tous les haut-parleurs
  ("satisfaction")

106
Expérimentations Magicien dOz règles de
conception déduites

• Association information-objet
• Actions possibles
• Sources sonores (observabilité
  honnêteté)
• sons facilement identifiables
• sons suivis émis ponctuellement
• régulièrement / lors dévénements
• si la source est rendue muette par lutilisateur
• événements observables de manière non auditive
  (équivalence)
• si la source est muette sans avoir été éteinte
  par lutilisateur
• possibilité d avoir un diagnostic de panne
• manipulation préconisée secouer lobjet
  correspondant