Ergonomie des IHM

1

• Ergonomie des IHM

Module IHM, ESSI Alain GIBOIN (INRIA)
Évaluation coopérative Méthode originale
2
Évaluation coopérative Présentation générale

• Auteurs Monk, Wright, Haber et Davenport (1993)
  
• Méthode conçue pour des informaticiens par des
  psychologues spécialistes des IHM

3
Évaluation coopérative Présentation générale

• Quel est le but de la méthode ?
• Obtenir des données sur les problèmes que peut
  rencontrer lutilisateur dun logiciel
• L'objectif n'est pas de fournir une liste
  exhaustive des problèmes pouvant être identifiés.
  
•  Il est plutôt d'aider à identifier, avec le
  minimum d'effort, les problèmes les plus
  importants à considérer.
• afin d'améliorer ce logiciel

4
Évaluation coopérative Présentation générale

• À qui est destinée cette méthode ?
• L'évaluation coopérative peut être utilisée par
  des concepteurs ne possédant pas de connaissances
  spécialisées en ergonomie

5
Évaluation coopérative Présentation générale

• Quand utiliser cette méthode ?
• L'évaluation coopérative est le plus utile pour
  avoir un retour précoce sur la reconception dans
  un cycle itératif rapide 

6
Évaluation coopérative Présentation générale

• Méthode adaptée aux étudiants en informatique de
  lESSI
• Auteur A.G.
• Définition procédure permettant aux étudiants
  de l'ESSI d'obtenir des données sur les problèmes
  importants que pourraient rencontrer les
  utilisateurs de leur interface, et d'améliorer
  ensuite cette interface.

7
Plan

• Evaluation coopérative
• Méthode originale
• Méthode adaptée aux étudiants en informatique

8
Évaluation coopérative Méthode originale

• Ses étapes
• Étape 1/ Recruter des utilisateurs
• Étape 2/ Préparer des tâches à exécuter par les
  utilisateurs
• Étape 3/ Interagir et enregistrer

9
Évaluation coopérative - méthode originale 1/
Recruter des utilisateurs

• Définir la population cible
• Par les dimensions de l'utilisateur
• Statut Personnel de la bibliothèque
• Lecteurs
• Fournisseurs
• Libraires
• Maisons d'édition
• Préférences
• Niveau dexpérience

10
Évaluation coopérative - méthode originale 1/
Recruter des utilisateurs

• Définir la population cible
• Par les dimensions de l'utilisateur
• À l'aide de typologies d'utilisateurs
• Exemple Utilisateurs de documentation
  électronique (cf. Horton, 1990)

11
Typologie d'utilisateurs
Utilisateurs de documentation électronique (cf.
Horton, 1990)
12
Évaluation coopérative - méthode originale 1/
Recruter des utilisateurs

• Nombre d'utilisateurs à recruter
• Entre 1 et 5 utilisateurs par itération, tôt dans
  le processus de conception
• Sources possibles de recrutement

13
Sources possibles de recrutement
14
Évaluation coopérative - méthode originale 1/
Recruter des utilisateurs

• Si les utilisateurs recrutés ne sont pas les
  utilisateurs cibles
• Ces utilisateurs ont -ils les mêmes
  caractéristiques que les utilisateurs cibles ? En
  particulier
• Connaissance du domaine de la tâche
• Expérience de l'informatique
• Aptitude à manipuler les dispositifs d'entrée
  (clavier, etc.)
• Niveau d'éducation
• Manière d'aborder les situations de résolution de
  problèmes

15
Évaluation coopérative - méthode originale 1/
Recruter des utilisateurs

• Modalités de recrutement
• Questions à se poser
• Une permission pour les utilisateurs est-elle
  nécessaire ?
• Des arrangements administratifs doivent-ils être
  faits ?

16
Évaluation coopérative Méthode originale

• Ses étapes
• Étape 1/ Recruter des utilisateurs
• Étape 2/ Préparer des tâches à exécuter par les
  utilisateurs
• Étape 3/ Interagir et enregistrer

17
Évaluation coopérative - méthode originale 2/
Préparer les tâches à exécuter par les
utilisateurs

• Objectif
• Préparer une feuille de tâches
• Ces tâches doivent être représentatives des
  tâches réelles des utilisateurs
• Elles doivent permettre une exploration
  minutieuse de l'interface

18
Évaluation coopérative - méthode originale 2/
Préparer les tâches à exécuter par les
utilisateurs

• Objectif
• Préparer une feuille de tâches
• Caractéristiques de la feuille de tâches
• Contenu liste des tâches que les utilisateurs
  essaieront de réaliser à l'aide du prototype
• La liste sera donnée à l'utilisateur au début de
  la séance d'évaluation

19
Évaluation coopérative - méthode originale 2/
Préparer les tâches à exécuter par les
utilisateurs

• Objectif
• Préparer une feuille de tâches
• Caractéristiques de la feuille de tâches
• Questions à se poser sur les tâches
• Les tâches choisies sont-elles réalisables à
  l'aide du prototype ?
• Les tâches vont-elles amener l'utilisateur à se
  centrer sur les parties de l'interface
  auxquelles vous vous intéressez ?
• Combien de temps avez-vous alloué pour chaque
  utilisateur ?
• À combien estimez-vous le temps nécessaire à
  chaque utilisateur pour réaliser les tâches ?
• Le temps imparti dépasse-t-il d'au moins 50 le
  temps nécessaire pour réaliser les tâches ?
• L'énoncé des tâches est-il suffisamment clair
  pour un utilisateur novice ?

20
Évaluation coopérative - méthode originale 2/
Préparer les tâches à exécuter par les
utilisateurs

• Choses à surveiller pendant la préparation des
  tâches
• Les tâches sont-elles spécifiques ?
• Exemple de tâche non spécifique
• "Réalisez la tâche que vous effectuez
  normalement."
• Exemple de tâche spécifique
• "Dessinez une maison avec une porte, quatre
  fenêtres et une cheminée."

21
Évaluation coopérative - méthode originale 2/
Préparer les tâches à exécuter par les
utilisateurs

• Choses à surveiller pendant la préparation des
  tâches
• Les tâches sont-elles spécifiques ?
• Les tâches sont-elles représentatives ?
• En discuter avec les utilisateurs
• En discuter avec d'autres spécialistes de
  l'entreprise

22
Évaluation coopérative - méthode originale 2/
Préparer les tâches à exécuter par les
utilisateurs

• Choses à surveiller pendant la préparation des
  tâches
• Les tâches sont-elles spécifiques ?
• Les tâches sont-elles représentatives ?
• Que faire si l'utilisateur ne termine pas la
  tâche ou la termine trop rapidement ?
• Décider d'un temps maximum pour chaque tâche
• Ajouter des tâches supplémentaires
• Tâches plus simples pour les utilisateurs n'ayant
  pas terminé
• Autres tâches pour les utilisateurs ayant terminé
  plus rapidement que prévu

23
Évaluation coopérative - méthode originale 2/
Préparer les tâches à exécuter par les
utilisateurs

• Choses à surveiller pendant la préparation des
  tâches
• Les tâches sont-elles spécifiques ?
• Les tâches sont-elles représentatives ?
• Que faire si l'utilisateur ne termine pas la
  tâche... ?
• Examen des fonctions importantes
• Double examen
• Examen en début de séance
• Examen en fin de séance

24
Évaluation coopérative Méthode originale

• Ses étapes
• Étape 1/ Recruter des utilisateurs
• Étape 2/ Préparer des tâches à exécuter par les
  utilisateurs
• Étape 3/ Interagir et enregistrer

25
Évaluation coopérative - méthode originale 3/
Interagir et enregistrer

• Sous-étapes
• Avant l'arrivée des utilisateurs
• À l'arrivée des utilisateurs
• Pendant la réalisation des tâches
• Debriefing

26
Évaluation coopérative - méthode originale 3/
Interagir et enregistrer

• Avant l'arrivée des utilisateurs
• Objectif
• Vérifier que tout est en place et complètement
  opérationnel
• Pour cette vérification, utiliser la check-list
  suivante
• Le prototype est-il prêt à l'utilisation dans un
  environnement suffisamment tranquille ?
• La feuille de tâche est-elle disponible ?
• Moyen d'enregistrer ce que dit l'utilisateur
  (magnétophone, micro connecté à vidéo) ?
• Moyen d'enregistrer ce que fait l'utilisateur
  (vidéo, log) ?
• Carnet ou feuille pro-forma sur lesquels prendre
  des notes ?
• Liste de questions à poser pendant le debriefing
  ?
• Avez-vous prévu ce que vous allez dire à
  l'utilisateur quand il arrive ?
• Avez-vous manipulé vous-mêmes la feuille de
  tâches pour préciser ce à quoi s'attendre ?
• Avez-vous vérifié le bon fonctionnement des
  appareils d'enregistrement ?

27
Évaluation coopérative - méthode originale 3/
Interagir et enregistrer

• Sous-étapes
• Avant l'arrivée des utilisateurs
• À l'arrivée des utilisateurs
• Pendant la réalisation des tâches
• Debriefing

28
Évaluation coopérative - méthode originale 3/
Interagir et enregistrer

• À l'arrivée des utilisateurs
• Principes gouvernant la séance
• Conduite de la séance mode informel (discussion
  libre sur le système)
• Statut des utilisateurs co-évaluateurs et non
  sujets d'expérience

29
Évaluation coopérative - méthode originale 3/
Interagir et enregistrer

• À l'arrivée des utilisateurs
• Principes gouvernant la séance
• Conduite de la séance
• Statut des utilisateurs
• Indiquer aux utilisateurs ce que l'on attend de
  la séance
• observer en quoi le système peut les induire en
  erreur ou leur rendre difficiles certaines tâches
  
• et non relever les erreurs qu'ils commettent ou
  noter ce qu'ils sont incapables de faire
• C'est le système qui est évalué et non
  l'utilisateur

30
Évaluation coopérative - méthode originale 3/
Interagir et enregistrer

• À l'arrivée des utilisateurs
• Actions
• Mettre les utilisateurs en confiance
• Démarrer l'enregistrement de la séance (pour ne
  pas oublier)
• Se présenter
• Qui vous êtes
• Objectif de la séance
• Souligner que c'est le système qui est évalué et
  non l'utilisateur
• Expliquer la philosophie de lévaluation
  coopérative

31
Évaluation coopérative - méthode originale 3/
Interagir et enregistrer

• À l'arrivée des utilisateurs
• Actions (suite)
• Expliquer lévaluation coopérative
• Décrire la technique
• Indiquer à l'utilisateur que ses paroles seront
  enregistrées mais qu'elles resteront
  confidentielles
• Présenter la feuille de tâches
• Préciser que les tâches ne sont pas un test, mais
  juste une manière d'introduire l'utilisateur aux
  différentes parties du système
• Conseil pour garder son caractère informel à
  cette étape, ne pas rédiger de consigne

32
Évaluation coopérative - méthode originale 3/
Interagir et enregistrer

• Sous-étapes
• Avant l'arrivée des utilisateurs
• À l'arrivée des utilisateurs
• Pendant la réalisation des tâches
• Debriefing

33
Évaluation coopérative - méthode originale 3/
Interagir et enregistrer

• Pendant la réalisation des tâches
• Impératifs
• Laisser parler les utilisateurs
• Être attentif à ce qui se passe

34
Évaluation coopérative - méthode originale 3/
Interagir et enregistrer

• Pendant la réalisation des tâches
• Impératifs
• Actions
• Encourager les utilisateurs à parler à voix haute
  pendant qu'ils utilisent le système
• Demander aux utilisateurs de commenter en direct
• ce qu'ils font et
• ce qu'ils vont faire

35
Évaluation coopérative - méthode originale 3/
Interagir et enregistrer

• Pendant la réalisation des tâches
• Impératifs
• Actions
• Encourager les utilisateurs à parler à voix haute
• S'assurer de la (relative) continuité du dialogue
• en posant des questions appropriés chaque fois
  que cela est possible
• Comment fait-on ça ?
• Que voulez-vous faire ?
• Qu'arrivera-t-il si... ?
• Que vient de faire le système ?
• Que veut vous dire le système avec ce message ?
• Pourquoi le système a-t-il fait cela ?
• À quoi vous attendiez-vous ?
• Qu'êtes-vous en train de faire maintenant ?

36
Évaluation coopérative - méthode originale 3/
Interagir et enregistrer

• Pendant la réalisation des tâches
• Impératifs
• Actions
• Encourager les utilisateurs à parler à voix haute
• S'assurer de la (relative) continuité du dialogue
• Noter chaque occurrence de comportement inattendu
  et chaque commentaire sur l'utilisabilité du
  système
• Comportement inattendu quand les utilisateurs
  font quelque chose que le concepteur n'a pas
  prévu.
• Exemple L'utilisateur tape une série imprévue
  de commandes
• Commentaires commentaires et évaluations
  subjectifs (positifs ou négatifs) de l'interface.
  
• Exemples
• "C'est chouette de pouvoir faire ça sans avoir à
  retaper tout."
• "Ça exige beaucoup d'effort."
• "Je déteste devoir faire ça deux fois."

37
Évaluation coopérative - méthode originale 3/
Interagir et enregistrer

• Pendant la réalisation des tâches notations
• Procédure
• Faute de temps pour prendre des notes détaillées,
  
• noter l'endroit de la bande magnétique où se
  trouve le comportement ou le commentaire
• et décrire brièvement (si possible en un mot) ce
  qui est arrivé
• Avertissement
• Ne pas laisser la prise de notes interférer
• avec l'objectif prioritaire de créer un dialogue
  avec l'utilisateur
• Arrêter la prise de notes si cela arrive

38
Exemple de pro-forma pour la prise de notes
39
Évaluation coopérative - méthode originale 3/
Interagir et enregistrer

• Sous-étapes
• Avant l'arrivée des utilisateurs
• À l'arrivée des utilisateurs
• Pendant la réalisation des tâches
• Debriefing

40
Évaluation coopérative - méthode originale 3/
Interagir et enregistrer

• Debriefing
• Principe
• Discussion avec l'utilisateur lorsque ce dernier
  a terminé toutes ses tâches
• Discussion sur ce que chacun pense être les
  problèmes d'utilisabilité les plus importants du
  système
• Discussion sur la technique elle-même
  d'évaluation coopérative
• Des commentaires très intéressants peuvent surgir
  de cette phase

41
Évaluation coopérative - méthode originale 3/
Interagir et enregistrer

• Debriefing
• Questions de référence sur le prototype
• Quelle est la plus grande qualité du prototype ?
• Quel est le plus grand défaut du prototype ?
• Qu'est-ce qui a le plus besoin d'être changé ?
• Avez-vous trouvé les tâches faciles à réaliser ?
  
• Questions spécifiques sur le prototype

42
Évaluation coopérative - méthode originale 3/
Interagir et enregistrer

• Debriefing
• Questions de référence sur lévaluation
  coopérative
• L'enregistrement vous a-t-il gêné ?
• Est-ce que les tâches étaient semblables à ce que
  vous avez l'habitude de faire ?
• Avez-vous trouvé le prototype réaliste ?

43
Évaluation coopérative - méthode originale 3/
Interagir et enregistrer

• Debriefing
• Utilisation des questions de référence
• Les photocopier et les utiliser comme
   déclencheurs 
• Ces questions étant générales, les compléter par
  des questions plus spécifiques de son cru sur des
  aspects plus particuliers du système
• sur les noms de menus
• sur les valeurs par défaut
• etc.

44
Évaluation coopérative - méthode originale 3/
Interagir et enregistrer

• Debriefing
• Formulaire complémentaire
• Questionnaire (simple) à remplir par les
  utilisateurs
• Cas d'utilisation
• Utilisateurs nombreux
• Besoin d'avoir un retour plus formel

45
Évaluation coopérative - méthode originale 3/
Interagir et enregistrer

• Second Debriefing
• Principe
• Revoir les utilisateurs une seconde fois (seuls
  ou en groupe)
• pour clarifier son interprétation des problèmes
  importants d'utilisabilité et
• discuter des changements possibles à faire sur le
  système

46
Plan

• Evaluation coopérative
• Méthode originale
• Méthode adaptée aux étudiants en informatique