Diapositive 1

1
Exécution adaptative par observation et analyse
de comportements Application à des logiciels
interactifs pour des enfants autistes
Soutenance de thèse présentée par Karim
SEHABA 7 décembre 2005
Laboratoire Informatique Image Interaction
2
Systèmes interactifs

• Objectif global
• Conception dun système capable
• identifier le comportement de lutilisateur
• personnaliser les activités de lapplication
• prendre en compte les consignes de lexpert
• Types dinteractivités
• Actions explicites
• éléments de contrôle (clavier, souris, écran
  tactile, etc.)
• Actions implicites
• expressions faciales, gestes, orientations du
  regard, etc.

Corpus de comportements
2
3
Contexte général
Système adaptatif
Directives
Interaction
Scénario
Profil de lutilisateur
Utilisateur/Joueur
Trace
Expert
Comportements de lutilisateur
Contrôle dexécution
Définition de lapplication (lexpert)
Personnalisation de lapplication (lexpert)
Méthodologie
Exécution contrôlée (système)
Analyse de la trace (lexpert)
3
4
Problématique scientifique
Système adaptatif
Système adaptatif
Directives
Interaction
Scénario
Profil de lutilisateur
Utilisateur/Joueur
Trace
Expert
Comportements de lutilisateur
Contrôle dexécution
Exécution adaptative
4
5
Problématique scientifique
Contrôle dexécution
Interaction
Caractérisation du profil ? Contrôle dexécution ?
Utilisateur/Joueur
Trace
Analyse de comportement
Expert
Notion de comportement ? Représentation
? Identification ?
5
6
Contributions
Analyse de comportements
Contrôle dexécution
Notion de comportement Analyse de comportement
par observation Les niveaux danalyse
Fondements théoriques Formalisation
Principe de contrôle Modèles de
contrôle Contrôle dexécution à partir de cas
Profil de lutilisateur Le raisonnement à partir
de cas Représentation des cas Processus de
raisonnement
Agents observateurs
Agent de décision
Agent dexécution
Architecture du système
7
Notion de comportement
fatigue, stress,

• Béhaviorisme
• comportements en réponse à des stimuli
• Cognitivisme
• représentation des variables internes de
  lindividu

réponses
cognitivisme
behaviorisme
stimuli

• Points communs
• lien fort entre comportement et stimuli
• observable en réponse à une stimulation

• Mais
• quelles sont les entités à observer ?
• où commence et où se termine un comportement ?
• quel est le niveau dobservation et danalyse
  dans lequel on se place ?

Niveaux danalyse et point de vue
7
8
Comportement dans notre approche

• Hypothèses
• les stimuli sont les objets de lapplication
  (pictogrammes, musiques, images, etc.)
• lidentification du comportement est le résultat
  de lanalyse des actions dans un processus
  dinterprétation
• le processus dinterprétation est une
  instanciation de modèles par observation de
  différents éléments de base (appelés formes)

• Définition du comportement
• Réactions observables, à différents niveaux, en
  réponse à des stimulations.
• Réactions constituent des formes calculables à
  partir du flux dévènements généré par les
  actions de lutilisateur

8
9
Niveaux danalyse
Évènements
Formes
Comportements
Exemple perception
Exemple trajectoire entre un objet en
mouvement et la direction du regard
Exemple clic de souris
Niveau 2
Niveau 3
Niveau 1
9
10
Analyse par observation
Observateurs communicant via un environnement
dobservation
Évènements
Formes
Comportements
ltForme1gt, ltForme2gt,
Flux dévènements
Comportement
Environnement dobservation
Niveau 2
Niveau 3
Niveau 1

• Environnement dobservation
• structure partagée entre les différents
  observateurs
• Observateur
• connaissance de base permettant de donner des
  points de vue sur
• les formes

10
11
Fondements théoriques
Quelle est la relation entre formes et
comportements ?

• Les  Affordances  (J. J. Gibson)
• la perception concerne les caractéristiques
  fournies aux observateurs
• les affordances constituent les caractéristiques
  faciales, la voix, la façon de bouger etc. BM86
  MZ98

Les formes sont des  affordances 
comportementales
Comment exprimer les points de vue ?

• Les Frames (M. Minsky)
• ensemble des connaissances relatives à un objet,
  un concept ou une situation typique

(frame (attribut1 (facette1.1,
valeur1.1) (facette1.2, valeur1.2)
) )

• Structure
• frame liens dhéritages et dinstanciation
• attributs propriétés de la structure
• facettes modalités descriptives de lattribut

Les facettes des frames représentent les points
de vue
11
12
Transitions entre les niveaux
Évènements
Formes
Comportements
ltForme1gt, ltForme2gt,
Flux dévènements
Comportement
Environnement dobservation
Niveau 2
Niveau 3
Niveau 1
?
?
Quelle est la représentation des formes ?
Quelle est la structure des observateurs ?
Quel est le processus dinterprétation ?
12
13
Formalisation forme

• Forme
• Élément de base dans lanalyse de comportement
• ltT id ID, attribut1 valeur1, ...
  ,attributN valeurNgt...
• lt/T id IDgt...ltT id IDgt...lt/T id
  IDgt
• T type utilisé pour la reconnaissance
• ID clé unique dans lenvironnement
  dobservation
• attribut, valeur informations utilisables par
  les observateurs dans le processus
  dinterprétation
• Exemple
• ltclic id1, xpos 50 , ypos 300gt ltclic
  id1gt

13
14
Formalisation observateur

• Observateur
• Contexte
• description de la situation
• Point de vue
• action à appliquer sur lenvironnement
  dobservation

Contexte ltSorte-degt ltcontextegt ltFormesgt
(frome1,forme2) ltContraintes contenugt forme1
? valeur1 forme2 ? forme3 ltContraintes
relationsgt ltContraintes profilgt Point de
vue ltMode dactivationgt ltréactifgt/ltproactifgt lt
Procédure dactivationgt
14
15
Formalisation observateur
Contexte
Point de vue

• Composant Contexte
• sorte-de désigne les contextes hérités
• formes définissent la description du
  comportement
• contraintes définissent les relations que les
  formes doivent vérifier

Types de contraintes
Types de relations

• Contrainte contenu
• relations entre les formes
• Exemple posture de la tête ? 45
• Contrainte relation
• relations entre les formes et les stimuli
• Exemple
• Mouvement.boule? orientation.regard
• Contrainte profil
• caractéristiques du profil de lutilisateur

• Relation dassignation (?)
• contenu de la forme
• Relation didentification (?)
• même contenu pour les 2 parties
• Relation de prédicats
• relation logique

15
16
Formalisation observateur
Contexte
Point de vue

• Composant Point de vue
• Mode dactivation
• réactif présence de certaines formes dans
  lenvironnement
• proactif attente des formes par dautres
  observateurs
• Procédure daction
• génération dautres formes

ltclic id1, xpos 50 , ypos 300gt
lt\clic id1gt ltclic_sur_objet id obj1,
couleur 0000FF, position (60,310), rayon
20 gt lt\clic_sur_objet id obj1gt
16
17
Formalisation observateur
Contexte
Point de vue

• Composant Point de vue
• Mode dactivation
• réactif présence de certaines formes dans
  lenvironnement
• proactif attente des formes par dautres
  observateurs
• Procédure daction
• génération dautres formes
• interprétation du comportement de lutilisateur
• production dun message pour lutilisateur

16
18
Processus dinterprétation
Mise à jour des formes
Sélection des observateurs
Exécution des actions des observateurs
Contexte totalement vérifié
Non
Oui
Mise en mémoire des formes manquantes
Déclenchement de la procédure daction
17
19
Contributions
Analyse de comportements
Contrôle Exécution
Principe de contrôle Modèles de
contrôle Contrôle dexécution à partir de cas
Profil de lutilisateur Le raisonnement à partir
de cas Représentation des cas Processus de
raisonnement
Notion de comportement Analyse de comportement
par observation Les niveaux danalyse
Fondements théoriques Formalisation
Agents observateurs
Agent de décision
Agent dexécution
Architecture du système
20
Contrôle dexécution

• Principe de contrôle
• production de scénario en fonction du profil et
  besoins
• observation des actions de lutilisateur
• détection des incohérences
• déclenchement dun nouvel épisode de
  raisonnement
• Capacités du modèle
• représentation de lutilisateur
• représentation des connaissances
• processus de raisonnement
• Hypothèses
• application ensemble dobjets munis de
  comportements

19
21
Modèles de contrôle

• Système à base de connaissances
• utilisation des règles (état de lenvironnement ?
  action à exécuter)
• Système à base de procédures
• utilisation des procédures comme action
• Système de classeurs
• caractérisation de létat par plusieurs attributs

• Difficultés
• prédiction de létat du système
• maintenance des règles
• adaptation de la scénarisation

• Avantages
• vérifications formelles
• adaptation à la réactivité
• du système

Approches mal adaptées pour une exécution
adaptative
 Storytelling  interactif Méthodes de collecte
et de restitution des histoires comme vecteur de
connaissances
Interaction limitée pour les objets de
lapplication
20
22
Contrôle dexécution à partir de
cas Représentation de lutilisateur
profil Représentation des connaissances
Processus de raisonnement
23
Profil de lutilisateur

• Lutilisateur est caractérisé par un profil et
  des objectifs à atteindre
• informations générales
• compétences
• préférences
• histoire

Nom Prénom Date de naissance
ltPerception-auditive, hautgt ltPerception-visuelle,
basgt ltRegard, moyengt
ltdurée-session, 5 mingt ltcouleur, vertgt ltson,
jinglegt
Descripteur ltattribut, valeurgt

• Agenda
• Trace dexécution
• animation graphique
• données statistiques

Trajectoire des objets
22
24
Raisonnement à partir de cas
Problème
Cas cible
Expérience1
Base de cas
Expérience2

ExpérienceN
Cas sources
23
25
Raisonnement à partir de cas
Problème
Élaborer
Cas cible
Base de cas
Connaissances générales
23
26
Raisonnement à partir de cas
Problème
Élaborer
Cas cible
Retrouver
Base de cas
Cas cible
Cas appris
Cas source
Connaissances générales
Cas Cible Adapté, Évalué, Corrigé,
Cas Cible adapté
Solution confirmée
23
27
Raisonnement à partir de cas
Problème
Élaborer
Cas cible
Retrouver
Base de cas
Cas cible
Cas appris
Cas source
Connaissances générales
Adapter
Cas Cible Adapté, Évalué, Corrigé
Cas Cible adapté
Réviser
Solution confirmée
23
28
Raisonnement à partir de cas
Problème
Élaborer
Cas cible
Retrouver
Base de cas
Cas cible
Cas appris
Cas source
Connaissances générales
Mémoriser
Adapter
Cas Cible Adapté, Évalué, Corrigé
Cas Cible adapté
Réviser
Solution confirmée
23
29
Représentation des cas
Qu'est-ce qu'un cas ? Problème contexte
dapplication une séquence de descripteurs
Solution scénario une séquence d'activités

• Descripteur attribut, valeur
• compétences et préférences
• ltPerception-auditive, hautgt
• ltdurée-session, 5 mingt
• objectifs

• Organisation de la base de cas
• mémoire dynamique de Schank
• cas dans un épisode généralisé (EG)
• Un EG
• Norme
• Cas
• Index

24
30
Processus de raisonnement
Adaptation
Remémoration
Mémorisation

• Filtre 1 maximise la similarité entre le cas
  source et cible
• Filtre 2 minimise l'effort d'adaptation du cas
  source au cas cible

C  cas source S  cas cible D ensemble des
descripteurs du cas source W  coefficient
dimportance du descripteur  
similarité entre le descripteur d de C et S
25
31
Processus de raisonnement
Adaptation
Remémoration
Mémorisation
Globale
Locale

• Globale
• remplacer des sous-scénarios par d'autres mieux
  adaptés
• Locale
• régler les comportements des stimuli

26
32
Processus de raisonnement
Adaptation
Remémoration
Mémorisation
Évaluation
Globale
Locale
Sauvegarde

• Évaluation
• évolution du profil
• évolution de la base de cas
• Sauvegarde
• choix d'un EG qui contiendra le nouveau cas
• enchaînement du nouveau cas à l'EG
• généralisation des cas/EG.

27
33
Contributions
Analyse de comportements
Contrôle Exécution
Principe de contrôle Modèles de
contrôle Contrôle dexécution à partir de cas
Profil de lutilisateur Le raisonnement à partir
de cas Représentation des cas Processus de
raisonnement
Notion de comportement Analyse de comportement
par observation Les niveaux danalyse
Fondements théoriques Formalisation
Agents observateurs
Agent de décision
Agent dexécution
Architecture du système
34
Les agents du système
Base de cas
Trace dexécution
Scénario
Raisonnement
Contexte dapplication
Base de profils
Objectifs
Décision
Exécution
Comportements
Activité adaptée
Système de vision (FaceLab)
ltForme1gt, ltForme2gt,
Vision
Action
Action
Environnement dobservation
Action
Observation
Utilisateur/Joueur
Interface de jeu
29
35
Prototype
Serveur
Base de cas
Raisonnement
Base des profils
Décision
Observation
Scénario adapté
Chargement de profil
Login
Profil buts
Instanciation
Mémorisation
Instanciation
1
Sauvegarde de la trace
Sidentifier
Profil
Cas cible
Rapport de raisonnement Scénario dactivités
Agent de décision
Définir les objectifs
2
Agent de dobservation
Nouveau cas
Machine utilisateur
Définir les seuils
3
Exécution du scénario
Lancer lexécution
Valider la mémorisation
4
5
Fenêtres
30
Fiche utilisateur
Résultats de raisonnement
Activité
Mémorisation
36
Domaines dapplication

• Jeux vidéo
• Exécution adaptative des personnages du jeu
• Logiciels éducatifs
• Gestion des actions imprévisibles
• Navigation sur le web
• Adaptation des opérations à lutilisateur

Application Projet Autisme
31
37
Projet Autisme

• Cadre
• service de pédopsychiatrie de lhôpital de La
  Rochelle
• (20 dexpérience dans lapproche thérapeutique)
• jeux éducatifs destinés à des enfants autistes
• Autisme
• difficultés dans la relation sociale
• difficultés dans la communication
• indifférence de comportement (rupture,
  isolement, etc.)

Capacité dinteraction et approche adaptative
qui tient compte des consignes de
médecin(lexpert)
32
38
Approche Jeux éducatifs

• Caractérisation des jeux
• décor statique
• objets (stimuli) munis dun
• comportement
• règles du jeu
• objectifs à atteindre

• Types dutilisateurs
• Tuteur
• assistance de l'enfant dans les tâches de
  l'activité
• suivi/contrôle de l'interaction entre l'enfant
  et le scénario
• Expert
• définition du jeu
• caractérisation des activités associées au jeu
• définition des cas en adaptant certains
  scénarios à certains profils
• Joueur
• profil et objectifs éducatifs à atteindre

Coucou caché
33
39
Expérimentations

• Évaluation antérieure
• évitement du regard
• évitement du changement
• évitement du contact

• Évaluation du janvier 2004
• maintien du contact
• mots associés à des gestes

• Évaluation du 30 Septembre 2005
• manifestation dune attention
• réussite dans le domaine du graphisme et du
  langage

• Évaluation du 8 octobre 2004
• meilleure communication par le regard
• meilleure tenue du corps
• objets et situations mieux reconnus

34
40
Résultats de la thèse

• Méthode danalyse de comportement par observation
• Contrôle dexécution à partir de cas
• Méthodologie appliquée au domaine expérimentale
• Première version dun prototype pour le Projet
  Autisme

Analyse de comportements
Contrôle Exécution
Contrôle dexécution à partir de cas Profil de
lutilisateur Le raisonnement à partir de cas
Représentation des cas Processus de raisonnement
Notion de comportement Analyse de comportement
par observation Les niveaux danalyse
Fondements théoriques Formalisation
Agents observateurs
Agent de décision
Agent dexécution
35
41
Conclusion

• Domaine pluridisciplinaire
• sciences cognitives
• modélisation des connaissances
• méthodologie éducative pour des enfants autistes
• Difficultés
• formalisation des observateurs
• processus dinterprétation
• adaptation de cas (globale et locale)
• Avantages
• personnalisation de lapplication à lutilisateur

36
42
Perspectives

• Recherche
• Risque dincohérence
• vérification des propriétés du scénario
• Plus de formalisation des cas
• utilisation des logiques de descriptions
• étape délaboration des cas
• Mises à jour dynamique
• construction dynamique des objectifs
• modification dynamique du profil
• Application  Autisme 
• Peu de comportements considérés
• validation du modèle avec dautres comportements
• validation de lefficacité sur le terrain
• Applications à dautres domaines
• jeux vidéo

37
43
Exécution adaptative par observation et analyse
de comportements Application à des logiciels
interactifs pour des enfants autistes