Analyse automatique des expressions du visage

1
Analyse automatique des expressions du visage
Application à la Langue des Signes

• Hugo MERCIER - Equipe TCI
• Directeur de Recherche Patrice DALLE

1/16
2
Sommaire

• Problématique
• Etat de l'art
• Expressions du visage et Langue des Signes
• Formalisme proposé
• Architecture proposée

2/16
3
Introduction

• Domaine émergent
• Applications
• IHM (modalité d'intéraction)
• Animation
• Compression (adaptée au visage)
• Psychologie, linguistique
• Ici expressions composantes langagières
• En lien avec travaux TCI
• Guillemette JAUSIONS
• AS IG
• Equipe projet

3/16
4
Problématique

• Analyse pour linterprétation des expressions
• Formalisme de représentation
• Coût de l'analyse
• Architecture système
• Langue des Signes ?
• Hypothèse de continuum avec les expressions du
  co-verbal

4/16
5
Etat de l'art formalismes

• FACS (Facial Action Coding System)
• Ekman, Friesen, 1978
• Décomposition élémentaire des mouvements du
  visage
• 46 'Action Units' (Action Faciales)
• Analyse manuelle

AU 26
AU 15
AU 10
AU 1
5/16
6
Etat de l'art formalismes

• MPEG4 (Moving Picture Experts Group)
• Face and Body AdHoc Group, 2001
• Mesures relatives
• Plus bas niveau que FACS

6/16
7
Expressions et Langue des Signes

• Plusieurs rôles
• Lexical
• Composante de définiton d'un Signe
• Quantifiants (gros, grand, ...)
• Syntaxique
• Mode du discours (conditionnel, interrogatif,
  ...)
• Sémantique
• Emotions en Transfert Personnel
• Formalisme ?
• Intégration de laspect langagier les
  informations de bas niveau sur les états
  musculaires ne suffisent pas

7/16
8
Définitions linguistiques

• Quantifiants
• Plissement des yeux, froncement du nez et des
  sourcils, lèvres serrées et projetées vers
  l'avant minuscule
• Joues légèrement gonflées, front plissé, air
  dur, mâchoires serrées fort, costaud
• Expressions modales
• Hypothèse mentale clignement très bref des yeux
  suivi d'une fuite du regard ultra-rapide vers le
  haut
• Intégration de ces connaissances ?
• Mesures floues
• Aspect temporel
• Définitions subjectives

8/16
9
Formalisme proposé

• Inspiré du formalisme des experts (linguistes)
• A base de règles
• Règles de compositions de connaissances
• Connaissances élémentaires
• États musculaires
• Connaissances composées
• Opérateurs de composition (spatiale et temporelle)

9/16
10
Formalisme proposé compositions

• Types de compositions
• Redéfinitions (symétrie et autre)
• Actions faciales (simple, tremblement, ...)
• Expressions
• Opérateurs
• Conjonction ','
• Disjonction ''
• Séquencement ''
• Négation '-'
• Eventualité '?'

10/16
11
Traduction des définitions linguistiques

• Redéfinitions
• Sourcils-relevés ltgt sourcil-gauche-relevé,
  sourcil-droit-relevé
• Souffle-air ltgt bouche-ouverte, joues-gonflées
• Actions faciales
• Tremblement-joues ltgt af-tremblement
  gonflement-joues
• Expressions
• Gonflement des joues, plissement des yeux,
  souffle d'air en continu grande quantité de
• Grande-quantité ltgt (joues-gonflées,
  yeux-plissés) souffle-air ( durée longue )
• Représentation sous forme XML

11/16
12
Interprétation

• Buts
• Rester proche de la compréhension humaine
• Analyser à moindre coût
• Limites de l'analyse classique
• Il est trop coûteux d'extraire les informations
  indépendamment sur chaque image
• Idée
• Il est moins coûteux de prédire et vérifier des
  informations plutôt que de les extraire sur
  chaque image de la séquence vidéo

12/16
13
Architecture proposée

• Analyse bi-directionnelle
• Analyse ascendante classique (extraction)
• Partir des données brutes (images de la séquence)
  pour déduire des connaissances de haut niveau
• Analyse descendante (prédiction / vérification)
• Rester à haut niveau et se contenter de vérifier
  certaines connaissances par prédiction
• Basculement critique
• Lanalyse descendante nécessite une analyse
  ascendante (initialisation, apport de nouvelles
  informations, reprise sur erreurs)
• Mécanisme de contrôle ?

13/16
14
Algorithme

• Prédiction / vérification simple
• Par défaut, opérateur dextraction (ascendant)
• Règle en partie validée sur une image
• Mise en priorité des opérateurs de vérification
• Règle dont une partie temporelle a été validée
• Mise en priorité de la règle sur limage suivante
• Mise en priorité Prédiction

14/16
15
Algorithme illustration

• Gros ltgt (joues-gonflées, bouche-fermée)
  (joues-neutres, bouche-ouverte)
• Joues pas d'opérateur d'extraction (vérification
  uniquement)

15/16
16
Conclusion

• Proposition d'un formalisme et d'une architecture
  pour l'interprétation des expressions en Langue
  des Signes
• A faire
• Valider le formalisme
• linguistes
• Valider larchitecture
• Implantation
• Opérateurs extraction / vérification
• Mécanisme de contrôle
• Traiter les problèmes doccultation et de
  changement de pose très présents en Langue des
  Signes
• Envisager d'autres niveaux d'analyse ?
  (statistique des Expressions du visage en Langue
  des Signes)

16/16