Recherches sur la Langue des Signes

1
Recherchessur la Langue des Signes

• Patrice DALLE
• IRIT - TCI
• IRIS - ER

Institut de Recherches en Informatique de
Toulouse équipe Traitement et Compréhension
dImages
2
IRIT-TCI Traitement et Compréhension dImages
Présentation

• Vision par ordinateur
• Retrouver les informations sur la scène observée
• Interprétation
• Reconnaître les objets, Comprendre la scène
• Communication Visuo-Gestuelle
• Analyse des gestes ou signes dune personne

3
Communication Visuo-Gestuelle
Présentation
4
Types de recherches
Recherches

• sur la langue des Signes

• LSF , objet de létude recherches
  linguistiques
• Communication en LSF technologies
  facilitant la communication en LSF

• sur lutilisation de la langue des Signes

• Pédagogie en LSF
• Accès à la culture documents en LSF
• LSF et vie sociale

5
Recherches sur la LSF
Thèmes des recherches

• Prérequis nécessaires pour étudier la LSF
• Constitution de corpus
• Formalismes de notation
• Outils informatiques danalyse de corpus vidéo
• Analyse de la LSF
• Formation des signes
• Caractéristiques de la LSF. Ex grande iconicité
• Grammaire de la LSF
• Modalités de la LSF
• Écriture de la LSF
• LSF , analyseur de faits de langues
• Naissance des langues (étude de sourds isolés)
• LSF et gestuelle co-verbale

6
Communication en LSF
Thèmes des recherches

• Communication à distance
• Compression  intelligente 
• Interfaces adaptées
• Messagerie en LSF
• Production dénoncés en LSF
• Avatars signants
• Ecriture de la LSF
• Prise de notes en LSF
• Résumés en vidéos, annotation, consultation
• Traduction LSF ? Français
• Énoncé ? sens ? représentation ? génération

7
Financement public des recherches
Recherches en cours

• Ministère de la recherche
• ACI Action Cognitique Incitative
• CNRS
• Département STIC (Sciences et Technologies de
  lInformation et de la Communication) 
• 4 domaines - STIC technologies de la
  communication - IHC (Interaction Humaines et
  Cognition) rôle de lhumain
• RTP Réseaux Thématiques Pluridisciplinaires
• Actions spécifiques
• Equipes projets
• INRIA
• Régions

8
Linguistique ? Informatiqueapports croisés
CVG

• Linguistique
• Primitives, niveaux danalyse
• Démarche danalyse ou de production dénoncés
• Informatique
• Modélisation de la syntaxe et de la sémantique
• Méthodes formelles
• Représentations pour rendre compte ou pour
  générer
• Modélisation du mouvement et des gestes
• Environnements
• Editeurs
• Outils de manipulation, stockage, interrogation
• Analyse LS ( vidéo, direct) ? représentation
• Génération représentation ? personnage de
  synthèse

9
Projets
Projets

• Gestes
• AS STIC analyse des gestes
• Langue des Signes
• ACI LS-COLIN (Cuxac) LS analyseur de langues
  (2000-2002)
• AS STIC (Gibet,Toulotte) Communication en LS
  (2003-2004)
• ACI (Garcia-Boutet) LSF - Formes graphiques
  (2003-2005)
• INRIA ARC-LSF
• Analyse des gestes co-verbaux
• AS STIC (Dalle, Cuxac) interaction gestuelle
  (2002-2003)
• Equipe projet (Dalle, Cuxac) Interaction
  gestuelle (2004-2007)

10
Projet LS-COLIN Langues des Signes - COgnition,
Linguistique, INformatique (Action COGNITIQUE)
Projet-1
Langues des signes Analyseurs privilégiés de
la faculté de langage, Apports croisés d'études
linguistiques, cognitives et informatiques
(traitement et analyse d'image) autour de
l'iconicité et de l'utilisation de l'espace.
- Sciences du Langage, Université Paris 8
(linguistique de la LSF) - CAMS-LaLIC,
Université Paris 4 (linguistique cognitive) -
IRIT-TCI, Université Toulouse 3 (informatique et
traitement de l'image) - LIMSI, CNRS, Orsay
(informatique)
11
LS-COLIN
Projet-1

• L'iconicité des messages fonctionne comme
  analyseur cognitif.
• affiner l'inventaire des structures de "grande
  iconicité"
• modéliser lémergence du vocabulaire standard à
  partir du processus d'iconicisation initial
• vérifier des hypothèses des grammaires cognitives
  l'expression complémentaire des primitives
  spatiales et non spatiales issues des
  représentations sémantico-cognitives dans les
  énoncés en LS.
• Travaux communs
• Identification des primitives signifiantes pour
  linguistes et informaticiens
• Structuration, segmentation
• Spécification dun outil de transcription
• Étude et réalisation dun corpus

12
LS-COLIN Travaux des linguistes
Projet-1

• Thèmes de publications issues de
  laction(linguistes)
• Modèle dune grammaire iconique de la LSF
• Structures de grande iconicité
• Opérations de transfert
• Conséquences cognitives des transferts en LS
• Classification des configurations manuelles
  pronomiales en LSF
• La construction de références temporelles dans
  les Langues des Signes Primaires (LSP) pratiquées
  par des sourds vivant exclusivement en entourage
  entendant

13
Projet-1
14
Corpus LS-COLIN
Projet-1
15
Projet-1
Exploitation du corpus  histoire du cheval 
(I. Fusellier)
Validation Clignement des yeux, rôle du regard,
structure interne des transferts situationnels,
16
LS-COLIN Editeur de partitions
Projet-1
17
Edition assistée par Traitement d Images
Projet-1
18
AS Interaction gestuelle(RTP Dialogue et
Communication)
Projet-2
Etude et Développement de la communication
Homme-Machine visuo-gestuelle
Patrice DALLE IRIT UMR 5505- Toulouse III
Christian CUXAC Syntaxe formelle et
typologie des languesUMR 7023 - Paris VIII
19
AS-IG Motivation
Projet-2

• Intérêt
• Le geste permet une interaction naturelle
• Constat
• Le geste est peu utilisé dans la communication
  H-M
• La vision est peu utilisée dans les dispositifs
  multimodaux
• Causes
• Analyse en temps réel dun objet composé articulé
  déformable, avec beaucoup de degrés de liberté
• Le geste co-verbal est peu contraint et donc
  difficile à analyser par un système de vision
• Lexpression gestuelle seule est incomplète et
  ambiguë

20
AS-IG Présentation
Projet-2

• Objectif
• Enrichir les capacités déchange de la
  communication visuo-gestuelle
• Développer des modèles danalyse des langues
  gestuelles par un système de vision
• Méthode
• Etude des points communs langue des
  signes / gestuelle co-verbale dans la
  communication H-H
• Transposition à la communication H-M
• Réalisation dune maquette de simulation

21
AS-IG Apport de la langue des signes
Projet-2
analyse
plus faciles à interpréter
Langue des Signes
Gestesco-verbaux
plus expressifs
enrichit
22
AS-IG Laboratoires  cœur 
Projet-2

• Langue des signes
• UMR 7023 (Paris 8) "Syntaxe formelle et
  typologie des langues", Ch Cuxac
• UPRESA 6065 (Rouen) "DYALANG" , R. Sabria
• Co-verbal
• UMR 8606 (Paris 5) "LEAPLE" , Ch. Hudelot
• UMR 6057 (Aix-Marseille) "Parole et Langage" ,
  I. Guaïtella- Cavé
• Vision et analyse du geste par ordinateur
• UMR 5505 (Toulouse 3) IRIT -"Traitement et
  Compréhension d'Images" P. Dalle
• UPR 3251 LIMSI "Geste et Image" A. Braffort, Ch
  Collet

23
AS Communication en langue des signes  des
sourds(RTP Handicap)
Projet-3
Représentations et Modélisations du mouvement
dans le contexte de linteraction et de
lanimation dagents de synthèse communicant en
langue des signes.
24
AS Communication en langue des signes  des
sourds
Projet-3

• Modèles et langages de spécification pour la
  génération et lanimation dagents de synthèse 
• Analyse et synthèse des expressions faciales
• Codage des gestes des langues des signes pour le
  stockage des gestes, leur transmission et leur
  re-synthèse en temps réel
• Interaction multimodale avec les agents virtuels
  de communication
• Évaluation des différents systèmes par des
  populations sourdes (représentation,
  reconnaissance des gestes des avatars, dialogue)

25
AS Communication en langue des signes  des
sourds
Projet-3

• Porteurs
• Sylvie Gibet
• Laboratoire VALORIA, Université de Bretagne Sud
• Jean-Marc Toulotte
• Laboratoire I3D, université des Sciences et
  Technologies de Lille
• Participants
• LINC PARAGRAPHE, Université de Paris VIII
• Université de Paris VIII, UMR 7023
• LIMSI-CNRS, Université de Paris Sud
• IRIT, UMR 5505, Université Paul Sabatier,
  Toulouse 3
• Institut de la Communication Parlée, Université
  Stendhal, Grenoble

26
ACI-JC La LSF quelles conditions pour quelles
formes graphiques(proposition de projet)
Projet-4

• Porteurs
• Dominique Boutet Brigitte Garcia
• (linguistes - Paris 8)
• laboratoires partenaires

27
La LSF quelles conditions pour quelles formes
graphiques
Projet-4

• Enquête , évaluation
• Enquête qualitative sur les attentes et besoins
  des populations concernées
• Expertise (sémio-linguistique et sociologique)
  des pratiques graphiques spécifiques
• Propositions
• Approche fondée sur le signifiant physiologique,
  permettant une forme graphique monolinéaire et
  validée pour la gestualité coverbale
• Etude dun outil de fabrication de comptes-rendus
  dexposés en LSF
• Étude de la génération dénoncés en LSF par des
  agents virtuels informatiques.

28
Analyse dimagede personnages signants Études
menées à lIRIT-TCI
Analyse dimage-TCI

• Description
• Détection , Extraction de primitives
• Segmentation
• Caractérisation
• Reconstruction 3D
• Reconnaissance
• Interprétation

29
CVG pourquoi ?
Analyse dimage-TCI

• Problématique
• Thème émergent en analyse dimages
• Cadre détude pertinent
• Scientifique 3D, mouvement, compréhension, sens
• Applications
• Communication Homme-Machine (interaction,
  commande, observation de lutilisateur, couplage
  analyse-synthèse)
• LSF,
• Linguistique étude des gestes co-verbaux
• Enseignement
• DESS SI Systèmes Intelligents (vision et
  interaction)
• DESS IIN Ingénierie de lImage Numérique
  IRR Intelligence artificielle,
  Reconnaissance des formes ,
  Robotique

30
CVG pourquoi ?
Analyse dimage-TCI

• Finalité Communication, Langue des Signes
• Opportunités
• Équipe TCI (synergie, masse critique)
• Vision , mouvement
• Compréhension
• IRIT (coopérations)
• Image (analyse et synthèse)
• CHM, analyse de la vidéo, indexation
• TALN (spatial), Dialogue
• Toulouse
• LSF fortes compétences (IRIS, Interpretis, UTM,
  WebSourd,)
• LAAS (geste)

31
CVG et analyse dimage
Analyse dimage-TCI

• Analyse
• Détection silhouette, visage, mouvement
• Segmentation
• Composants du visage, du corps
• Mouvement
• Reconnaissance
• Expressions (visage)
• Gestes
• Interprétation
• Mimiques faciales
• Gestes co-verbaux
• Signes (de la LSF)

32
Edition assistée par Traitement d Images
Analyse dimage IRIT-TCI
33
Analyse dimage dans les projets
Analyse dimage IRIT-TCI

• Système danalyse de la LSF
• Boris Lenseigne
• Projet LS-COLIN
• Action STIC Communication en LS
• Analyse des gestes co-verbaux
• Frédérick Gianni
• Action STIC interaction gestuelle
• Analyse des expressions du visage
• Hugo Mercier
• Projet avec WebSourd
• Saisie des formes graphiques de la LSF
• Guylhem Aznar, Sébastien Benoist
• ACI LSF - formes graphiques

34
Analyse dimage IRIT-TCI
Extraction du locuteur
- Comparaison avec une image de référence du
fond - Filtrage et traitement morphologique
35
Analyse dimage IRIT-TCI
Extraction des entités mains et visage
1. Extraction des zones de peau 2.
Identification des différentes régions par
critères de taille et de forme Mains, Visage
36
Analyse des mimiques faciales
Analyse dimage IRIT-TCI

• Détection du visage
• Suivi du visage ? méthode mean shift
• Modélisation du visage
• Etude des variations des composants

37
Représentation du mouvement par motifs temporels
Analyse dimage IRIT-TCI
tMHI Intensité pixel fonction de lhistorique
du mouvement
Détection des gestes symétriques par analyse de
limage tMHI
38
Détection des contours mobiles
Analyse dimage IRIT-TCI
Frontières des objets en mouvement
39
Suivi des éléments mobiles
Analyse dimage IRIT-TCI
40
Estimation 3D de la posture
Analyse dimage IRIT-TCI
Point 3D droite de projection ? sphère
41
Estimation 3D de la posture
Analyse dimage IRIT-TCI

• Filtrage des solutions
• Modèle géométrique du bras
• position 3D ? valeurs des articulations
• butées
• Mouvement
• hypothèse de continuité
• modèles différentiels (vitesse et accélération)

42
Estimation 3D de la posture
Analyse dimage IRIT-TCI
Reconstruction des trajectoires 3D des
articulations dun bras lors dun mouvement
43
Estimation 3D de la posture
Analyse dimage IRIT-TCI
Reconstruction des trajectoires 3D des
articulations dun bras lors dun mouvement
étude du bruit
44
Visualisationde lespacede signation
Analyse dimage IRIT-TCI
45
Visualisation de lespace de signation
Analyse dimage IRIT-TCI
46
Visualisation de lespace de signation
Analyse dimage IRIT-TCI
47
Système danalyse de locuteur signantCahier des
charges (1)
Analyse dimage IRIT-TCI

• Le système doit fournir
• des outils de TI permettant de segmenter des
  composants dun signe
• des outils de mesure
• des outils de reconnaissance (région?composant
  d un signe)
• des outils de structuration des composants

pour chaque image isolément
48
Cahier des charges (2)
Analyse dimage IRIT-TCI

• Le système doit fournir
• des outils de TI permettant la segmentation
  temporelle de la séquence
• des outils de mesure de la dynamique
• des outils de reconnaissance de trajectoires
• des outils de structuration des mouvements

pour la séquence d images.
49
Cahier des charges (3)
Analyse dimage IRIT-TCI
Remarque sur la reconnaissance et la structuration

• Les composants sont identifiables par
• leurs caractéristiques (main tâche de couleur
  peau taille forme)
• le contexte (objet qui touche la tête main)
• La méthode de reconnaissance nest pas unique
• Le choix de la méthode évolue au cours du temps

Système adaptatif - les objets ont une
définition unique - il n y a pas une
description discriminante
50
Cahier des charges (4)
Analyse dimage IRIT-TCI

• Contrainte ne pas limiter l espace des
  problèmes
• Le linguiste doit pouvoir exprimer ce quil
  cherche, au moment de l analyse
• Requêtes exprimées en termes d indices visuels
  dans le contexte courant

vidéo
Linguiste
Système
Problème de communication et de compréhension
entre 2 acteurs qui échangent des notions à
propos d images de la LS
51
Système
Analyse dimage IRIT-TCI
Interface linguiste
Interprète en termes du TI
pilote
Système intermédiaire
pilote
Observe et interprète
Séquence dimages de durée ?t (objet)
Configuration à un moment donné (?interp temps
d interprétation)
52

• Contacts
• Patrice.Dalle_at_irit.frIRIT-TCI UPS 118 route
  de Narbonne 31062 Toulouse cedex 4tel
  05-61-55-63-09http//www.irit.fr/ACTIVITES/EQ_TCI
  /
• Références
• LS-COLIN
• http//www.irit.fr/LS-COLIN
• Rapport final contact Patrice Dalle
• AS-IG
• http//www.irit.fr/AS-IG