Vers une plateforme dannotation multimodale

1
Vers une plateforme dannotation multimodale

• Philippe BLACHE
• Roxane BERTRAND
• LPL CNRS
• Université de Provence
• Aix-en-Provence

2
Situation

• Des données primaires
• Corpus audio
• Corpus vidéo
• Lobjectif
• Description des différents domaines linguistiques
• Prosodie, phonologie, morphologie, syntaxe,
  pragmatique, etc.
• Description de linteraction entre ces différents
  domaines
• Les problèmes
• Description de chaque domaine
• Synchronisation entre les descriptions

3
La constitution de ressources multimodales

• Spécification des annotations dans chacun des
  domaines
• IPU, transcription phonétique, cibles tonales,
  catégories morphosyntaxiques, etc.
• Outils daide à lannotation automatique
• Phonétisation/alignement, modélisation des
  courbes mélodiques, codage symbolique des cibles
  tonales (Intsint), étiqueteur, parseur
• Travail de mise en relation des différentes
  annotations
• Etude théorique
• Développement doutils, de scripts

4
Transcription et annotations sur lécrit

• Transcription orthographique (/- enrichie)
• Annotation morpho-syntaxique
• Etiqueteur désambiguïseur associer à chaque mot
  une série dinformations morphologiques et
  syntaxiques
• Annotation syntaxique

Exemple littéraire
5
Exemple signal et transcription
6
Phonétisation et alignement

• Production de la suite de phonèmes
• Tokenisation
• Suite de phonèmes codée en SAMPA
• ALignt (aligneur du Loria)
• Entrée liste des phonèmes signal audio
• Localisation temporelle de chaque phonème sur le
  signal
• Ces 2 niveaux servent de référence aux autres
  niveaux et permettent leur mise en relation
  temporelle

7
Signal, phonétisation et alignement
8
Correction alignement automatique   un rêve
tu vois cest euh 
Alignement LORIA
Correction manuelle
9
Correction alignement automatique   le grand
blond la chaussure 
Alignement LORIA
Correction manuelle
10
Annotation prosodique phrasing
11
Annotation multiniveaux
12
Annotation des signaux back channels
13
(No Transcript)
14
Annotation gestuelle
15
Quelques requêtes

• Q0 Les pauses intervenant au milieu dune unité
  syntaxique
• Structures  syntaxe, prosodie
• Q1 Les gestes déictiques associés à un pronom
• Structures  gestuel, morphosyntaxe
• Q3 Les SN agents extraits avec une montée
• Structures  syntaxe, sémantique, prosodie
• Q4 Les backchannels de L1 chevauchant un
  référentiel sujet de L2
• Structures pragmatique, syntaxe, prosodie

16
Les problèmes
17
Non alignement
18
Les relations

• Les relations syntaxiques
• Elles relient des groupes
• Elles ne correspondent pas à des unités
• Elles peuvent être distantes
• Les relations sémantiques
• Même problème que pour les relations syntaxiques
• De plus, les objets sémantiques ne sont pas
  ancrés univers du discours

19
Ancrage des objets
20
Interaction entre les domaines
21
Exemple dinteraction
22
Conclusion

• Importance des corpus multi-structurés
• Etude de la parole naturelle, en contexte
• Etude des interactions entre les domaines
• Intérêt dune chaîne de traitement
• Aide à la création de corpus annotés
• Possibilité de constituer des corpus importants
• Homogénéisation des formats de sortie
• Difficultés
• Standardisation de lencodage
• Synchronisation, ancrage
• Requête