Indexation vido Indexation multimdia

1
Indexation vidéoIndexation multimédia
Analyse Extraction
Index
Documents
Structuration Représentation
Visualisation Exploration
Recherche Filtrage
Interrogation Requêtes
2
Indexation multimédia
Moteur d'instanciation automatique
Base de Données
3
SAMoVA

• Analyse audio

Jérôme Fariñas, Julien Pinquier, Jean-Luc Rouas
4
SAMoVA

• Texte dans une vidéo
• Quantification de couleurs
• Etiquetage des régions
• Heuristiques sur les dimensions et les positions
  des zones de texte
• Heuristiques sur lalignement des zones de texte

Hae-Kwang Kim Bassem Haidar
5
SAMoVA
MILLIONS de francs   AIAMER

• Texte dans une vidéo

6
SAMoVA

• Texte dans une vidéo

7
SAMoVA

• Texte dans une vidéo
• Chaînage
• Filtrage
• Transcription (OCR)
• Analyse statistique
• Analyse linguistique

8
SAMoVA

• Trajectoire
• Mean Shift maximisant le coefficient de
  Battacharyya

Gaël Jaffré
9
Indexation vidéo

• Paramètres de la production audiovisuelle
• Projet ITEA KLIMT
• Costume
• Identification
• Fonction
• Cadrage
• Décors
• Eclairage

Gaël Jaffré
10
SAMoVA

• Mouvement du corps humain
• Différence et filtrage
• Localisation
• Distance
• Appariement

Thomas Fourès
11
SAMoVA

• Mouvements du corps humain
• Projets ITEA KLIMT ROBEA GdansC
• Appariement dun modèle hiérarchique
• Contraintes
• Description XML

12
SAMoVA
13
Indexation vidéo

• Mouvements du corps humain

ltMotion Id "1"gt ltStart_Timegt0.5lt/Start_timegt lt
End_Timegt1lt/End_timegt ltLeft_Arm
vertical"Down"/gt ltLeft_Weight vertical
"Center"gt ltRight_Weight vertical"Center"gt ltRigh
t_Arm vertical"Down"/gt lt/Motiongt ltMotion
Id"2"gt ltLeftArm vertical "Center" horizontal
"Front"/gt ltRightArm vertical "Center"
horizontal "Front"/gt lt/Motiongt
14
Indexation multimédia

• Formalismes descriptifs
• Pour la production audiovisuelle
• Indexation
• Costume, éclairage, cadrage, décors, objet sonore

Segmentation
Caractérisation
Interprétation
Minh Phung Bui Thi
15
Indexation multimédia

• Formalismes descriptifs
• Pour la production audiovisuelle
• Indexation
• Costume, éclairage, cadrage, décors, objet sonore

Interprétation
Caractérisation
Segmentation
Minh Phung Bui Thi
16
Indexation multimédia

• Formalismes descriptifs

Signe (Pierce)
Objet sémantique
Types (costume, décor, montage, )
Representamen Syntaxe
Formes possibles, caractérisations
Interpretant Pragmatique
17
Indexation multimédia

• Formalismes descriptifs XML
• Expression de relations conceptuelles
• Explicitation des mécanismes dhéritage
  XML-Schema pour désambiguïser linterprétation
• Compactage des descriptions (Bin-XML)

Claude Seyrat
18
Indexation multimédia
Siba Haidar
19
Indexation multimédia

• Macrosegmentation
• Typologie de lévolution des caractéristiques
  bas-niveau AV
• Identification dinvariants de production
• Distances de similarité

Siba Haidar
20
Indexation transmédia

• Interventions
• Segmentation en locuteurs
• Détection/identification des visages

Jean-Pierre Desmoulins
21
Indexation transmédia

• Leitmotivs
• Détection des jingles
• Détection des logos

Jérôme Louradour
22
Indexation multimédia

• Plateforme dindexation multimédia dynamique
• Projet ITEA KLIMT
• Service dindexation externalisation des
  applications
• Chaînage dynamique typage des échanges (MPEG-7)
• Gestion dynamique des ressources déclaration
  contrôle de cohérence

Bassem Haidar
23
Indexation multimédia

• Plateforme dindexation multimédia dynamique

Application
24
Indexation multimédia

• Plateforme dindexation multimédia dynamique

25
Indexation multimédia

• Plateforme dindexation multimédia dynamique
  (Chaînage KLIMT)

english LVCSR (TRT)
Topic detection and tracking(TRT)
Speech/Music segmentation(IRIT)
Language identification(TRT IRIT)
french LVCSR (IRIT)
26
Projets en cours

• Recherche Automatique dInformations Verbales Et
  Sonores  vers lextraction et la structuration
  de données radiophoniques sur Internet (programme
  Interdisciplinaire Société de linformation
  CNRS)
• KnowLedge InterMediation Technology(projet
  Information Technology for European Advancement)
• Framework dExpérimentations et de Réalisation
  Industrielle dApplications multimédia (projet
  RIAM, Equipe SIG )
• GdansC (Projet Robea CNRS)
• AS STIC Indexation Multimédia transmodalité et
  gestion des connaissances
• AS Question du geste dépendant des pratiques
  artistiques du RTP ArtiStic