Shape recognition

1
Partie I Estimation de mouvement par ondelettes
spatio-temporelles adaptées Partie II
Segmentation bayésienne par modèle de
Potts-Markov dans le domaine des ondelettes
2
Plan Partie I

• Partie I Estimation de mouvement (E.M.) par
  ondelettes spatio-temporelles.
• Etat de l'art Compression vidéo et EM.
• Création dondelettes adaptées au mouvement et
  E.M. fondée sur des trajectoires.
• Comparaison avec le calcul rapide du flot optique
  C. Bernard, S. Mallat
• Conclusion.
• Partie II Segmentation dimage et de séquence
• Présentation du problème de segmentation
• Classification bayésienne dans le domaine des
  pixels. Modèle de Potts-Markov
• Segmentation incrémentale dune séquence vidéo
• Projection et classification dans le domaine des
  ondelettes par modèle de Potts avec voisinage
  dordre 2.
• Conclusion générale

3
Estimation de mouvement (EM). 1/2

• Correspondance de blocs (BM, Block-Matching)

4
Lestimation de mouvement (EM). 2/2

• Approche classique
• Codage spatial DCT (MPEG) ou Hadamard (H264)
• Codage temporel (EM estimation de mouvement) par
  correspondance de blocs (BM, block-matching) et
  estimation par simples vecteurs de mouvement
  entre deux trames.
• Approches actuelles par transformées en
  ondelettes (TO ou WT)
• Filtrage "post-compensation du mvt" avec des
  ondelettes (Haar) Guillemot, TEMICS
• Compression 2DT avec compensation mouvement et
  lifting Woods
• Calcul rapide de flot optique par projection et
  résolution des équation du flot sur une base
  orthogonale Bernard, Mallat
• Notre approche par CWT (continuous WT) 2DT
  adaptée mouvement "MTSTWT , Motion-tuned
  spatio-temporal wavelet transform"
• Quantification des paramètres de mouvement par
  ondelettes adaptées à des transformations
  étendues.
• Schéma d' EM et prédiction fondé sur
  l'identification des trajectoires d' objets,
  calculées à partir des paramètres de mouvement et
  dun modèle de trajectoire (par ex. polynome
  dordre 5 ...), sur plusieurs trames.

5
Détection de vitesse dans le domaine spectral
y
3 vitesses horizontales 1, 3, 10 pix/fr.
x
2 vitesses verticales 1, 3 pix/fr.
Détection dans Fourier 3 pentes pour 3
vitesses différentes
6
Analyse du mouvement par ondelettes propriétés

• Propriété 1 La transformation A-1 subie par un
  signal 2D peut être transférée à londelette.

Intérêt de construire des ondelettes adaptées à
diverses transformations.

• Propriété 2 Le spectre dun objet en mouvement
  est décalé dans la direction du vecteur donde
  temporel. La valeur du décalage correspond à la
  vitesse v0 de lobjet en mouvement.

objet statique
objet à vitesse constante
7
Groupe de transformations
Représentations spectrales sur enveloppe de
Morlet
Les opérateurs suivants sappliquent à
londelette M. Duval-Destin, A. Grossman, R.
Murenzi 93 , Leduc,Mujica, Murenzi, Smith 00,
J.P. Antoine, R. Murenzi, P. Vandergheynst,
S.T.Ali 04.
C1

• Translation spatio-temporelle

Chgt. déchelle

• Changement déchelle spatio-temporelle

• Rotation spatiale

rotation

• Adaptation à la vitesse

Vitesse
8
Transformations appliquées à londelette de Morlet

• Ondelette de Morlet 2DT dans le domaine
  spatio-temporel (direct).

• Ondelette spectrale adaptée aux paramètres g

9
Sélectivité, séparabilité et transformée
spectrale finale

• Paramètre de sélectivité e
• On cherche à renforcer l'anisotropie de l'
  ondelette de Morlet, , donc sa sélectivité dans
  une direction,.

• Séparabilité en trois ondelettes spectrales

• Relation finale de la transformée
  spatio-temporelle adaptée au mouvement, dans le
  domaine de Fourier

10
Algorithme spectral, séparable, de la MTSTWT
Séquence dorigine
Définition dune ondelette 2DT adaptée (Morlet
ici) séparable
FFT 3D globale
Choix des paramètres danalyse (famille
dondelettes)
Convolution séparable dans Fourier
IFFT 3D globale

• 3 ondelettes
• 2 spatiales
• 1 temporelle

Résultat analysé dans lespace direct
11
MTSTWT sur la séquence tennis
Détection de mvt Segmentation de mvt

• Séquence 360 ? 240? 30 frames, 8 bits.
• MTSTWT spectrale adaptée à la vitesse.

Résultat détection des différentes vitesse
(balle, bord de table en zoom arrière) 10ms/trame
Affichage 6ms/trame
12
Résultats et comparaison avec le calcul rapide du
flot optique C. Bernard, S. Mallat

• 1) Complexité algorithmique de la MTSTWT
• O( N3LogN ) avec N m ? n ? k, la taille de la
  séquence .
• ajouter une IFFT3D par paramètre de vitesse si
  lanalyse est réalisée dans le domaine direct.
• Effectuer la FFT3D de la séquence avant analyse
  spectrale par la MTSTWT.
• 2) Vitesse de calcul
• MTSTWT (spectrale) avec 3 ondelettes adaptées
  à 3 vitesses (3, 6, 10 pixels/fr) sur un bloc
  360?240?8 (séquence Tennis )
• TM 1200ms (sur un Xeon bi-processeur à 2.4gHz).
• En ajoutant les 3 FFT3D inverses (380ms) pour
  chaque vitesse, on obtient
• TMtot 2400ms, à la plus haute résolution.
• Calcul du flot optique C. Bernard entre deux
  trames de la même séquence et pour 4 résolutions
  différentes
• TF 10 secondes (sur le même processeur Xeon).

13
Schéma d'une EM basée sur l'identification de
trajectoire
Uncompressed Image sequence (space-time domain)
Object kinematic and affine parameters.
size m n
Object segmentation Motion or static image
based segmentation
Fast object trajectory Identification Fliess et
al.
A priori trajectory model (Spline, Polynomial)
k
MTSTWT Duval-Destin, Murenzi, Antoine
Motion estimation from the computed trajectory
Incoming publication
Compressed Image sequence (space-time domain)
Energy maximization and parameters extraction
Brault P. , IEEE-ISSPIT03
14
Conclusion for MTSTWT and object identification
in compression and scene analysis

• Contribution personnelle
• Utilisation d'une transformée en ondelettes
  redondantes 2DT utilisant un groupe de
  transformations étendu pour la quantification et
  l'estimation du mouvement dans une séquence vidéo
  1,2.
• EM objet fondée sur l'identification d'une
  trajectoire 3.
• Perspectives améliorations de l'algorithme de la
  MTSTWT 4
• Ondelettes adaptées à la détection d'objets
  (contours) et moins oscillantes que Morlet
  (Splines, dérivées de gaussiennes )
• Calcul de la transformée dans l'espace direct
  (code testé) ou analyse dans l'espace de Fourier
  afin d'éviter les transformations du domaine
  direct vers spectral et réciproquement (FFT ?
  IFFT)
• Réduction de la taille du noyau de convolution
  (longueur du filtre).
• Utilisation d'un algorithme de transformation
  continue ("Algorithme à trous") Tchamitchian et
  al.

• Publications
• - Brault P.,  WSEAS Transactions on
  Mathematics, 2003.
• - Brault P. and Vasiliu M., WSEAS Transactions
  on Communications, 2003.
• - Brault P., IEEE- ISSPIT, Darmstadt, dec.
  2003.
• - Brault P., WSEAS Transactions on Electronics,
  2004.

15
Plan Partie II

• Partie I Estimation de mouvement (E.M.) par
  ondelettes spatio-temporelles.
• Etat de l'art Compression vidéo et EM.
• Création dondelettes adaptées au mouvement et
  E.M. fondée sur des trajectoires.
• Comparaison avec le calcul rapide du flot optique
  C. Bernard, S. Mallat
• Conclusion.
• Partie II Segmentation dimage et de séquence
• Modèle de markov caché et segmentation bayésienne
  dans le domaine des pixels
• Segmentation incrémentale dune séquence vidéo
• Projection et classification dans le domaine des
  ondelettes par modèle de Potts avec voisinage
  dordre 2.
• Conclusion générale

16
Approche bayésienne de la segmentation(BPMS
Bayesian Potts-Markov segmentation)

• première hypothèse

• seconde hypothèse

• modélisation markovienne
• et voisinage dordre 1

• champ de Potts-Markov

17
A posteriori, estimation et approximation par MCMC

• Paramètres des lois a priori
• (segmentation non-supervisée)

• Hyperparamètres loi conjuguées
  Snoussi,Djafari02

Hyper-hyperparamètres

• Distribution a posteriori (Bayes)

Evidence E(g)

• On recherche une solution au sens du MAP
  plusieurs méthodes
• Optimisation solution explicite (gaussienne)
  ou gradient (loi unimodale) ou Recuit (loi
  multimodale)
• Intégration de E(g) Approximation de Laplace
  (cas unimodal) ou méthodes MC ou MCMC

Solution par approximation méthode de type
Markov Chain Monte-Carlo (MCMC) Application de
la loi faible des grands nombres nécessité d'un
échantillonneur pseudo-aléatoire.
18
Echantillonnage, estimation MAP et MCMC

• Mise en  parallèle  par réduction à deux
  sous-ensembles

• Échantillonneur de Gibbs.
• n itérations pour chaque site r(i,j).

• Génération de N échantillons

• Estimateur de la loi, et des paramètres, calculé
  après un "temps de chauffe"  de L échantillons

Moyenne a posteriori (PM)
Maximum a posteriori (MAP) ou mode.
19
Segmentation bayésienne de séquences et E.M.

• Segmentation incrémentale (utilisant la
  corrélation entre trames) par la méthode BPMS
  (domaine direct)
• Segmentation de la trame (n) basée sur la
  segmentation de (n-1)
• Segmentation de la trame 1 avec un gd nombre N
  d'itérations. Puis N est réduit poru les
  suivantes.

tr2
tr1
tr1
tr2
tr1
tr6
tr2
tr6
2) Segmentation avec K4. iter(1)20, iter(26)6
3) Itérations entre 2 trames 1 et 2 convergence
atteinte à la 4ème itération

• 1) Séquence originale 320?240 ? 6

• Calcul du vecteur mouvement pour une région ou un
  objet (masse en pixels cte )

4) Deux trames successives (1 et 2) On
sélectionne la classe correspondant à la balle
5) Calcul du déplacement sur le centroïde de
lobjet, caractérisée par sa  masse  (nbre de
pixels de même classe).
20
Propriétés statistiques des coefficients
dondelettes

• Transformée orthogonale (OWT)

Histo. des coeffs dondelettes dj 2
gaussiennes (K2 classes)
Image originale
Histo. de limage riginale et des coeffs.
déchelle aJ
OWT 2 échelles

• Décomposition multirésolution
• Classification en 2 classes K2, des
  coefficients dondelette.

21
Modélisation dans le domaine des ondelettes

• Nouvelle expression du champ de Potts_Markov
  (PMRF) prenant en compte les orientations
  privilégiées des ss-bandes dondelettes

• Etapes de lalgorithme
• La segmentation est effectuée dabord sur la
  ss-bande dapproximation aJ à léchelle la plus
  grande 2J.
• La segmentation de la ss-bande dondelettes dJ
  est initialisée par les discontinuités de la
  ss-bande aJ.
• Par application de la propriété énoncée, les
  ss-bandes dondelettes sont segementées en K2
  classes.
• Les segmentations des ss-bandes d H,D1,D2,V (j-1)
  sont initialisées par les segmentation à
  léchelle j précédente.

22
Algorithme de segmentation dans le domaine
ondelettes
jJ-1
jJ
j0
23
Exemple de segmentation WBPMS

• 1) Image test synthétique mosaïque texmos512
  bruit

a) Mosaïque 1024x1024, 8bits
c) Histogramme de la mosaïque bruitée

• 2) Exemple Segmentation de la mosaïque de test
  sur J 2 niveaux

Décomposition sur J2 niveaux puis
Segmentation aJ
Filtrage et segmentation finale
Segmentation de toutes les sous-bandes aJ /dj
Histogramme après reconstruction

• 3) Performances de la segmentation WBPMS

24
Conclusion et perspectives

• I) Estimation de mouvement par ondelettes
  spatio-temporelles
• Quantification du mouvement par ondelettes
  continues (CWT) et groupe de transformations
  étendu.
• Schéma d' estimation de trajectoires d'objets
  visant à une compression  contextuelle  de la
  scène donc plus efficace.
• Perspectives EM objet, multirésolution et
  robuste, éventuellement associée à une
  segmentation bayésienne ou autre (Partie II).
• II) Segmentation et EM par modèle de Potts-Markov
  dans les domaines direct et ondelettes.
• Accélération de la segmentation de séquences par
  segementation incrémentale
• EM de régions, ou objets, basé sur le
  déplacement du centre de masse.
• Accélération de la segmentation image par
  projection dans le domaine des ondelettes
  orthogonales (OWT) .
• Perspectives EM post-segmentation fondée sur
  l'analyse du centre de masse et aussi la
  trajectographie.
• Publications partie II
• - Brault and Djafari.,  WSEAS Transactions on
  Mathematics, 2005.
• - Brault and Djafari, MaxEnt05-AIP, Darmstadt,
  2005.
• - Brault and Djafari, Colloque Bouyssy (sans
  actes), 2005.
• - Brault and Djafari, Journal of Electronic
  Imaging, 2005.