Organisation perceptuelle de structures curvilignes

1
Organisation perceptuelle de structures
curvilignes

• Laurent Alquier
• Directeur de thèse
• Chabane Oussalah
• Professeur
• Responsable
• Philippe Montesinos
• Maître assistant

- UNIVERSITE MONTPELLIER II - - Thèse menée au
Laboratoire de Génie Informatique et
d Ingénierie de Production, Nîmes - - 30
Septembre 1998 -
2
Analyse d images
Construction d une représentation symbolique
Détection d indices visuels
Image Intensité
Image Contours
3
Perception visuelle

• Théories de la perception visuelle
• Flot d informations visuelles important
• Nécessité de guider la perception

4
Groupement perceptuel

• Principes
• Phénomène d organisation pré-attentive 
• Propriétés globales émergentes Saillance
• S impose à la perception avant interprétation
• Groupements élémentaires
• Principe de  bonne forme 
• Simplicité, fermeture, familiarité Stabilité
• Propriétés intéressantes
• Généricité, robustesse - Organisation qualitative
  

Références
Théorie Gestaltiste Wertheimer, Koffka - 1923
5
Plan de lexposé

• Introduction.
• Présentation globale.
• Groupement par réseaux de saillance.
• Niveaux supérieurs de groupement.
• Contributions et perspectives.

6
Objectifs

• Système complet d analyse d images
• Segmentation - hypothèses - interprétation
• Application de principes de psycho-vision
• Organisation perceptuelle de scènes complexes
• Restriction aux structures issues des contours
• Validation sur des images synthétiques
• Application à des images de scènes réelles
• But
• Extraire un ensemble déléments de représentation
• Rester ouvert aux besoins spécifiques
  dapplications futures

7
Vue densemble du système

• Détection de contours
• Trois niveaux de groupement
• Sélection des structures saillantes
• Extraction dhypothèses intermédiaires
• Organisation dhypothèses complexes
• Relations hiérarchiques entre hypothèses
• Application
• Détection de jonctions
• Mise en correspondance

8
Plan de lexposé

• Introduction.
• Présentation globale.
• Groupement par réseaux de saillance.
• Niveaux supérieurs de groupement.
• Contributions et perspectives.

9
Recherche de structures curvilignes

• But
• Isoler les contours les plus réguliers
• Compléter les discontinuités
• Extraire des structures stables

10
Groupement par saillance

• Principes
• Evaluer la qualité d un groupement éventuel
• Optimiser de cette fonction de qualité
• Mesure directe
• Champs d extension (Guy et Medioni, 1996)
• Champs stochastiques de fermeture (Williams et
  Jacobs, 1994)
• Approches par optimisation
• Réseaux de neurones (F. Mangin, 1994)
• Optimisation par recuit simulé (L. Hérault, 1991)
• Réseaux de saillance (Shashua et Ullman, 1989)

11
Réseaux de saillance
12
Réseaux de saillance (2)

• Choix dune primitive de groupement
• Définition de ses attributs
• Définition dun voisinage local
• Réseau de primitives localement connectées
• Fonction de qualité pour un groupement
• Evaluation de la compatibilité entre primitives
• Fonctions  extensibles 
• Mesure de saillance
• Qualité du meilleur groupement

13
Définition du voisinage

• Relations entre primitives.
• Primitives reliées entre elles par un élément de
  connexion
• Critères de proximité et compatibilité
• Méthode adaptée à des structures curvilignes
• Importance du voisinage.
• Initialise loptimisation du réseau
• Détermine la taille du réseau
• Influence sur la qualité des groupements

14
Fonction de qualité

• Critères de régularité
• Proximité, continuité, similarité
• Formalisme
• Combinaison linéaire de contraintes antagonistes
• Relations  internes 
• Propres aux groupement recherchés
• Relations  externes 
• Imposées par l image de contours

15
Mesure de saillance

• Ecriture récursive
• On suppose que la fonction F est  extensible 

• Définition formelle de la saillance
• Meilleure somme des fonctions de qualité d un
  groupement selon deux directions.

16
Mesure de saillance (2)

• Exemple d écriture récursive
• Terme local
• Contributions des voisins

• Optimisation itérative
• Recherche des meilleurs voisins
• Mise à jour des contributions

17
Mesure de saillance (2)

• Propriétés
• Mesures locales - Optimisation globale
• Elimination des discontinuités
• Carte de saillance
• Groupement possible par suivi des connexions
• Un seul groupement optimal par primitive

18
Mesure de saillance (3)

• Application
• Groupement de pixels
• Voisinage fixe
• Calculs lourds
• Optimisation lente
• Groupement de chaînes de pixels
• Voisinage adaptatif
• Complexité réduite
• Optimisation rapide

19
Intérêt du groupement
Groupement de chaînes
Chaînage classique
20
Détection de groupes saillants
21
Groupements élémentaires

• Classes de groupements
• Point de départ le long d une même structure
• Phénomène  d attraction 
• Critères dévaluation
• Saillance locale
• Saillance globale ( somme des saillances des
  primitives )
• Accumulation de votes
• Sélection
• Seuillage par rapport aux critères

22
Groupements élémentaires (2)
23
Plan de lexposé

• Introduction.
• Présentation globale.
• Groupement par réseaux de saillance.
• Niveaux supérieurs de groupement.
• Groupements intermédiaires
• Groupements complexes et application
• Contributions et perspectives.

24
Groupements intermédiaires

• Hypothèses structurelles
• Parties rectilignes Segments
• Parties courbes Arcs
• Points particuliers Jonctions, points
  dinflexion, coins
• Principes d extraction
• Détection à partir de chaque groupement
  élémentaire
• Paramètre d échelle, sensibilité
• Agglomération des hypothèses primaires
• Critère de similarité - élimination des
  redondances

25
Groupements intermédiaires (2)

• Eléments de représentation symboliques de la
  scène.
• Ensemble dhypothèses
• Part d'ambiguïtés et derreurs
• Redondances tolérées
• Problèmes à résoudre
• Discrétisation
• Structures de taille différentes dans une même
  scène
• Conséquence des groupements élémentaires
• Superposition de groupements semblables
• Critères de régularité insuffisants (occlusions
  et jonctions)

26
Hypothèses de segments
Groupements saillants
Découpage récursif (écart Es)
Segments élémentaires
Fusion de segments similaires (longueur,orientati
on)
Points d intérêt
Segments groupés
27
Segments (avant groupement)
28
Segments ( après groupement )
29
Hypothèses d arcs
Groupements saillants
Découpage selon extrema de courbure (échelle Ea)
Classes d arcs élémentaires
Fusion d arcs similaires (classe,superposition)
Points d intérêt
Arcs groupés
30
Arcs ( après groupement )
31
Points d intérêt
32
Plan de lexposé

• Introduction.
• Présentation globale
• Groupement par réseaux de saillance.
• Niveaux supérieurs de groupement.
• Groupements intermédiaires
• Groupements complexes et application
• Contributions et perspectives.

33
Groupements complexes

• Exemple dapplication
• Extraction de jonctions multiples
• Mise en correspondance de jonctions
• Intérêt des jonctions
• Information structurelle riche
• Position du centre, orientation des branches
• Mise en correspondance robuste
• Localisation précise a posteriori
• Difficiles à obtenir
• Altérations dues au détecteur de contours
• Peu de travaux sur le groupement de jonctions

34
Groupement de jonctions
Segments
Points
Intersections deux à deux
Confirmation du centre
Détection de jonctions doubles
Groupement de jonctions doubles (proximité des
centres, branches similaires)
Jonctions multiples
35
Détection de jonctions doubles
36
Groupement de jonctions multiples
37
Mise en correspondance

• Principe
• Etiquetage cohérent entre deux ensembles de
  jonctions

• Nécessite
• Mesure de comparaison directe entre jonctions
• Mesure de déplacement (transformation)
• Entre deux images
• Dans une même image
• Comparaison conditionnelle

38
Mise en correspondance (2)

• Méthode en deux étapes
• Appariement temporel
• Elimination des appariements improbables
• Appariement spatial
• Elimination des groupements improbables
• Propriétés
• Appariement en tant que groupement perceptuel
• Admet des écarts importants entre images
• Renforcement mutuel de deux types de groupements

39
Mise en correspondance (3)
40
Mise en correspondance (4)
41
Plan de lexposé

• Introduction.
• Présentation globale.
• Groupement par réseaux de saillance.
• Niveaux supérieurs de groupement.
• Contributions et perspectives.

42
Contributions

• Réseaux de saillance
• Formalisme générique
• Généralisation au groupement de chaînes
• Fonction de qualité plus souple
• Optimisation plus stable
• Choix des meilleures connexions
• Critères de groupement
• Sélection des structures les plus saillantes

Références
Shashua et Ullman, 1991 - Alter et Basri, 1997
43
Contributions (2)

• Groupement dhypothèses
• Segments
• Arcs
• Points dintérêt
• Approche modulaire
• Stratégie de groupement générique
• Modules spécialisés
• Hypothèses selon une échelle donnée
• Utilisation de nombreuses images réelles

Références
Mohan et Nevatia, 1992 - Sarkar et Boyer, 1993 -
Gao et Wong, 1993
44
Contributions (3)

• Organisation perceptuelle de jonctions
• Détection de jonctions élémentaires
• Groupement en jonctions multiples
• Mise en correspondance structurelle
• Couplage entre groupement perceptuel et
  appariement

Références
Matas and Kittler, 1993 - Chang and Aggarwal, 1997
45
Résultats

• Résultats stables
• Paramètres génériques pour des classes dimages
• Robuste en cas de perturbations
• Temps raisonnables sur systèmes usuels
• Exemple typique (ordres de grandeur)
• PC - Pentium 100 - 65 Mo RAM
• Image 800x600 pixels
• 500 chaînes environ
• Etape de groupement par saillance 30s
• Temps de calcul global 5 min

46
Application Scènes d extérieur
47
Application Imagerie satellitaire
48
Mise en correspondance
49
Mise en correspondance
50
Prolongements à court terme

• Groupement dobjets génériques
• Evaluation quantitative des résultats
• Résultats qualitatifs uniquement
• Nombreux paramètres à régler
• Définition empirique pour linstant
• Validation automatique des hypothèses
• Détection multi-échelle
• Mise en correspondance hiérarchique
• Approche descendante

51
Perspectives

• Intégration avec d autres indices visuels
• Attention visuelle et suivi

Références
Laurent Iti, 1997 Caltech - Roch et Ullman, 1985
52
Perspectives (2)

• Aide à l indexation automatique de modèles
• Graphes d aspect - Pope et Lowe, 1996