Prsentation PowerPoint

1
AFIG 2001
Modélisation de cheveux à partir dimages par
étude des variations dapparence en fonction des
conditions déclairage
Stéphane Grabli
François Sillion
iMAGIS est un projet commun CNRSINPGINRIA-UJF
2
But

• Acquérir un modèle 3D des cheveux dun sujet
  spécifique à partir de photographies.

3D
3
Plan

• Introduction
• Etat de lart
• Illustration de la méthode
• Résultats
• Conclusion

4
Motivations

• But maquette virtuelle dun individu en vue
  dun rendu interactif permettant lidentification
  visuelle
• Applications visioconférence, jeux vidéos

www.cyberware.com
Shag Hair de Digimation (pour 3DS-Max)www.digimat
ion.com
5
Problématique

• Complexité de la géométrie des cheveux (échelle,
  nombre)
• Echec des techniques classiques de numérisation
  3D
• Problème non résolu

6
Approche choisie

• Etude de la réflectance, sur des images, pour en
  extraire la géométrie
• Sujet fixe, point de vue fixe et source
  lumineuse mobile.

7
Plan

• Introduction
• Etat de lart
• Illustration de la méthode
• Résultats
• Conclusion

8
Etat de lart

• Modélisation de cheveux à partir dimages
• modélisation géométrique dun volume de cheveux
  MN

9
Etat de lart

• Modèle déclairement du cheveu
• Kajiya, Kay KK89
• Goldman Gol97

10
Plan

• Introduction
• Etat de lart
• Illustration de la méthode
• Résultats
• Conclusion

11
Acquisition des données

• Contrôle et connaissance des positions de caméra
  et de lumière
• Système dacquisition de Stanford
• Précision au pixel méthodologie
• Sujet perruque

12
Méthode
Construction de mèches 3D
Construction dun masque de vecteurs pour la
séquence
Reconstruction 3D des vecteurs
Extraction des directions de mèches dans chaque
image
13
Méthode
Construction de mèches 3D
Construction dun masque de vecteurs pour la
séquence
Reconstruction 3D des vecteurs
Extraction des directions de mèches dans chaque
image
14
Extraction des directions de mèches dans chaque
image

• Dans 1 pixel 1 mèche
• Extraction de la direction de cette mèche

15
Extraction des directions de mèches dans chaque
image
16
Méthode
Construction de mèches 3D
Construction dun masque de vecteurs pour la
séquence
Reconstruction 3D des vecteurs
Extraction des directions de mèches dans chaque
image
17
Construction dun masque de vecteurs pour la
séquence
Pixel p
t0, t1, ..., tn
18
Construction dun masque de vecteurs pour la
séquence
Pixel p
bruit
19
Construction dun masque de vecteurs pour la
séquence

• 1er test nombre de vecteurs de la collection

NON
OUI

• 2ème test variance en angle des vecteurs

NON
20
Construction dun masque de vecteurs pour la
séquence
21
Méthode
Construction de mèches 3D
Reconstruction 3D des vecteurs
Extraction des directions de mèches dans chaque
image
22
Génération des vecteurs 3D candidats
t
Centre optique de la caméra
Image
23
Génération des vecteurs 3D candidats
t
Plan TT
Centre optique de la caméra
Image
24
Génération des vecteurs 3D candidats
t
Plan TT
Vecteurs 3D candidats
Centre optique de la caméra
Image
25
Les profils de pixel mesurés

• Informations de réflectance sur T

p
Profil de pixelmesuré(courbe RGB)
p
p
255
n
1
0
0 1 2 ...
n
0
0 n
26
Synthèse des profils de pixel théoriques

• Idée Pour chaque pixel, - synthétiser des
  cartes de réflectance pour les vecteurs 3D
  candidats - comparer avec la carte de
  réflectance mesurée

27
Etude de corrélation

• Pb ombre mesurée mais pas modélisée
• 2 solutions - compléter le modèle (Ban94,
  Gol97)
• - tronquer les mesures

28
Etude de corrélation

• Comment mesurer cette corrélation ?
• Introduction dune fonction dénergie
  Edist

29
Election et mesure de confiance

• Choix du minimum des Edist
• Cas OK

30
Election et mesure de confiance

• Cas problématiques

(3)
(1)
Coefficient de confiance
(2)
31
Election et mesure de confiance
32
Affinage du masque de vecteurs 3D
33
Méthode
Construction de mèches 3D
Extraction des directions de mèches dans chaque
image
34
Construction de mèches

• Dans lespace image
• Méthode inspirée des contours adaptatifs

35
Construction de mèches

• Masque de vecteurs 3D mèches 2D -gt mèches 3D

36
Plan

• Introduction
• Etat de lart
• Illustration de la méthode
• Résultats
• Conclusion

37
1 séquence dimages
38
plusieurs séquences dimages
39
Plan

• Introduction
• Etat de lart
• Illustration de la méthode
• Résultats
• Conclusion

40
Conclusion

• Contributions - Nouvelle approche du problème
  de lacquisition de modèle 3D de cheveux -
  Résultats répondent à notre attente
• Limitations - positionnement des vecteurs de
  cheveux 3D approximatif
• Travaux futurs - Analyse géométrique (MN)
  couplée à létude de la réflectance - Modèle
  rendu interactif

41
Merci... Questions ?
42
Synthèse des profils de pixel théoriques

• Idée Pour chaque pixel, - synthétiser des
  cartes de réflectance pour les vecteurs 3D
  candidats - comparer avec la carte de
  réflectance mesurée

• Paramètres du modèle - T, L , E

connu
dépendent de P
43
Synthèse des profils de pixel théoriques

• Idée Pour chaque pixel, - synthétiser des
  cartes de réflectance pour les vecteurs 3D
  candidats - comparer avec la carte de
  réflectance mesurée

• Paramètres du modèle - T, L , E

connu
dépendent de P
44
Synthèse des profils de pixel théoriques

• Approximation Ellipsoïde pour simuler la
  surface descheveux.
• P intersection (Ellipsoïde, rayon p-gtoeil)

45
Etat de lart
Représentations

• Représentations explicites

WS92 utilise un prisme trigonal pour modéliser
un cylindre
VW97 An Interactive fur modeling techniqueA.V.
Gelder, J. Wilhelms
46
Etat de lart
Représentations

• Représentations alternatives - Texels
  KK89, MN98, Len00a, Len00b

Len00b Real-time fur over arbitrary
surfaces,Jed Lengyel
MN98 Interactive volumetric textures, A.
Meyer, F. Neyret
47
Etat de lart
Représentations
Len00b Real-time fur over arbitrary surfaces,
Jed Lengyel
KK89, Rendering fur with three dimensional
textures, J.T.Kajiya T.L.Kay
48
Etat de lart
Remarque

• Algorithmes issus du  Shape from Shading non
  applicables
• Shape from Shading (Artificial Intelligence
  Series) par Berthold K.P. Horn, Michael J.
  Brooks

http//www.eerie.fr/vision/alquier/Work/shape.htm
l
49
Notre méthode
Extraction des directions de mèches dans chaque
image

• Filtre de Sobel horizontal

• Filtre de Sobel vertical

-1 -2 -1 0 0 0 1 0 1
-1 0 1 -2 0 2 -1 0 1
50
Reconstruction 3D des vecteurs
Synthèse des profils de pixel théoriques

• Implémentation algorithme k-mean
• Particularité regroupement dans lespace TLS,
  en utilisant L, calcul des nouveaux centres dans
  lespace RGB

51
Résultats
52
Reconstruction 3D des vecteurs
Synthèse des profils de pixel théoriques

• Ks, Kd liés aux couleurs du matériau
• Extraction de 3 couleurs sur la séquence
  diffus, spéculaire, ombre - Segmentation sur
  chaque image - Moyennes

53
Etude de corrélation

• Edist Eextrema Eshape

Ke x (\x1 x2\)r

• Eextrema si on a 1 maximum de part et dautre
  (x1 et x2 leurs abscisses)

54
Etude de corrélation

• Edist Eextrema Eshape

fm(x) ft(x) dx
Iv

• Eshape mesure lamplitude moyenne de lécart
  entre les deux courbes fm(x) et ft(x)

55
Election et mesure de confiance

• Choix du minimum des Edist
• Cas OK

Exemples
56
Election et mesure de confiance

• Cas problématiques

(1)
57
Election et mesure de confiance
Exemple

• Cas problématiques

(1)
?
?
58
Election et mesure de confiance

• Cas problématiques

(1)
(2)
59
Election et mesure de confiance

• Cas problématiques

(3)
(1)
(2)
60
Election et mesure de confiance

• Cas problématiques

(3)
(1)

• Coefficient de confiance

(2)
61
Election et mesure de confiance

• Pour un pixel, on élit un vecteur 3D et on lui
  attribut un coefficient de confiance
• - Ctrust 0 si n minima ! 1
• - Ctrust K x (Aire valide du profil de pixel
  mesuré Amplitude des variations de Edist), si
  n minima 1

62
Contributions

• Nouvelle approche du problème de lacquisition
  de modèle 3D de cheveux
• Résultats répondent à notre attente

63
Limitations

• positionnement des vecteurs de cheveux 3D
  approximatif

64
Travaux futurs

• A terme analyse géométrique (MN) couplée à
  létude de la réflectance
• Modèle rendu interactif

65
Etat de lart

• Modèle déclairement du cheveu
• Kajiya, Kay KK89

KK89, Rendering fur with three dimensional
textures, J.T.Kajiya T.L.Kay
66
Etat de lart

• Modèle déclairement du cheveu
• Kajiya, Kay KK89

specular (P) diffuse (P)
diffuse (P) Kd sin(T, L)
67
Etat de lart

• Modèle déclairement du cheveu
• Kajiya, Kay KK89

specular (P) diffuse (P)
diffuse (P) Ks cosp(E, E)
68
Etat de lart

• Modèle déclairement du cheveu
• Directionnalité Gol97

fdir (specular (P) diffuse (P))
69
Extraction des directions de mèches dans chaque
image
Seuillage en amplitude
Rotation de 90degrés
70
Etude de corrélation

• Corrélation porte sur la forme, les maxima
• Comment mesurer cette corrélation ?
• Introduction dune fonction dénergie Edist
  Eextrema Eshape

Ke x (\x1 x2\)r
71
Etude de corrélation

• Corrélation porte sur la forme, les maxima
• Comment mesurer cette corrélation ?
• Introduction dune fonction dénergie Edist
  Eextrema Eshape

fm(x) ft(x) dx