Unstructured Lumigraph Rendering

1
Unstructured Lumigraph Rendering

• C.Buehler M.Bosse L.McMillan S.Gortler M.Cohen

Rendu par Lumigraph non-structuré
Présenté par Ana PAUL Guillaume GENER
2
Unstructured Lumigraph Rendering

• Introduction sur le rendu basé images
• Algorithmes précédents
• Light Field Lumigraph
• View Dependent Texture Mapping
• Objectifs
• Algorithme
• Résultats

3
Rendu basé images

• Reconstruire des images à partir de photos,
  vidéos, images de synthèse.
• Peu ou pas dinformations sur la géométrie de la
  scène.
• Rendu moins coûteux.
• Exemple dapplication Quick Time VR

4
Light Field Rendering

• Le Light Slab

• Echantillonage

• Avantages

• Rendu indépendant de la complexité de la scène.
• Complexité linéaire simple rééchantillonnage

• Inconvénients

• Taille du lightfield
• Prise de vues sur un plan

5
The Lumigraph

• Similaire au light Field.
• Prises de vues échantillonnées irrégulièrement.
• Prise de vues sur une hémisphère.

6
Exemples
7
View Dependent Texture Mapping

• Principe
• 1. Calcul de la visibilité Pour chaque polygone,
  liste les images dans lesquelles il est vu.
• 2. Combler les trous Trouver une texture
  pour les polygones qui ne sont jamais vus.
• 3. Construction de View Maps Pour chaque
  polygone, déterminer limage la meilleure pour
  chaque angle de vue dune hémisphère.

8
View Dependent Texture Mapping

• Avantages
• Beaucoup moins dimages nécessaires.
• Rendu réaliste.
• Inconvénients
• Il faut connaître la géométrie de la scène.
• Il faut connaître les informations de chacune des
  prises de vue.
• debevec_VDTM.mov

9
Objectifs

• Utilisation de proxies géométriques
• Uniformité épipolaire
• Sensibilité de résolution
• Entrées déstructurées
• Uniformité de rayon équivalent
• Continuité
• Angle de déviation minimal
• Temps réel

10
Utilisation de proxies géométriques

• information géométrique proxy
• Un seul point considéré
• Suppression de toute caméra ne le voyant pas

11
Consistance épipolaire

• Reconstruction triviale du rayon désiré
• Pas besoin dinformation géométrique

12
Sensibilité de résolution

• Distance de la caméra par rapport au point
• gt flou

13
Entrées déstructurées

• Positions aléatoires des caméras
• Rééchantillonnement des image par le processus de
  rebinning

14
Uniformité de rayon équivalent

• Deux rayons désirés confondus
• gt une seule caméra prise en compte

15
Continuité

• Couleur similaire pour deux points consécutifs
• Poids plus important selon la distance par
  rapport au point

16
Angle de déviation minimal

• Poids plus important selon la proximité angulaire
  du rayon désiré

17
Algorithme

• Entrée
• Collection dimages
• Position de la caméra
• Prise en compte des caractéristiques de la caméra
  
• Résolution
• Champ de vision
• Visibilité

18
Caméra blending field

• Poids associé à chaque caméra
• Calculé selon les différentes contraintes

19
Les différents champs

• Deux angles
• - angDiff
• - angThresh

20

• Poids pour le blending
• Après normalisation

21
Résolution

• Soit
• Ce qui nous permet davoir comme combinaison des
  poids
• Et dobtenir finalement

22
Exemple
Sans prendre en compte la résolution
En appliquant lalgorithme
23
Champ de vue et visibilité

• Nouvelle contrainte de poids
• Après normalisation

24
Rendu temps réel

• Par sélection de point
• Chaque sommet de la triangulation une caméra

25
Différentes étapes

• Chaque triangle une seule région planaire gt
  permet le plaquage de texture en hardware
• Un sommet pour chaque centre de caméra gt
  consistance épipolaire
• Ajout dune grille régulière de sommets dans le
  plan désiré
• Triangulation du plan

26
N rendus -gt 1 pixel

• Rendu effectif
• N caméras et N textures associées à un point
• Rendu indépendant sur chacune gt N Images
• Superposées à laide de transparence

27
Résultats
28
Références

• Efficient View-Dependent Image-Based Rendering
  with Projective Texture-Mapping
• Paul Debevec, Yizhou Yu, and George Borshukov
• Light Field Rendering
• Marc Levoy and Pat Hanrahan
• The Lumigraph
• Steven J. Gortler Radek Grzeszczuk Richard
  Szeliski Michael F. Cohen