Produrre programmi con studi Virtuali

1

• Produrre programmi con studi Virtuali

Sebastian Sylwan sebastian_at_videoprogetti.it
2
Che cosa è un Virtual Studio ?

• Fondamentalmente un accozzaglia di
  apparecchiature ad altissimo livello tecnologico.
• Scenografie virtuali con attori reali.
• Nessuno deve accorgersi della finzione

3
A che cosa serve ?

• Ambiente di produzione completamente digitale
• Ottimizzare gli spazi e le risorse
• Risparmiare sui costi
• Riutilizzare le risorse

4
Ambiente di produzione digitale

• Tutti gli elementi sono disponibili in formato
  digitale
• La scenografia sta in un database
• Diversi set-up dello studio possono essere
  progettati e richiamati
• Le risorse di calcolo ad alte prestazioni
  possono essere centralizzate e condivise
• Il design può essere fatto su computer a basso
  costo
• Gli elementi possono essere archiviati e
  riutilizzati
• Avere elementi digitali facilita la
  post-produzione e il riutilizzo

5
Ottimizzare spazi e risorse

• Nello stesso studio giro innumerevoli programmi
• Devo comprare meno camere, regie, monitor, etc.
• Tempo per cambiare le scenografie irrilevante
• Costruzione di scenografie 3D
• molto più semplice ed economico rispetto a
  quelle reali
• molto più veloce
• facilità di correggere ed adattere alle esigenze
• riusabilità

6
Che cosa implica ?

• Nuove professionalità
• Forte integrazione tra mondo video e informatico

7
Convergenza

• Diversi campi tecnologici
• Rendering fotorealistico in tempo reale
• Sensori elettromeccanici
• Ottica
• Trattamento del segnale video digitale

8
Nuove Professionalità

• Scenografi Virtuali
• Modellatori 3D
• Attori
• Assistente alla regia
• Direttore tecnico
• Sceneggiatori
• Registi
• Autori
• Cameraman
• Tecnici di illuminazione

9
Miglioriamo i modelli di produzione

• Espandiamo lo spazio di studio esistente
• Ambiente di produzione completamente digitale
• Strumenti per il desing vs strumenti per la
  produzione
• Sessione tipica in un Virtual Studio

10
Espandere lo spazio di studio esistente

• incrementare il rendimento
• più programmi in un unico studio
• cambiamenti veloci
• maggiore produttività
• le scene sono indipendenti dallo spazio di studio
• le informazioni possono essere associate al
  programma/ripresa
• i dati di design e di produzione passano alla
  post-produzione

11
Tools for design vs. production

• Design guidato dal costo
• modellazione
• illuminazione
• animazione
• Produzione guidata dalle prestazioni
• Composizione di scene
• pre-produzione
• display real-time dinamico

12
Typical Design Tools
Texture painting
3D modeling animation
13
Production Tools
Scene composition
Pre-production
14
Production Tools
Production
15
Come è fatto uno studio virtuale ?

• 3D modeling - Studio Design
• Rendering Real-Time
• Camera Tracking
• Blue Back / Chroma Keying
• Matte Keying
• Switching
• Optical tracking / measuring

16
Come è fatto uno studio virtuale ?
17
Una tipica sessione in studio virtuale

• Scegliere la scena
• Scegliere lo studio
• Caricare le impostazioni dello studio
• Caricare la registrazione della scena
• Tarare le camere
• Registrare
• Post-produrre

18
Integrazione

• Mettere insieme apparecchiature di mondi
  diversi
• Sincronizzare alla perfezione in tempi
  strettissimi
• Mission-critical RT

19
Vediamo nel dettaglio

• Modellazione 3D
• Blue Back / Keying
• Calibrazione
• Registrazione

20
Modellazione 3D

• Interna o esterna al pacchetto software...
• ma pensata esplicitamente per uno Studio
  Virtuale
• Ottimizzazione per il rendering Real-time
• Vapour deve generare 50/60 immagini / secondo
• Devo necessariamente ottimizzare

21
Dal progetto al modello
22
Ottimizzazione degli studi 3D

• Usare colori invece di materiali ove possibile
• Limitare il numero delle luci / usare texture per
  ottenere effetti di luce
• Spegnere i lati posteriori degli oggetti se non
  sono visibili
• Ridurre il numero di vertici nelle geometrie
• Minimizzare luso di oggetti importati (t-mesh) e
  delle trasparenze
• Nascondere/rimpiazzare gli oggetti video e i
  dummy quando non vengono usati
• Creare texture con degli oggetti di testo fissi
• Diminuire la risoluzione del testo con corpo
  piccolo
• Spegnere i lati posteriori del testo 3D
• Disabilitare lo z-buffer / riorganizzare gli
  elementi secondo lordine di rendering
• Pixel fill rate 10 cubi vengono resi prima di un
  unico cubo che riempie lo schermo
• Far ereditare le proprietà agli oggetti quando
  possibile

23
Ottimizzazione del modello
24
Illuminazione

• È importantissimo mantenere una coerenza
  nellilluminazione per evitare artifatti
  percepiti come falsità della scena.
• Prestare attenzione alle dominanti cromatiche
  dello studio virtuale e ricrearle
  (color-correction) nei talent enegli elementi
  reali (blue-spill)
• Le sorgenti di luce devono provenire dalle stesse
  direzioni sia nel modello virtuale che nello
  studio reale, per ottenere una coerenza nelle
  ombre e nellilluminazione

25
Typical Design Tools
Simulazione dellilluminazione
26
Calibrazione dello Studio Virtuale
27
Blue Back
28
Blue Back fattori critici

• Perché blu ?
• Illuminazione uniforme
• Distanza dalle pareti
• Ombre
• Coerenza cromatica
• Indumenti
• Riflessi

29
Limbo e illuminazione
30
Angoli del Limbo
31
Chroma Keying

• Le componenti del Blu vengono eliminate e al loro
  posto vengiono inserite le immagini generate
  dalla WS.
• A questo mascheramento sul colore si aggiunge
  una maschera proveniente dalla WS stessa che
  decide se un oggetto sta davanti o dietro il
  talent e lo maschera di conseguenza
  (talent-tracking)

32
Mappare il virtuale sul reale

• Devo creare un modello virtuale del mio blue-back
  reale e posizionarlo (posizione, scala,
  orientamento) nel mio studio virtuale
• Devo posizionare molto precisamente le telecamere
  reali allinterno del set virtuale

33
Movimento e posizione delle camere

• La visione prospettica della scena virtuale
  cambia con i movimenti delle camere, quindi
  questi devono essere acquisiti con la massima
  precisione possibile
• I dati di movimento, posizione, zoom, pan e tilt
  delle camere devono arrivare a tutte le WS che
  fanno il rendering nel minor tempo possibile per
  non introdurre delay
• Devono essere sincronizzati
• Vediamo i diversi tipi con Pro e Contro

34
Camera tracking meccanico

• Altissima precisione
• Bassi delay
• Calibrazione più critica
• Camera rig
• Crane
• Dolly
• Necessità di taratura ottica precisa

35
Camera tracking Pattern recognition

• Libertà di movimento (relativa)
• Basso costo
• Shoulder camera
• Poco preciso / Velocità limitata
• Scatti
• Alti delay

36
Camera tracking Elements search

• Device ausiliari (tipicamente a IR)
• Shoulder camera (totale libertà di movimento)
• Poco preciso
• Bassissimi delay (lt 1 frame !)

37
Mettiamo insieme le cose
38
Rendering in tempo reale

• Dipendente dalla posizione e dai movimenti delle
  camere reali
• Virtual Cameras solo per immagini di sintesi

39
Unire le immagini
40
Unire le immagini

• Devo ora integrare le immagini di sintesi con
  quelle naturali
• Le immagini naturali sono girate su sfondo blu

41
Interfaccia
42
Risultato
43
Schema Generale
44
Un idea delle dimensioni
45
Produzione vs. Post-produzione

• I dati provenienti dalle telecamere possono
  essere utilizzati on the fly oppure registrati
  per utilizzarli in post-produzione

46
External Control - Producer

• Tutta linterazione con lo studio virtuale
  compreso lo switching tra le telecamere (Program
  e Preview) viene fatto attraverso un PC
• Questo permette di integrare grafici e dati dal
  mondo esterno con estrema facilità
• Ho anche un notevole controllo e possibilità di
  automazione (scripting)

47
External Control
48
On air graphics
49
On air graphics
50
Caratteristiche Principali

• resolution-independent rendering up to HDTV
  1920x1080p as shown on NAB
• full external control, producer 1.5x is really
  nice as it's able to read in, display and use
  frost's scene tree
• texture load in background w/o affecting fg
  performance
• two separate renderers with switch/crossfade/fade
  to black

51
Caratteristiche Principali

• overlays, ie you can have a background scene and
  an overlay eg for a lower 3rd, this will always
  stay in place regardless of what you do with the
  camera
• support for new thoma walkfinder interface w/
  autocalibration and shoulder camera, enhanced
  protocol for super-fast data transmission (delay
  lt 1 frame NTSC)
• motion path feature
• fully integrated synchronous switching solution
• soon to come triple renderer w/overlays, fast
  high quality 2d text, enhanced virtual camera
  features, tight 3DS MAX integration,

52
Camera 1
53
Camera 2
54
Backstage
55
Installazione
56
Installazione
57
Riferimenti (3D)

• http// www.gdmag.com Game developer magazine,
  real-time tips and tricks
• http// www.gamasutra.com Game related Real-time
  tips and tricks, lots of info.
• http// www.kinetix.com 3D Studio Max
• http// www.charm.net/learning.html Links to
  Unix, internet.
• http// www.3dcafe.com An excellent starting
  location! Links, free textures and objects
• http// avalon.viewpoint.com Free model archive
  for all formats (hosted by Viewpoint)
• http// www.acuris.com Models
• http// www.meshmart.org VRML models
• http// www.3name3d.com Models
• http// www.3d-design.com Based on the magazine,
  a lot of tillable free textures!

58
Riferimenti

• http//www.ultimatte.com
• http/www.discreet.com
• http//www.thoma.com
• Designing 3D Graphics
• How to Create Real-Time 3D Models for Games and
  Virtual Reality
• Includes CD-ROM Josh White 383 Pages ISBN
  0-471-149268 www.vectorg.com/book/index.html

59
Grazie dellattenzione

• Per qualsiasi domanda
• sebastian_at_videoprogetti.it
• Tra qualche giorno troverete queste slide qui
• http//www.media.dsi.unimi.it/seba/