Interfaces perceptuelles

1
Interfaces perceptuelles

• Interaction avec une caméra

2
Comment enlever le bruit dans une image de caméra
?

• Calculer la moyenne des N images les plus
  récentes
• On a besoin de stocker les N images le plus
  récentes
• Désavantages temps de calcul O(N), et mémoire
  requis O(N)

Exemple du résultat de calculer une moyenne
dimageshttp//marcodsouza.blogspot.com/2009/04/
reduce-noise-in-your-digital-photos.html
3
(No Transcript)
4
(No Transcript)
5
(No Transcript)
6
Moyenne des 3 images précédentes
7
Comment enlever le bruit dans une image de caméra
? (suite)

• Calculer une moyenne des images, avec un poids
  qui diminue de façon exponentielle avec le temps
• Limage la plus récente a alors un poids de a,
  limage précédente un poids de (1-a)a, la
  précédente (1-a)2a, la précédente (1-a)3a, etc.
• On a seulement besoin de stocker la moyenne
  précédente, et limage actuelle, pour calculer la
  nouvelle moyenne
• Temps de calcul O(1), mémoire requis O(1) (si on
  laisse tomber la résolution des images comme
  étant des constantes)

8
Une première technique pour reconnaître des
gestes de mains
9
Le gradient

• Le gradient est un vecteur calculé à partir dune
  fonction scalaire
• Les changements sont plus rapides dans la
  direction du gradient. Autrement dit, le
  gradient est perpendiculaire aux arêtes
  (edges, ou edgels) dans limage.

10
Pour estimer lorientation de larête passant par
un pixel

• Utiliser un estimé du gradient
• Langle du vecteur donne lorientation
• La norme du vecteur est proportionnelle au
  contrast entre les deux côtés de larête

11
Exemples de gradients
12
Histogrammes dorientation apprentissage
Freeman et al. 1998, Computer Vision for
Interactive Computer Graphics
13
Histogrammes dorientation reconnaissance
NB Un retour visuel de la confiance aide à
déboguer et à apprendre à exprimer le bon geste.
Freeman et al. 1998, Computer Vision for
Interactive Computer Graphics
14
Histogrammes dorientation Cas problématiques
pour une main
Rotation globale de la main
Des ensembles de doigts différents, mais orientés
dans la même direction
Freeman et al. 1998, Computer Vision for
Interactive Computer Graphics
La main noccupe pas la majorité de limage
15
Une deuxième technique pour reconnaître une
main(sur un fond monochrome)
Dun article de Malik et Laszlo (2004)
http//doi.acm.org/10.1145/1027933.1027980
16
Deuxième technique

• Comment distinguer les pixels du fond des pixels
  de la main ?
• Il faut segmenter limage en deux parties
  lavant plan (foreground) et larrière plan
  (background)

17
Deuxième technique
18
Deuxième technique
19
Deuxième technique
20
Deuxième technique
21
Deuxième technique
Questions - Est-ce que le seuil à utiliser
pourrait changer à mesure que les conditions
déclairage changent, ou avec différents
utilisateurs? - Comment trouver un bon seuil de
façon automatique?
22
Deuxième technique
(Ici, avec du bruit rajouté manuellement.)
23
Deuxième technique
On identifie chaque region de pixels connexes
avec une couleur unique (ceci peut se faire, par
exemple, avec des opérations de floodfill).
24
Deuxième technique
On élimine toutes les régions avec une aire plus
petite quun seuil, et on garde au maximum les
deux régions les plus grandes.Question comment
identifier la main gauche et la main droite ?
25
Deuxième technique

• Pourquoi un fond noir ?
• Avantages fonctionne assez bien même avec des
  ombres
• Et un fond vert ou bleu ?
• Pourrait fonctionner mieux si la peau a une
  couleur foncée

26
Deuxième technique

• Comment trouver les doigts ?

27
Deuxième technique
Suivre le contour des pixels davant plan, et
évaluer langle entre les pixels i-k, i, et ik
28
Deuxième technique
29
Deuxième technique
30
Deuxième technique
31
Deuxième technique
angle
position i
Comment trouver le bout de chaque doigt ?
32
Deuxième technique
Comment trouver la direction de chaque doigt ?
Dun article de Malik et Laszlo
(2004)http//doi.acm.org/10.1145/1027933.1027980
33
(No Transcript)
34
TAFFI (Thumb and Fore-Finger Interface Andy
Wilson 2006)
http//research.microsoft.com/en-us/um/people/awil
son/publications/wilsonuist2006/wilsonuist2006.htm
lhttp//doi.acm.org/10.1145/1166253.1166292
35
Tanglible User Interface (TUI) reactable (
http//www.reactable.com/ )