Eigenfaces for Recognition

1
Eigenfaces for Recognition

• ????? ????
• ????? ??????
• Eigenfaces ?????

M.A. Turk and A.P. Pentland Eigenfaces for
Recognition. Journal of Cognitive Neuroscience, 3
(1)71--86, 1991.
1
2
Summary

• ????? ???? ????? Face Space ????? Eigenfaces
  ??????? ????.
• ???? ???? ?? ???? ????? ?? ??? ???? ?????? ??
  Eigenface.
• ????? ?? ????? ???? ?? ????? ????? ?????
  Eigenface.
• ????? ?????? ?? ????.

2
3
Introduction
?????? ?? ????? ????? ?????? ????. ??? ??????
????? ???? ?? ??? ?? ???? ????? ????? ?? ??
??????. ????? ?? ??? ?? ?????, ????? ???????
???? ???, ???????, ?????? ??"?.  
????? ??? ????? ???? ?????? ?????? ????.
3
4
???? ?????? ??????? ????? ????? ????? ????
??????? ????, ????

• ????? ?????.
• ?????? ????? (security systems).
• ????????? ??? ??? ?????.

4
5
????? ??? ???? ???? ?????? ?????? ???? ??????
????? ????? ????, ???? ?????? ????? ?????
??????.

• ????? ???? ?? ???? ?? ????? ??? ??????, ?????
  ????? ?? ??????? ??? ??????.

• ???? ?? "????????? ??????" ??? ???? ?????? ?????
  ???? ?"? ??? ????? ?? ??????? ????? ???????? ???
  ?????? ???????.
• ????? ????? ?????? ?????? ????? ????? ?????? ???
  ?? ????? ???? ???????? ????? ?? ???? ???-????.

5
6
????? ?????? ?? ???????? "????? ?????"
Dimensionality reduction)) ??? ?????? ?? ?????
????? ?"? ????? ???? ?? ?????? ????????? ???????
"Eigenfaces".

• ?? ?? ? Eigenfaces
• ???? ????? ????? ??? ?????? ??????? ?? ?????
  ?????? ?????.
• ??????? ?????? ?? ?????? covariance (???????) ??
  ????? ???????.
• ?????? ????? ??????? ?"? ???? ?????? ?? ????
  Eigenfaces. ????? ????? ????? ???? ???????
  ?? Eigenfaces ??? ???? ???? ?? ???? ?????.
• ?? ?????? ????? ?????????????.
• ?????? ?? ??????? ????? ?? ?????? ?????.

6
7
????? ?????? ?????lt-- Training Set
lt-- ????? Eigenfaces ??? ????? ?? ???? ?????
7
8
Principal Component Analysis - PCA
?????? ????? ?? ??????? ??? ?????? ?????? ???
?????? ????? ?????? ???? ?? ???????? ??????.
????, ????? 100 x 100 ????? ? - ???, ?? ?????
???? ????? ????? ?????. ?????? ????? ? - ????
????? ???????, ??? ??????, ??, ?? ??????. ???,
??? ??????? ????, ??? ?????? ????? ?? ?????
?????? ?????? ???? ?? ???? ??????.
8
9
PCA Method
????? ?????? ?? ???? ???? ???????? ?????? ????
???? ??????? ( (correlated vectors ??? ???? ??
???? ?? ????? "????" ???? ???? ??????. ???? ????
?? ?????? ????? ?????? ??????? ????? ????? ??????
???? ???????. ???? ?????? ??????? ?????? ?????
??????.
9
10
????? ????? Basic
Idea

• ????? ?????? ?? ?????? ???? ?????.
• ????? ??????? ??????? ?? ???? ?????? ??? ??????
  ???? ????? ?? ????? ???? ????? ????? ????? ??
  ???? ??? ???? ???? ???? ???? ????.

Original Data
10
11
????? ?????? ???? ???? ???????
11
12
????? ?????? ???? ????? ????
12
13
????? ?????? ?????? ?? ????? ????? ?????? ??
??-???? ????? ?"? Eigenfaces (????? face
space), ??????? ?? ?????? ????? ?????? ?? ??????
?? ?????? ????? ????? ???????.  

• ????? ????? ?? ????? ????? ?????? ????
• ?????? ????????
• ????? ????????
• ????? ?????
• ?? ?????? ???????? ????? ?? ???????? ?????.

13
14
Background and Related Work

• ??? ?????? ?????? ?????? ?????? ?????? ???????
  ????? ?? ????? ???? ??????, ??, ??.
• ???? ????? ????? ?"? ?????, ???? ?????? ???
  ???? ????????. 

• ????? ?????
• ??? ?????? ??????? ????? (multiple view).
• ???? ?? ?????.

? ????? ??? ?????? ??????? ???? ?? ?? ????? ????
????? ???????? ????.
14
15
????
2. ????? ???? ?????? ????? ?? ????. 
? ?? ?????? ???? ?? ?????? ?????? (?????
? Scaling).
15
16
Eigenface Approach
??????? ?? ???????? ????? ?????? ????? ???? ????
?? ??????? ????????. ???? ?? ?????? ????? ????
???????? ?????? ?? ?????? ??????? ??????? ??
?????? ???? ????? ?????? ??? ????? ????? ????.
??????? ??????? ???? ?? ???????? ???????? ??
????? ????? ??? ??????? ??????(eigenvectors ) ??
?????? ? - covariance ?? ????? ?????? ?????.
16
17
??????? ?????? ??????? ?? ?????? ??????? ?????.
???? ????? ???? ??????? ?????? ?????? ?? ????
????????? (ghostly faces) .
17
18

• ?? ???? ???? ???? ?"? ???? ??????? ?? .Eigenfaces

• ?? ???? ???? ???? ?"? ????? ?? ? best
  eigenfaces
• ??? ???? ?????? ??????? ??????? ?????, ?????
  ??????? ?????? ?????? ?????? ???????.

18
19

• M ? - eigenfaces ? "????? ?????" ?????? ??
  ??-????? ? M ????? ?? ???? ???????, ????? ?????
  ???? ????? ?? ????? ?????. ???????
• ??? ????? ?????.
• ??? ??-???? M-???? S, ????? ?? ????? ?????? ?? S
  ? F ?"? , ????
  ??? ????? ?? ?? S.
• ??-????? ???? ????? (?????, ??? ????? ??????
  ????? ?????) ????? ????? ???
• ????? ?????? ?? ??????
  ???????
• ??????? ?????? A ????? (???? ???
  ???? ???????? ??? ?????) ?"?
  A ??? ??????? ???????.

19
20

• ?????? ?? ????????? ??????? ?? A ???
  ?????? ??????? ???????? ???? ???? ????
  ????,
• ??? M, ??-????? ???? ????? ???? ?"?
• ????? ?????? ??? ????? ?"?
• ?? ?????? "?????", ????? M ??? ??? ????? ??????
  ????. ??????, ?? ?? ????? ????, ??? ???? 1M
  ?????? ??? 0.

21
?? ????? ???? ???? ????? ???? ????? ?"? ???
??????? ??? ?????? ????.
????? ???? ???? ???? ?????? ???? ?"? ???? ??????
?? ???? ??? ?? ???????? ??????. ???? ??????????
??????? ?? ?????????????, ????? ??????? ????? ?"?
????? ??????, ??? ???? ?"? ??????????.

• ????? ?? ???? ???? ?? ??????? ???? ?????? ??????
  ??????? ?????? ????? ???? ???? ??????? ?? ???????
  ????? ???????.

21
22
????? ?????? ???? - ?????

• ???? ???? ?????? ???? ?????? (Training Set).
• ????? eigenfaces ?? ?????? ?????. ????? ????
  "????" ????? ??????.
• ????? M eigenfaces ???? ????? ?????? ???????
  ?????, ???????? ?? ???? ?????.
• ????? ????? ?? ?? ????? ????? ????? M ?????
  ?????? ??????? ???????, ??? ????? ??????? ?? ?
  eigenfaces ?????????? ????????? ?????? ?? ??????.

22
23
????? ?????? ???? - ????

• ????? ?????? ?? ?????? ??????. ?? ??? ?? ?????
  ?????? ????? ?? ??????
• ????? ??? ?????? ????? ???? ?"? ???? ????? ?????
  ?????.
• ?? ?????? ????? ????, ???? ?? ????? ?????? ??????
  ?? ???? ???? ?-"?? ?????".
• (optional) ????? ????? eigenfaces ?/?? ?????
  ???????.
• (optional) ?? ?????? ?? ?????? ?"?? ?????" ????
  ???? ????? ??????? ???? ?????? ????? ??????.

23
24
????? ?????? ???? - ????? ??????
24
25
????? Eigenfaces

• ???? I(x,y) ????? ???? ??-?????.
• ???? ????? ?? ????? ??? ???? ????? NxN ?? ???
  ????? ????? N2 ????.

?????? ????? ????? 256x256 ????? ?????? ?????
65,536 ?? ?????? ?????? ????? 65,536 ?????.
????? ?? ?????? ????? ????? ?? ??????
?????. ?????? ??? ?????? ????? ????? ??? ????
???? ???? ???-???? ??? ???? ???? ???? ???.
25
26
????? ??? ????? ??????? ??????? ?? ????
??????. ???? ?? ?? ????? ??? N2, ????? ?????
????? NxN.
??????? ?? eigenfaces
26
27
???? ???? ?????? ???? F1, F2, , FM. ??????
27
28

• ????? ?? ??????? ????? ?
  

(1)
?? ????? ???? ??????? ?"? ?????
Gi Fi - ? (2)
????? ?? ????? ?????? - ?
28
29

• ?????? covariance???????

(3)
????
(4)
???? ?? ?????? C ??? N2xN2 . ???? ?? ???
????. ???, ???? ??????? ?? M ?????? ?????, ?????
?? C ?? ???? ????? ?? M.
29
30
?? vi ??? ????? ???? ?? LATA
(5)
???? µi ?? ????? ??????.
(6)
????? ?? (5) ? - A ?????
???, Avi ?? ??????? ?????? ?? C AAT
. ???, ???? AAT ???MxM .
??? ????? ?? ui,??????? ?????? ?? C, ??????
i1,,M
(7)
??? ? Eigenfaces.
30
31
????? ???? ?????? ?? ????? ?? ???????
???????? ?N2 - ? M . ????? ???? ???? ?? ??????
???? ????? ???? ????? ???N2 ) (Mltlt ???? ??????
???? ???-?????.
31
32
????? ???? ????? - Eigenfaces
?? ????? ???? ????? ?"? ???? ??????? ??
.eigenfaces
?????? ?????? ??? ???? ?????? ????? ?? ?????
????? ???? ?????? ????? ? M ???????. ???? ????
?? ? .M
?????? M ??????? ?????? ???? ????? ??????
??????? ?????, ??????? ??-???? M ????? ?????
????? ??? ???? N2.
32
33
????? ????? ???? -G ??????? ?????? ???? ???? ??
??-???? M???? (MltltM)

???? wi ?? ??? ?????????? ? i ?? G ????? ????.
???? ???????
???? ????? ?????
33
34
???? ?????? ????? ???? ?????? ?face class k
?????? ??? ????? ?? ????? ???? ?????
ek (O Ok2 (9)
???? Ok ?? ??? ????? ????? face class k. face
class Oi????? ?"? ????? ??????? ?? ?? ???????
????? ????? ?? ???? ?? ???.
???? ????? ?? ???? ?????? ?face class k - ????
ek ??????? ??? ??? ?e, ???? ????? ??????? ?"??
??????".
34
35
??????? ?? Face class
35
36
???? ???? ????? ?????? ?????? ????, ??? ????
?????? (????? ?????? ????) ????? ?? ???? ?????
???????? O. ?????? ???? ?????? ???? ??????
?????? ???? ????? ??????? ??? ????.
????? ????? ???? ??? ?????? ??????? ??? ?????
?????. ????? ???? ????? ????? ????? ??????? ???
?????? ???? ????? ???? ????? ???? ?????
????. ????? e (G G)2 (10)

????
36
37

• 4 ????????
• ???? ????? ????? ????? ?face class - .
• ???? ????? ????? ??? ?? ???? ?face class - .
• ???? ????? ????? ????? ?face class - .
• ???? ????? ????? ??? ???? ?face class - .
• ????
• ????? ?????? ????? ????? ?????? ?????? ??????.
• ????? ???? ????? ???? ?????.
• ??? ?????? ???????? ?? ?? ?????? ????.
• ???? ?????? ??? ?????? ??? ???? ?????? ???? ?"?
  ?????? ??? ????? ????? ????? ?? ???? ?????.

37
38
????? ?? ???? ????? ?????Eigenfaces

• 1.??? ????? ?? ?????? ?????. ???? ??????? ?????
  ??? ?????? ?? ???? ???? ?????? ????? ???????
  ?????.
• 2. ????? ??????? ?????? ?????? ?????? ?????? M
  ??????? ???? ????? ?????? ??????? ?????.
• 3. ????? Eigenfaces.
• 4. ????? class vector Ok.
• 5. ????? ???? ?e .
• ?e1 - ????? ?? ???? ? face class.
• ?e2 - ???? ?? ????? ???????? ????? ?????.

38
39
????

• .6??? ????? ???? ?????? ???

????? O , ek ??? class ? e.

• ?? ?e1 gtek ? elt ?e2 ???? ?? ?????? ?? ???
  .face class Ok

• ?? ?e1 ltek ? elt ?e2 ???? ?? ?????
  ? - "?? ??????".

7. ?? ???? ?????? ?"?? ??????", ???? ?????? ????
????? ?????? ??? ???? ????? ?? ????? 1-5.
39
40
????? ??????
Face Recognition Algorithm
40
41
????? ?????? ????
???? ?????? ?????? ?? ????? ?????? ?????
??????, ??? ??? ?????? ????? ??? ???? ???? ?????
????? ?????.
????? ??? ????? ?????? ?/?? ????? ??? ????

1. ????? ????? ?????? ??? ?????.

1. ????? ? face space ?????? ?????.

41
42
????? ????? ?????? ?????
???? ????? ??? ???? ?????? ?????.
????? ????? ??????
42
43
???????? ?????? ????? ?????

• ?????? n ?????? ?? ??? ??????.
• Spatiotemporal Filtering (???? ???????).
• ?? ??????? ????? ??? ??? ?????? ??? ??? ?????.
• ?????? ?????? ?? ?? ??? ???? ????? ????? ???????.
• ????? ?????? (????? ???? ???????).
• ????? ??????
• ???? ?? "???" ??? ????? ??? ??? ???? ???? ????
  ???.
• ????? ???? ????? ????? ????? ???????.

43
44
????? ?? ????? ???? ???????
44
45
????? ? face space ?????? ?????
????? ???? ?? ????? ????? ???? ?????? ???? ??
???? ?????. ????? ??? , ????? ??? ???? ????? ????
????? ?????.
45
46
???????? ?????? ???? ???? ?????? ?????? ???? ????

• ???? ?????? ?????? ????? ????? ) (face space
  ?"? eigenfaces.
• ????? ???? e ??? ?????? ??????? ? face space.
  e ??? ??? ????? ???? ??????.
• ????? ???? e(x,y) ??? face space ??? ?????
  ?????? ???? face map.
• ?? ??? ????? ?????? ??????? face map ????
  ????? ????? ?????.

46
47
face map
????? ??????
? face map ????? ?????? (????) ??????? ??
???? ????.
47
48
??????
??? ????? ????? ?????? ??????.

1. Eliminating the Background
2. Scaling and Orientation
3. Multiple Views

48
49
Eliminating the Background
??? ???? ?????? ????? ??????? ??????? ?? ?????
??????, ?????? ??? ??? ?? eigenfaces ?? ???????
??? ???? ???? ??????.
????? ????? ?? ??? ????? ?? ????? ???? ??????
????? ???????? ??-????? ?????? ?????. ????? ??
??? ??????? ?? ????? ???? ???????? ?? ???? ?????.
49
50
50
51
Scaling and Orientation
???? ???? ????? ???? ?????? ????? ??????? ??
?????? ????? ??????. ?? ??? ?????? ????? ????
???? ????? ???? ????? ??? ????? ???? ??
eigenfaces -.
??????? ? - Scaling

• ????? ????? ?????? ???? ??? ??? ?? ???? ?????.
  ????? ??? ???? ?????? ?? ????? ????? ?????
• ?? ?- eigenface.

• ????? ? multiscale eigenfaces ?????? ?? ?????
  ???? ?????? ?? eigenfaces ?????? ?????.

51
52
????
????? ???? ???? ????? ????? ????? ?? ??????
?????? (???????) ?????? ?? ????? ??? ????? ????
????? ????? ?????.
??????? ? Orientation (????? ?????)

1. ???? ?? ????? ????? ????? ?? ??? ???? ?? ?????
   ????? ??????.

1. ????? ? eigenfaces ???????????? ????? ??????
   ?? ????? ????? ?????? ?? eigenfaces ????????????
   ?????.

52
53
Multiple Views
???? ??? ?????? ?? ???? ?? ?????? ???? ?????
???? ??? ?? ??????.
????? ???? ???? ?????? ???? ?????? ????? ???? ??
??? ?????? ??????.
??????

1. ?????? ???????

1. ?????? ? - /- 45

1. ?????? ??????

53
54
??????? ?? Eigenfaces
?????? ???? ??????
54
55
??????? ????
???? ??????? ?????? ???? ?????? ???? ??????
?????, ???? ?????????? ???? ?????? ?????.

• ??? ???????? ???????? ?????? ??
• ????? ????? ?? ?????? ????? ??????.

• ????? ???? ????? ?? ?????? ????? ??????.

• ?????? ??????
• ????? ?????? ?????? ???? ?? ????? ?? ???????.

• ????? ????? ????? ????? ??? ?? ????????. ????? ??
  ???? ??????? ???.

55
56
????? ???? ???? ????? (???? ? - eigenfaces ) ??
???? ??????.
56
57

• The End!

?
57