EM??????

1
??????? ?9?
2007?12?3?

• ?????????? ?? ?? ?

2
????????

• EM??????
• ??????????(inside outside algorithm)
• ???
• ???(?) ????(?) ?????4 ???????? ?????
• C. D. Manning Hinrich Schütze FOUNDATIONS OF
  STATISTICAL NATURAL LANGUAGE PROCESSING MIT
  Press, 1999
• Christopher M. Bishop PATTERN RECOGNITION AND
  MACHINE LEARNING Springer, 2006

3
PCFG
???CFG?? ?????
S ? SUBJ VP1 ?S ? SUBJ VP1
S ? SUBJ V ?S ? SUBJ V
SUBJ ? NP ? ?SUBJ ? NP ?
VP1 ? OBJ1 V ?VP1 ? OBJ1 V
OBJ1 ? NP ? ?OBJ1 ? NP ?
NP ? S NP ?NP ? S NP
V ? ??? ?V ? ???
V ? ??? ?V ? ???
NP ? ?? ?NP ? ??
NP ? ? ?NP ? ?
NP ? ????? ?NP ? ?????
NP ? ????? ?NP ? ?????
NP ? ?? NP1 ?NP ? ?? NP1
NP ? ? NP1 ?NP ? ? NP1
NP1 ? ? NP ?NP1 ? ? NP

• CFG?????????????????????
• ?????????????????????????
• ???????0.0???1.0

4
??????
? s ?????????????????
S
??? t
VP1
SUBJ
???CFG?? ?????
S ? SUBJ VP1 ?S ? SUBJ VP1
S ? SUBJ V ?S ? SUBJ V
SUBJ ? NP ? ?SUBJ ? NP ?
VP1 ? OBJ1 V ?VP1 ? OBJ1 V
OBJ1 ? NP ? ?OBJ1 ? NP ?
NP ? S NP ?NP ? S NP
V ? ??? ?V ? ???
V ? ??? ?V ? ???
NP ? ?? ?NP ? ??
NP ? ? ?NP ? ?
NP ? ????? ?NP ? ?????
NP ? ????? ?NP ? ?????
NP ? ?? NP1 ?NP ? ?? NP1
NP ? ? NP1 ?NP ? ? NP1
NP1 ? ? NP ?NP1 ? ? NP
NP
OBJ1
V
?
???
??
?
NP
S
NP
SUBJ
?????
V
NP
?
???
?
P(t) ?S ? SUBJ VP1 ?SUBJ ? NP ? ?NP ? ??
?VP1 ? OBJ1 V ?OBJ1 ? NP ?
?NP ? S NP ?S ? SUBJ V ?SUBJ
? NP ? ?NP ? ? ?V ? ??? ?NP ?
????? ?V ? ???
5
PCFG

• ??????? (estimation)
• ??????? (?????)
• ??? (?????)
• ??????? (decoding)

???
C(rt) ????r????t???????? T(s)
?s???????????????????????
6
??????

• EM?????? (expectation-maximization algorithm)
• ??????(????????????)??????????
• PCFG??????
• ?????(deleted interporation)????????
• ??????????(inside-outside algorithm)
• ???????????????????EM?????????????

7
PCFG?EM??????

1. ?(0) ????
2. E???? ?(i)????????????????s?????????????????
3. M???? ?(i1)????
4. 2.???

8
PCFG?EM??????

• E??????????s??????
• ????????(i)???????????????????????????
• ?s?????????????????p(ts)???
• M???????????
• ????????????????
• ??????????????????????

C(rt) 0.6C(r t)
parse
s1
p(ts1)p(t)/Z1 0.1 0.3 0.6
parse
s2
p(ts2)p(t)/Z 2 1.0
parse
s3
p(ts3)p(t)/Z3 0.21 0.16 0.51 0.05
0.07
...
...
...
9
?????EM??????

• ?????????EM??????
• ?????????Dt??????????Dh(??????)???
• ?????? p(wnDt), p(wnwn-1Dt),
  p(wnwn-1,wn-2Dt)????????
• ?(0)?????
• E???? ?????????????
• M???? ???????
• 4.???

10
EM?????????

• ??????????????????????????????????????
• ?????????????

11
EM??????????
E???? p(y x ?)???
????
????????????Q?????????????
M???? ??????????
????????????????????
12
????

• ???????????x1,...,xN???
• ?????????????y1,...,yM???????????????
• ????????????????????
• ???????????p(x, y)??????

x1
y1
y2
y3
p(x1, y1)
p(x1, y2)
p(x1, y3)
x2
y4
p(x2, y4)
x3
y5
y6
y7
y8
y9
p(x3, y5)
p(x3, y6)
p(x3, y7)
p(x3, y8)
p(x3, y9)
...
...
...
13
Q????? (1)

• ?? ???????????x1,...,xN??????????????????????????
  ??????
• ?????? ?????????????????????????????????????????
  ?

argmax????????????????????????????????????????
14
Q????? (2)

• ????????????

???????????????0
15
Q????? (3)

• ????????????

???Q??????
????????
16
Q????? (4)

• ???
• ???????????????
• ???
• ????????????????????
• Q(?, ?)-Q(?, ?)?0????????
• ?????????????????????????
• Q(?, ?)???????????????????????????Q(?,
  ?)?????????
• ? ?????(??????????????)Q?????0????argmax???????
  Q(?, ?)-Q(?, ?) ?0

17
EM?????? Q??????

• ????????????????????

????
????????x1, x2, ..., xn??????
??????
???????????????! argmax Q????????????
18
?? Q????????? (1)

• Q??
• (??????????????????????) (????????????xi?y??????
  ??)

y1
xi
y2
...
y3
19
?? Q????????? (2)

• ???????????????????

log?????????????????? ??????????????????sum?log?
???????????????
20
?? ?????????

• ?????????
• ??? f(x) ??? I ???????
• p1,p2,...,pn?p1p2...pn1??????
• ???x1,x2,...,xn? I ?????????????

• f(x)-log(x)?xiqi /pi????

21
EM??????????
E???? p(y x ?)???
????
????????????Q?????????????
M???? ??????????
????????????????????
22
? ????????????????

• ????? (mixture model)
• ?????x1,..,xN???????????????????y1,...,yM???
• ???????????j (p(yj) )??????????????????????x?p(x
  yj)?????????????

23
? ????????????????

• ????? (mixture model)
• Q??

24
? ????????????????

• Q???????????????????????????

25
????????????

• ????????????
• ????????

26
? ????????????????

• ????????????

???????!
27
? ????????????????

• ????????????

28
? ????????????????
29
PCFG???????????

• PCFG?Q??

30
PCFG???????????

• PCFG?Q??
• ????????

31
PCFG???????????

• ??????????????????

32
PCFG???????????

• ????????

????????????????????????
33
PCFG????EM??????????

• ???????????????????????????????!(?????????????????
  ???????????)

parse
s
...
p(t)/Z 0.21 0.06 0.001 0.05 0.07
?????!
34
??????????

• ????
• CKY????????????????CKY????????????????????????????
  ?????????????
• ???????????????????????????????????
• ???????????????????????????

35
????

• ???? ß(i,j,A)
• ?????A?????wi1,...,wj???????(???wi1,...,wj?????
  ?????(?)?A?????????????)

A
w1,...,wi
wj1,...,wn
wi1, ..................,wj
36
???????

• Si,j????????????????
• ??????????????max????????sum???
• Si,j ltX, pgt??? (X ?????, p ??????)
• Si,j????
• for k i1 to j-1
• forall ltB, pXgt? Si,k
• forall ltC, pYgt? Sk,j
• forall A ? G(B, C)
• if( ltA, pgt exists in Si,j )
• p p pXpY?Z?X Y
• else
• Si,j Si,j ? ltA,
  pXpY?Z?X Ygt

sum?max????????????????
37
????

• ????a(i,j,B)
• S(????)??w1...wiBwj1...wn???????

S
B
w1,...,wi
wj1,...,wn
wi1, ..................,wj
38
???????????

• ??????????????2???AC????????a(i,j,B)??????
• A?B C A?????C??????A?B C
• A?C B A?????C??????A?C B

S
S
A
A
C
B
B
C
w1..wi
wi1 ..wj
w1..wk
wj1 ..wk
wk1..wn
wj1..wn
wi1 ..wj
wk1 ..wi
39
???????

• a(i,j,B)???

40
???????

• a(i,j,X)??????

S0,6
????
S0,5
S1,6
S0,4
S1,5
S2,6
S0,3
S1,4
S2,5
S3,6
S0,2
S1,3
S2,4
S3,5
S4,6
S0,1
S1,2
S2,3
S3,4
S4,5
S5,6
0
1
2
3
4
5
6
w1
w2
w3
w4
w5
w6
41
????????????

• ??????????????????
• for all 0 ?i lt j ?n, X?VN
• a(i,j,X) 0
• a(0,n,S) 1.0
• for l n 1 to 1
• for i 0 to n - l
• j i l
• forall Ai,j ? Bi,k Ck,j in Si,j
• a(i, k, B)a(i, k,
  B)a(i,j,A)ß(k,j,C)?A? B C
• a(k, j, C)a(k, j,
  C)a(i,j,A)ß(i,k,B)?A?B C

Ai,j ? Bi,k Ck,j in Si,j???????????Si,j???????A??
????????? ?????A?B C B?Si,k????? C?Sk,j?????
42
?????????????

• ?????????????????????????????
• Ai,j?Bi,k Ck,j????????? Ai,j?Bi,k Ck,j
  ?????????????

Ai,j
Ai,j
Ai,j
...
parse
s
Bi,k
Ck,j
Bi,k
Ck,j
Bi,k
Ck,j
p(t)/Z 0.21 0.16
0.07
43
?????????????

• Ai,j?Bi,k Ck,j?????????
• 1/Z(Ai,j?Bi,k Ck,j ?????????????)
• 1/Z(Bi,k?????Ck,j??????A?B CAi,j?????)

S
A
C
B
w1..wi
wi1 ..wk
wk1 ..wj
wj1..wn
44
?????????????
45
??????????

1. ?(0) ????
2. E???? ?(i)?????????????????
3. M???? ??????????????????(i1)????
4. 2.???

46
???

• EM??????
• ??????????
• ????12/10(?) 1630 ???HPSG?? (???????????????????
  ????????HPSG)
• ????
• http//www.r.dl.itc.u-tokyo.ac.jp/ninomi/mistH19w
  /