??(probability)

1
????

• ???
• 07-03-30

2
????

• ?????
• ?????

3
?????

• ??
• ?????
• ?????????????
• ????????????
• ??????????????
• ???????
• ?????????

4
??(probability)

• ???????????????????,????????????????P(A)????A??
  ?,O ????????,?????????????
• ??1P(A) 0
• ??2P(O) 1
• ??3??????i ?j ( i ? j ),??Ai ?Aj ???(
  AinAjF),??

5
????(conditional probability)

• ??A ?B ?????O ??????,P(B)gt0,?????B ?A ?????P(AB)
  ?
• ????P(AB) ????????B ??????,??A ??????
• ???,P(AB) ? P(A).

6
?????????

• X?Y ????????
• ?(X,Y)??X????????
• (X,Y)??Y ????????

7
?????

• ?O ???E ?????,B1, B2, Bn ?O ?????,???????,??????
  ????????
• ??B1, B2, Bn ?????O????????

8
?????(2)

• ?A?O ???,B1, B2, Bn ?O?????,?P(Bi)gt0 (i1, 2,
  , n),???????

9
?????(Bayes theorem)

• ??A ????? O ???, B1, B2, ,Bn ?O ?????,?P(A) gt
  0,P(Bi) gt 0 ( i 1, 2, , n ) ,??

10
?????(Bayes theorem)-?

• ?????
• ????(????????)/????
• ????????????A???????,????B?????.??????????????
  ?????????B????????

11
???????(Bayesian decision theory )

• ??????????c ???,??????? w i??,i 1, 2, ,
  c??????w i????????P (w i)?????????????
  ?d ??????????,?????????)
  
• ???????,?????????????????

12
???????????????
13

• ?????????????????,?????100,000???????????????????
  ?????????????????????????????????????????,???????
  ??????0.95??????????????????,?????????????
• ?0.005???,?????????????
• ?????????????????

14

• ???G ?????????????????,T ?????????????????????
  ???,???

15
??????????????

• ?????????????????
• (1)???P(?i),P(X?i),i1,,c???????X????,??????????
  ????
• 
  j1,,x
• (2)??????????????,??(2-14)?????
  ai,i1,,a?????
• 
  ,i1,2,,a
• (3)?(2)????a??????R(aiX),i1,,a????,???????????
  ?ak,?ak????????????

16
??(expectation)
17
??(variance)
18
????????

• ???????????x?y??????????????????X?Y????,??Cov(X,Y
  ), ??? Cov(X,Y)E X-E(X)Y-E(Y)
• E(XY)-E(X)E(Y)
• ????

19
?????(binomial distribution )
20
?????(binomial distribution )
21

• ????????,????????????????,???????????????????,????
  ????????????????

22
????
23
??????
24
3 ??--???????

• ????????????????,
• XN(0,1)?,
• ???,X??????????-3,3??
• ?,??????????????0.3.
• ???????????????,????,Y ??????????

25
?????????

• ?????????
• ???????????????
• ????
• ????????????????
• ???????????????,??????????,?????????
• ??????
• Bayes??
• ??????????????,?????,?????????????????
• Parzen??
• kn-???

26
??????

• Maximum Likelihood (ML)
• ?????????,?????????????????????????
• ???????????,????,??????????p(x?i)?????????,?p(x?
  i,?)???
• ?????????????,Bayes?????????????
• ????????p(x?)?????Kx1, x2 ,, xN,?K???????

27
??????-????

• ????
• ??(loglarized)????

28
(No Transcript)
29
?????????
30
????

• ???????????????0

31
?????-??????

• ??????Kx1, x2 ,, xN???????
• ???????????,????? p(?),???????K????????????p(?K)
  
• ????????-Maximum a posteriori (MAP)

32
?????-????

• ???????????x???,????????
• ??????????????????
• ?????????????

33
?????-????-?

• ????????

34
?????

• ???
• ???
• ???
• ???
• ???
• ???
• ???
• ???
• ??????
• ????
• ????????

35
???

• ????????????????????????????
• ???xi ????p(xi),???????????I(xi)-log p(xi)
• ??????????????,????????????????????,???????
• I(xi)???
• ???xi????????xi?????????????xi????????xi???????
  ?????

36
???
37
???

• ???????(self-information),????X
  ??????(???????)???????????????????????????????????
  ?????????,???????????,????????????????????????????
  ??????????

38
???(joint entropy)
?????????I(xiyj)-log p(xiyj)
39
(No Transcript)
40
???(conditional entropy)
41
???(mutual information)

• ??(X, Y) p(x, y),X, Y ??????
• I(X Y) ?
• I (X Y) H(X) H(X Y)

42

• ????,??H(X) ?H(XY) ????
• ???I (X Y) ?????Y ???X ???????????,Y
  ?????????X?????

43
???????????
44
???(relative entropy)

• ???(relative entropy)?Kullback-Leibler
  divergence,KL ??)
• ??????p(x) ?q(x) ???????
• ??????0 log (0/q) 0, p log (p/0) 8

45
??????
46
???(cross entropy)

• ????????X p (x),q(x)?????p(x) ?????,??,????X
  ???q ?????????
• ??????????????????
• ????????????

47
???(cross entropy)-?2

• ????L (Xi) p(x) ????q ???????
• ?????(x1x2n),?????n???????,????????xi(i1,2
  ,,n)????????????????????xi?????????X?????????????
  ???????????,

48

• ??????????????,?n??????,??????????1?????????L
  ???(stationary) ergodic ????,????????,??Shannon-Mc
  Millan-Brenmain??,?????
• ??,xi?W,???????????????????????R,??????????
• H(L,q)-(1/R)lbP(x1x2xR)

49

• ??n-gram,????,
• ?????????

50
(No Transcript)
51

• ??N-gram????, N???,??????,??????,?????????? ?

52
???(cross entropy)-?4

• ??,????????q ??????????L ???????????????q
  ?,????????????,???????????????p(x)?

53
???(perplexity)

• ????????,????????
• ??????????????????
• L??? ,L ????
• ???
• ??????????????????
• ???,???????????

54
??????(noisy channel model)

• ?????????????????????????????????,???????????????
  ??????????????????????????????,???????????????,???
  ???????????????????????????????????????????????
• ??????????????????????
• ????????,?????????????????????????

55
??????(noisy channel model)-?1
56
??????(noisy channel model)-?2

• ??????????(binary symmetric
• channel, BSC)??????X0, 1,?????Y0,
  1????????????????????p,??,??????????1-p??????????
  ???????????

57
????(capacity)

• ??????????????????(capacity),?????????????????????
  ?????????????????
• ??????,??????????????X,??????p(X),????????????????
  ??,??,???????????????????

58
(No Transcript)
59

• ??????????????????
• ???????P(e)P(f e) ??
• ?

60
????????
61
????????-?

• ????,????????????f ?
• ????e???????,????????
• ?????
• (1)????????P(e)
• (2)??????P(f e)
• (3)???????????????
• P(e)P(f e)???

62

• ??!