Christopher M. Bishop (2006):

1
????????????1???(??)

• Christopher M. Bishop (2006)
• Pattern Recognition and Machine Learning,
  Springer, pp.1-37

2
1. ?????????????
?????(????)???????????????????????? ??(sin(2p
x))????????????????(???????????????????)??????????
3
????????????M???????????????????????????????
???? ??? y(x,w) ?x ?????????? w???????? ?????
?????????????????????????????????
????????????????????????????????
??????? E(w)??????????? xn ??????? y(xn,w)
?????????? tn ???????????????? w ?????
4
???????????!
??????? w ?????2????????????? ????????? w
???1?????????????????????(???? w
???)???? ?????????????w???????????????
??????????M????????????????? ?????????(?????)????
5
M????????????? M0 ???????????????????
6
M1 ???1???????????????
7
M3 ??????????????!
8
M9 ??? ?????0???????????????????? ???????????(?
?????????)?????????????????!
9
???????????????? ??????????????????????? ??????!
M3 M9
?????????? (?????????) ? ?
??????????? (?????????) ?
??????????????
??????????????
????????????????????M???????????????????????
10
???????????????????? 1. (??????????)????????????
?????????????????????????????????????????????????
??????????????????????????????????????????? 2.
???????????? 3. ??????
11
????????????????????????????????????? ??????????2?
????????
?????? w2 wTw w02 w12 wM2???? ?
?????????????????????????? ?? ?
??????????????????????? ?? w0
??????????????????????????????????
12
2. ????????????
?????????????? ??????? X??Y?????X?????X??
???Y???
???
???????
??????????????????????
13
???????????????????? ? ????????????????(?????????
????????????)???????????????
???????????????? ?????????2/5 ?????????3/5 ?????
????2???????6? ?????????3???????1?
2/5
3/5
14
??????????????????????????????? ??????????????????
???????????? ????????????????
???????? ???????? ????????????? ??????????????
????????????? ??????????????
????????????????????????
????????? ????????(?????????????)(????????)
(?????????????)(????????) ??????????????????
15
????? ??????????????????????????????????? ?????
???????????????????????????????
????????????????????????
????????????????????????????????????? ????????????
?(????) ?????????????????(????????????)???????? ??
??????????????????????????(????) ?????????????????
????
16

• ???????????
• ???(?????)????????????????????????????????????????
  ??????????????????
• ??????????????????????????????????????????????????
  ????????????????????????????????????????????????
• ??????????????????????????/??????????????????????
  ????????????????????????(??????????????????????)??
  ????????????????????????????????
• ?????????(???????)????????????????????????????????
  ???????????????????????????????

17
???????????????????????????
???????????????????????????????????
???????????????????????????????? ?????????????????
???????????
??????????? p(Dw) ???w ????????????????????? D
????????????????????????????????? ??????????????
?????????????????????????????????????????????????
????????????????????
18

• ?????????????w??????????????????????????????? D
  ?????????????????????????
• ???????????????????????? D ???????????????????????
  ????? w ??????????????
• ????????????3??????????
• ??????????????????????????1???????????????????????
  ????????????????????? w ???????
• ????????????????????1/2???????????????????????????
  ???????????????????????????????? w ??????D
  ???????????????
• ?????????????????????????????????????????????????
  ????????????????

19

• ????????
• ??????????????????????????????????????????
• ??????????????????????????????????????????????????
  ???
• ?????????????????????????????????????
• ?????????????????????????????????