1990????Cortes ? Vapnik ???

1
????(??????????)?????????????????????????????
(2)?????
??? ??

• ???? ?????
• ????????????????

2
??

• ????????????????
• ???????????????????????????
• ????????????????

3
???????????(1)

• ???????????????????????
• 1990????Cortes ? Vapnik ???
• ???????????????????????????????????????
• ???????????????????????????????????????????
• ????
• ???????????????????
• ??????????
• ???????????
• ????????
• c.f. Kernel Methods in Computational Biology, MIT
  Press, 2004

4
???????????(2)

• ????????????????(???????)???????????
• ?????????????????????????????

5
SVM????????????

• ?????????????(SVM)
• ???????????????????????(??)???

6
????

• ??????????????????????
• F(x) (??????)??????????????
• ???? K(x,y)f(x)f(y)
• x ? y ??????? ? K(x,y)??

7
???????

• ?? K XX? R ????? iff.
• X ?????? F ????f?????
• ????

8
??????? (1)

• X ????????K(x,y) ? X ???????????
• K(x,y) ????? iff.
• ?? K(K(xi,xj)) (i, j1,,n) ?????

• ?? K ????? iff.
• K ?????????? iff.
• (?x) (xtKx ? 0)

9
??????? (2)??

• K ???????KV?Vt ???????????????i ??????????????V
  ??????
• vij(V)ij ??? ????
• ????s ?????????
• ?????

10
??????? (3)??????

• K(x,y) ????? iff.
• ????? f?L2(X) ????

11
???????(1)

• K(x,y)f(x)f(y) ?????????????? f(x)-f(y) ?
• ??

12
???????(2)

• Ki ?????????K ?????

13
??????(1)

• (xyc)d ?????
• ??(d2, c0???)

14
??????(2)

• K1, K2 ???????????????
• (i)(ii)????????????????????
• (i)(ii)(iii)????????????????????

15
??????(3)

• (i) f(x) X ?R ? f(x) f(y) ?????
• ??
• (ii) exp(K(x,y)) ?????
• ?? ??????????????????????????????????????????????
  ???????(2)??????????

16
??????(4)

• exp(-x-y2/s2) ?????
• (Gaussian RBF kernel)
• ??
• ?????????(3-i)????????
• ??????(3-ii)????????
• ???????(2-iii)???????

17
??????(5)

• ?????????????????

18
??????????? ???(1)

• ????? Rd ?????????????
• yi1 ? ?? yi-1 ? ??
• ????? (???????)
• (w,b) Rd ????? h wxb0 ???
• 1/w h ?????? xi ?????(margin)

19
??????????? ???(2)
20
??????????? ???(1)

• ??????
• ?????????????? (Sl)
• w ? b ?????????
• ?????????????????

21
??????????? ???(2)

• ???? (???????)
• ????

22
??????????? ???(3)

• KKT????
• ????????
• xi ?????????
• ? ai gt 0
• ??? h

23
??????????? ?????

• xixj ? K(xi, xj) ??? (? K(xi, xj) f(xi) f(xj)
  )
• ???? (SV???????????)
• ?? ????????????????????????????OK ? ????????

24
???????(2-???)

• ????????
• ???????
• ?????? ?i ???

25
???????(2-???) ????????
26
???????(1-???)

• 1-????????????????????

27
???????(1-???) ????????
28
?????

• ?????????
• SVM?????????
• KPCA ?????????
• KCCA ??????????

SVM?????????????(??)

• ???????SVM???
• ???????????????????????
• ????????????SVM???????????????????

29
???????????

• ???????????(feature vector)????????????
• ?????????
• ?????? ?????
• ???????? x ????
• F(x) (???, ??, ???, logP,)
• ???????? x,y ?????????
• F(x) ? F(y) ??????

30
??

• ????????????????
• ???????????????????????????
• ????????????????

31
???????????

• ???????????????????(3????)????????????
• ???????????
• ???????????????????45?????

32
??????? (Fold Recognition)

• ???3???????????????(fold)???
• ?????1000?????????????????(Chotia, 1992)????

33
SCOP??????

• ?????????????????????
• ???????????????

SCOP Root
Class.1
Class.2
?????
Fold.1
Fold.2
?????
Super Family.1
Super Family.2
?????
Family.1
Family.2
Family.3
mkkrltitlsesvlenlekmaremglsksamisvalenykkgq
ispqarafleevfrrkqslnskekeevakkcgitplqvrvwfinkrmrs
34
Super Family ??

• ????? SCOP ????????????????????

Super Family.1
???????
madqlteeqiaefkeafslfdkdgdgtittkelgtvmrslgqnpteaelq
dminevdadgngtidfpefltmmark
Super Family.2
Super Family.3

35
????????????
36
????????????

• ????????????
• ??????????
• Marginalized kernel, Fisher kernel, Local
  alignment kernel,

37
???????????????????

• HMM???????????
• Fisher ???? (Jaakkola et al., 2000)
• Marginalized ???? (Tsuda et al., 2002)
• ???????????????
• Spectrum ???? (Leslie et al., 2002)
• Mismatch ???? (Leslie et al., 2003)
• ?????????????????????
• SVM pairwise (Liao Noble, 2002)

38
????????

• ?????????????????????
• 2?????3???????????????
• ???????????????(?????)
• ???????????????????(????????)???

39
??????????(1) (Smith-Waterman??????)

• ???????????????????
• ???????????????
• ?????????????????
• ????HEAWGEH ? GAWED ????
• A W G E
• A W -E
• ????????????

40
??????????(2)
????? ??
41
LA????

• SW???????????????????
• ? MAX ??????????????
• ?????HMM?????????????
• ???
• SW?????????????HMM???
• SW?????? ???????
• LA????
• ??????????????(????)?

42
?????????(HMM)

• HMM???????????
• ??
• ??????S
• ????
• S1,2,n
• ????(k?l)
• akl
• ????
• ek(b)

43
HMM????????????

• Viterbi??????
• ?????????????
• Parsing(????)
• Baum-Welch??????
• (EM??????)
• ???????????????
• Learning(??)

44
??HMM

• ???HMM
• 1????1??????
• ?????
• ??HMM
• 1???????????
• ?????????

45
LA???????(1)

• ??(??)?????? Kaß (x,y)
• ???????? Kgß (x,y)

46
LA???????(2)

• ?????????(convolution)
• ?????????? n ?????????
• LA????

47
LA?????SW??????

• p(????)??????
• s(x,y,p) x,y?
• ??????p?
• ???
• ?????????????

??
48
LA?????SW???

• SW??? 1????????????????
• LA???? ????????????????

49
SVM-pairwise vs. LA kernel
SVM-pairwise
LA kernel
x
y
????
x
SW???
y
?????????
Pair HMM
??????
(0.2, 0.3, 0.1, 0.01)
(0.9, 0.05, 0.3, 0.2)
??
0.253
?????
0.227
50
SVM-pairwise vs. LA-kernel
51
???????????

• 2???? x ? y ?????K(x,x) ? K(x,y)??????????
• ?????????????????????????????????????
• (????)???

52
????????

• LA kernel ???
• 1????O(n2)?????????????
• ?????????????????????
• 1CPU?????????
• ?????
• SGI ORIGIN 3800 (R14000(500MHz) 256CPU)
• PC???? HPC (2.8GHz Xeom 8CPU)
• ???
• LSF (Load Sharing Facility) ? script ??????
• ????????(????????????CPU???)
• ?????Kernel?????
• ???????????????

53
????????
54
ROC???????
??????????????
55
mRFP???????
??????????????
56
??

• ???????????????????????
• Smith-Waterman?????????HMM??????
• ??????????????????????

??

• ?????????(??????)????????????????

57
??

• ????????????????
• ???????????????????????????
• ????????????????

58
??????????????????
59
Marginalized ???????(1)

• Kashima??2003????
• h ??? G1 ??????
• h ??? G2 ??????
• l(h) ?? h ????(???)??
• K(x,y) ????????????
• (? K(x,y)1 if xy, otherwise 0 )

60
Marginalized ???????(2)
61
Marginalized ???????(3)
62
Marginalized ???????(4)
63
Marginalized ???????(5)
64
Marginalized ???????(6)
65
Marginalized ???????(7)

• Marginalized ??????????????

66
Marginalized ???????????

• ??(???)?????????????
• ????????????????????????
• ??????????(????)??????????????????
• ????????????????(??????)???????????????????????
• ? ????(Morgan Index)???????

67
Morgan??????

• ??????????????????????1960?????
• CAS(Chemical Abstract Service)???
• ??????????(???)??????????????????????
• ????????????????
• ???????????????????(?????)
• ? Marginalized ?????????????????????????????????
• ???????????????????????????????
• ? ????????????????????????

68
Morgan??????????

• ?????????1??????
• ?????? x ?????????
• x ?????????????????x ??????

69
?????

• MUTAG ??????
• ???????????????
• ?????????????????????
• 125?????63???????
• ??1????????????????????????????????
• ??????
• SVM???????GIST (http//microarray.cpmc.columbia.ed
  u/gist)
• ???
• ?? C ???

70
???????? ????
Marginalized ???? ?????
71
??????? ???????
??????1
??????2

• Lin Reg ????? DT ???? NN ????????
• Prolog ???????????
• Sebag, Kramer ??? feature ??????

72
??????? ????
73
??

• ?????????????????????
• Marginalized???????????
• ????????????
• ????????

?????

• ????????????????
• ???????
• ?????????

74
????????????????
(Akutsu, Fukagawa, CPM 2005)

• ?????(SVM, etc.)
• ??? (??, ???) ? ??????
• ???
• ?????? ? ???
• ?????????????,??????????

Inverse function
75
????????????

• ?????
• ?????? ? ??????????
• ???? ? ??????????????????
• ?????? ? ?????NP??
• ????????
• ????????????
• ???????????

76
????

• SVM?????????
• N. Cristianini J. Shawe-Taylor An
  Introduction to Support Vector Machines and Other
  Kernel-based Learning Methods, Cambridge Univ.
  Press, 2000.
• (???? ??(?)??????????????????, 2005)
• ????????????????????
• Kernel Methods in Computational Biology, MIT
  Press, 2004.
• Marginalized Kernel Morgan Index
• P. Mahe, N. Ueda, T. Akutsu, J-L. Perret, J-P.
  Vert Extensions of marginalized graph kernels,
  Proc. 21st Int. Conf. Machine Learning, 552-559,
  2004.
• LA????
• H. Saigo, J-P Vert, N. Ueda, T. Akutsu Protein
  homology detection using string alignment
  kernels, Bioinformatics, 201682-1689, 2004.