Title: Decision Trees
1??????? ???? ?????
Instructor Saeed Shiry Mitchell Ch. 3
2?????
- ?? ?? ????? ??????? ?? ?? ???? ????? ????? ?????
- ???? ????? ????? ??
- ???? ?? ???? ??????? ???? ??????
- ?? ??? ??? ???? ????? ????? ?? ?? ???? ?????
??????? ?????? ? ???? ???????? ??? ???? ?? ???
ID3 ??????? ??????.
3???? ?????
- ?????? ????? ?????? ???? ????? ?????? ?????? ????
?????? ?????? ???????? ????? ????? ? ???? ???????
?????. - ??????? ???? ????? ???? ???? ????? ????? ??? ??
?????? ????? ???. ??? ??? ???? ?? ???? ????
??????? ???? ????? ??? ????? ???? ????? ??? ????
?? ??? ?????. - ??? ??? ??? ????????? ??????????? ???????
???????? ??? ?? ????? ?????? ????? ?? ?????????
????? ???? ????? ??? ???.
4????? ???? ?????
- ???? ????? ????? ??? ?? ?? ?? ????? ?? ?? ??
???? ???? ???? ????? ?? ?? ???? ?? ??? ????? ???
?????? ? ?? ????? ?? ??? ??? ??? ????? - ?? ??? ????? ????? ??? (non leaf) ?? ?? ?????
(attribute) ???? ?????. ??? ????? ????? ?? ??
????? ?? ???? ????? ???? ?????. - ???? ??? ????? ?? ????? ??????? ???? ?? ??? ????
???? (branch) ???? ???? ?? ?? ?? ?? ????? ?? ????
???? ??????. - ?????? ??? ???? ?? ?? ???? ? ?? ?? ???? ?? ??????
???? ??????. - ??? ???????? ?? ?? ???? ????? ??? ??? ?? ??? ????
?????? ????? ???? ???? ????? ???? ?? ???? ?????
?? ???? ?????.
5????? ?? ?? ???? ?????
??? ???
???
???
????
???????
???????
??
????
????
???
???
???
???
??????
??????
??
???????
- ?? ??? ??? ???? ?? ???? ?? ???? ?? ???? ?????.
- ?? ???? ?????? ?? ???? ????? ?? ??? ???? ????
???? ????? - ?? ???? ???? ???? ?????.
- ????? ???? ??? ???? ??? ??? ??? ?? ????.
- ? ??? ????? ?? ???? ????? ?? ???? ???? ??? ?? ???
???? ?? ???? ?? ?? ????? ????? ?? ???. - ??? ?????? ???? ??? ??? ????????? ??? ???? ?????
?? ???.
???
???
?????????
??????????
6????????
- ???? ????? ?? ?????? ?????? ???? ?? ????? ???? ??
?????? ???? ???? ?? ???? ????? ????? ??? ?? ????
?? ???? ????? ????. - ???? ???? ?????? ???? ?????? ???? ?? ?? ??? ????
???? ??? ?????? ???? ???? ???? ? ?? ????? ????
?? ?? ??? ???? ???? ??? ??? ???? ?? ??????
???????? - ???? ?????? ????? ??? ?? ??????? ?????? ????? ???
(?????-?????) ???? ??? ?????. - ???? ??? ????? ????? ?? ?????? ????? ????. ????
?? ???? ?? ??? ? ??? ????? ???. - ???? ?? ????? ?? ???? (disjunctive) ????.
7 ????? ??? ???? ?????
- ???? ????? ????? ????? ???? ?? ???
(classification) - ???? ?? ???? ???? ??? ????? ????? ???
- ???? ???? ??? ?? ??? ???? ?????? ?? ??? ?? ??Data
mining ??????? ?? ??? - ?? ???? ???? ?? ????? ?????? if-then ????? ??? ??
???? ??? ???? ??????? ??? - ????? ????? ???? ? ???? ????? ?? ?? ?? ???
- ?? ?????? ?? ??????? ?????? ?? ???? ??? ???????
????? ??? ???? ??????? ???
8???? ????? ???? ?????
- ?????? ??????? ??? ????
- ????? ?????? ????? ?????
- ???? ????.?????? ??????
- ????? ????? ???? ????? ???
- ???? ???
- ???? ?? ???? ?? ??? ????? ???? (AND)?? ????? ??
?? ???? ????? ? ??????? ????? ????(OR) ???
??????? ?? ??????.
9????
No
No
OutlookSunny AND WindNormal
10????
OR
11????
12???????? ??????? ???? ?????
- ???? ???????? ??? ??????? ???? ????? ?? ???? ??
??? ?????? ??????? (greedy) ???? ?? ?????
(top-down) ?? ???? ??????? ????? ??? ??????. - ??? ???????? ????? Concept Learning System (CLS)
?????? ?? ??? ?? ?? ??? 1950 ????? ??? ???. - ??? ???????? ???? Ross Quilan ?? ??? 1986 ?????
??????? ??? ????? Inducing Decisition trees
(ID3) ???? ?????. - ????? ???????? ?????? ????? ??? ????? C4.5 ?????
????? ?? ???? ????? ID3 ?? ????? ?????.
13???? ???? ID3
- ??? ???? ?? Ocuums Razor ????? ??? ??? ????
- ???? ???? ???? ???
- ???????? ?? ???????? ???? ????? ?? ?? ????
?????? ???? ?????? ?? ??? ?? ??????? ?????? ?? ??
????? ???? ???? ???.
14????? ???? ?????
- ?????? ??????? ??????
- ????? ???? ????? ?? ??? ???? ??? ?? ???????
?????? ?? ??????? ?????? ????? ???? ???.
15 ?????
- ??? ????? ?? ????? m ????? ????? ?????? ????
????? ???? ????? ???? - ????
- ???? ????? ????? ?? ???? ??? ?? ?? ??? ?? ?????
???? - ?? ????? ?? ?? ????? ?? ????? ?? ???? ?? ?? ???
???? ????? ???. - ?? ?????? ?????? ???? m ????? ???.
?????1 -
?????2 -
-
?????m -
????A
????B
16???????? ID3
- ?? ??? ???????? ???? ????? ?? ???? ?? ????? ?????
?????. ??? ???????? ?? ??? ???? ???? ????? ????
????? ???? ?? ???? ???? ???? ?????? ???? ????? - ???? ????? ???? ?? ?? ????? ????? ??????? ?????
?? ???? ???? ?? ???? ?? ?? ?? ???? ??? ?? ??????
??????? ??????? ?? ???? ???? ???. - ?? ?????? ??? ?????? ???? ?? ?? ?? ?????? ???? ??
?? ???? ????? ??? ? ??????? ?????? ?? ???? ?????
?? ???? ???? ??????. ??? ?????? ??? ???? ???????
???? ????? ?? ?? ???? ????? ?????? ?? ??????
????? ???? ??? ???? ?????? ???. - ??? ???????? ?? ?????? ??????? ??? ?? ?? ??
?????? ??? ???? ???? ???? ??????? ???? ????????.
17???????? ID3
18???? ????? ????
- ???? ????? ???? ????? ?? ???????? ??????? ?????
?? ????? ????? (label) ??? ?????. - ?????? ????? ????? ?????? ?????? ?? ?? ????????
?? ?? ???? ???? ?????? ?? ?? ????? ?? ???? ???
???? ??????? ?? ????? ????? ?????? ??????
???????? ????? ????. ???? ?? ???? ????? ??
??????? ????? ???? ???? ?? ??? ???? ?? ????. - ?? ??? ??? ?? ??????? ?????? ???? ?????? ?? ??
???? ???? ???? ???? ???? ?? ???? ??? ?????? ???
?? ???? ?? ???? ????? ???? ?? ???? ?? ??? ????
???? ???? ?? ???.
19???? ????? ???? ???? ????? ????? ????
- ?? ???? ????? (ID3) ?? ?? ????? ????? ?? ??? ????
??????? Information Gain ??????? ?? ??? ??
????? ???? ???? ?? ?? ????? ?? ?? ????? ???? ???
??????? ?????? ?? ?? ??? ???? ???? ???? ??? ???.
20 ????
- ???? ??????? ???? ???? ???? ???? ???? ?? ?? ?????
?? ????. - ?? ???? ??? ???? ????? ???? ?? ???? ???? ????
????? - x2
- x1
-
- x0
- ?? ???? ?? ???? ????? ?? ???? ??? x0 ?? x2 ??
?????? ???? ?????
21?? ????
- ???? ???? ?? ?? ??? ???? ???
-
- ??? ???? ???? ? ??????
- ??? ????? ??? ?? ?????.
- ?? ????? ???? ?? ???
- ???? ???? ??? ??
- ???? ??? ????? ??? ???.
22????? ??? ?????? ???? ?? ????? ???? ????
- ????? ?? ?? ???? ?? ??? ????? ??? ???? ???
- ?????? ????? ???? ???? ????? ?? ???? ???? ??
????? ???? ?????? ????? - ???? ?? ????? ???????
- ???? ? ???? ??? ???
- ?? ?? ??? ???????
23???????
- ????? ???? (?? ???? ?? ??? ???? ????) ?????? ??
- ?? ?????? ?? ???? ?? ???. ??? ?????? S ????
??????? ???? ? ???? ?? ?? ????? ??? ???? ???????
S ???? ?? ??? ???? ???? ???? ????? ??? ????? ??
???. - ?? ???? ??????? ???? ?? ?? ?????? ?
???? ??????? ???? ?? ?? ?????? ?? ????. ??????
0 log00 ??? ?????.
24????
- ??????? x0 ? x1 ? x2 ????????
- ????? ??? ??? ????? S ????? ????? ??????? ????
???? ???
25 ?????
- ??? ????? S ???? ???? ? ???? ???? ???? ???????
???? ??? ? - ??
26??????? ???? ???? ???? ??? ??? ????
- ??? ????? ??? ?????C ????? ????? ???? ??????? S
???? ?? ??? ???? ???? C???? ????? ??? ?????
????? - ?? ?? ?? pi ????? ?? S ??? ?? ?? ???? i ????
?????. ???? ??? ?? log ?????? ?? ????? 2 ?????
?????. ?? ??? ???? ?????? ??????? ??????? log2C
????.
27???? ???????(Information Gain)
- ???? ??????? ?? ????? ????? ??? ?? ????? ????
??????? ?? ?????? ??????? ?????? ?? ???? ???
????? ???? ?????. - ?????? ???? ???? ??????? Gain(S,A) ???? ?? ?????
???? A ???? ?? ?????? ??????? S ????? ??? ?????
????? - ?? ?? ?? Values(A) ?????? ??? ????? ????? ??? A
???? ? SV ????????? ?? ?? S ??? ?? ???? ?? A
????? ????? V ???. - ?? ????? ??? ????? ??? ????? ??????? ???? ?? ?
????? ??? ????? ??????? ???? ?????? ??? ??
??????? ???? ????.
28????
- ?? ??????? ?? ??????? ?????? ??? ????? ?????? ??
??? ??? ???? ???? ?? ??????? ?? ???????? ?????
??????? ???.
29 Overfitting
- ???? ????? ?? ??? h ????? ?? ???? ????? H ?? ???
??? ????? ????? - ??? ??? ???? ??? ?????? errortrain(h)
- ??? ??? ?? ???? ??? ???? D errorD(h)
- ??????? ???? ????? h H ??? ???? ??? ??????
Overfitting ?? ????? ??? ????? ?? ??? h0 H
???? ????? ???? ?? - errortrain(h) lt errortrain(h0)
- and
- errorD(h) gt errorD(h0)
30Overfitting
31????? ???? Overfitting
- ???????? ID3 ?? ???? ?? ???? ?? ????? ?? ???
????? ?? ?????? ???? ???? ??????? ?????? ?? ????
???? ???. ??? ??? ??????? ???? ?? Overfitting
???. ????? ???? overfitting ??????? ?? - ???? ???? ?? ???? ??? ??????
- ????? ?? ??????? ??????
- ???? ???? ??? ??? ?? ??? ????? ??? ????? ????? ?
?? ?? ??? ??? ???? ???? ?? ????? ?? ?? ???? ???
?????? ?????? ?????
32????? ??Overfitting
- ??????? ?? ??? ???? ??? ?? ????? ?? ????? ?? ??
???? ???? ???? ??? ?????? ?? ???? ???? ?????. - ????? ?? ??? ???? ???? ? ??? ??? ???? ???? ????
?? ???? ??????. (post pruning) - ?? ??? ??? ??? ????? ??????? ??? ??? ???? ?????
?????? ???? ???? ??? ???? ?? ????.
33??? ???? ???? ?? ??? Reduced Error Pruning
- ??? ??? ???? Quinlan ????? ??? ???. ????? ?? ????
????? ???? ????? ?? ?? ?????? ???? ??? ???. ???
??? ???? ?? ?? ???? ?????? ??? ???? ???? ???????
??? ??????? - ???? ?? ?? ?? ?????? ??? ? ?????? ????? ??????.
- ???? ?? ???? ??? ?????? ????? ??? ??? ??? ?????
?????. - ??? ???? ?? ??? ????? (??? ??? n )
- ??????? n ??? ??????. ??? ??? ???? ?? ?? ???
??????? ?????. ?? ??? ??? ???? ??????? ??????
???? ???? ???? ???? ??????? ???? ????? ??? ???
???? ???? ???? ?????. - ?????? ???? ????? ??????? ??? ????? ????? ???
???? ??? ??? ?????? ???? ? ?? ????? ?? ???? ????
???? ?? ???? ??? ??? ??????? ?????. - ??? ???? ????? ????? ?? ???? ?? ??? ?????? ????
?????? ????.
34Overfitting ?? ????? ????? ???
- ????? overfitting ????? ?? ???? ??? ????? ???? ?
???? ?????? ??????? ?????? ??? ?? ?? ????? ?????.
??? ????? ????? ???? ????? ?? ???? ?? - the hypothesis space is very large
- the hypothesis search is not biased toward simple
models - there is little training data
- there is a lot of noise in the training data
- ?? ??? ?? ???? ????? ??? ???????? ?????? ??
overfitting ?? ???? ??? - ?????? ???? ??? ??? ???? ???? ???? ??? ?????? ?
???? ??? ??? - ????? ?? ????? ? ?? ?????? ???? ?????? ( ????
????? ?? ?? ???? ????? ???? ????)
35?? ??? ????? ????? ??? ?? ?????? ??????
- ???? ???????? ??? ???? ID3 ????? ?? ????? ? ?????
??? ?? ????? ????? ???. - ???? ????? ??? ???????? ????? ??? ?? ????? ??????
?? ??? ???? ???? ?????? ???? ?? ????? ?????? ???
A ?? ????? ???? ??? Ac ????? ??? ?? Ac ???? ???
??? AltC ???? ? ?? ??? ??????? ?????? ???. - C ???? ???? ?????? ??? ?? ???? ??????? ?? ??????
???. ?????? ??????? ?? ???? ???? ?????? ????? A
??????? ????? ?? ?????? ??????? ????? ?????
?????? ????? ???. ?? ???? ????? ??????? ??????
????? ??????? ?????? ?????? ?????? ???.
36???? ???????? ?????? ????? ???? ????
- ??? ?? ???? ??? ?? ????? ?? ??? ????? ????? ????
??? ????? ?? ?????? ???? ????? ??? ?? ????
??????? ?????? ?? ???? ???? ???. ?? ???? ????
????? ??? ????? ????? ???? ??????? ????? ???
?????? ???? ???? ?????? ????? ?? ? ???? ?????
????? ??? ????? ??? ????? ???. - ?? ???? ????? ??? ???? ??????? ?????? ?? ?????
???? ???? ????? ??? ??? ?? ???? ??????? ??????
????? ???? ??? ????? ????. ???? ??? ???? ?? ???
??????? ?????? ?? ??? ???? ? ???? ?? ????? ????.
37????? ???? ???? ?? gain ratio
- ???? ????? ?? ????? ???? ??? ????? ?????? ??
????? ????? ?? ??? ???? ???? ? ?? gain ratio
??????? ???? ?? ????? ?? ?????? ????? ?? ??? ???
?? ?? ????? ?? ?? ??????? ? ???????? ???? ?? ??
??? ?????. - ???? ?????? ?????? ????? ??? ????? ?????
- ?? ??????? ?? ????? ??? ???? ???? ????? ??? ?????
?????
38????? ???? ???? ?? gain ratio
- SI ???? ????? ?? ????? ???? ?? ?????? ????? ??
????? ??????? ????? ??? ?????. - ???? ???? ?? ????? ???? ????? ???? ?? ?? ??????
????? ?????? ???? ?? ????? SIlogn2 ????? ?? ??
?????? ??? ?? ????? ?????? ?? ?? ?? ???? ?????
??? SI1 ????? ??. - ?? ???? ???? ??????? ??????? ???? ???? ??? ???
?? ???? ??? ???? ??? ????? ??? ? ?? ???? ????
???. ?? ??? ???? ?? ?????? ????????? ???????
?????.
39????? ???? ?? ????? ??????
- ?? ????? ?????? ?? ????? ???? ??? ????? ??? ????
???? ????? ?? ????? ???? ???? ? ?? ????? ??????
???????? ????? ??? ?? ?????? ????. - ?? ??? ???? ???? ???? ?? ???? ????? ??? ?? ?????
??? ?? ????? ?? ?? ????? ???. ???? ???? ???? ???
???? ?? ?? ????? ????? ????.
40???????? ?? ????? ??? ???????
- ?? ???? ?? ???????? ???? ????? ????? ??? ???? ???
?? ???????????? ????? ???? ??? ????? ???? ??
????? ?? ???? ??? ???? ????. ?? ??? ???? ??
?????? ??????? ??? ???? ?? ?? ?? ????? ??????????
????? ?????? ?? ??? n ???? ???? ???.
41UCI Machine Learning Repository
- Currently maintains 177 data sets as a service to
the machine learning community. - http//archive.ics.uci.edu/ml/
42????? ?????
- fuzzy decision trees
- pruning in decision tree induction