9.4 ID3 ????

1
9. ????
2
9. ????
? ?
9.1 ??? ??? ?? 9.2 ??? ??? ? 9.3 ???? ???? 9.4
ID3 ???? 9.5 ??? ?? 9.6 ???? ?? 9.7 ??? ?? ?? 9.8
? ?? ?? 9.9 ?? ?? 9.10 ?? ??? 9.11 ??? ???? 9.12
??? ????? ?
3
9. ????
??? ?? Simon ?? ???? ?? ???? ??? ???
??? ? ???? ??? ?? ?? ??? ????? ????
????? ?
Simon? ????
4
9.1 ??? ??? ??

• ???
• ??(Example) ??? ????? ?? ?? ????
• ????
• ??(Advice) ????? ??? ?? ? ??? ??
• ???(Analogy) ??? ?? ?? ? ??? ?? ??
• ????
• ??, ???, ??, ??? ?? ?? ??

size(obj1, small) ? color(obj1, yellow) ?
shape(obj1, cube) size(obj2, large) ? color(obj2,
blue) ? shape(obj2, cube)
???
Size(X, Y) ? color(X, Z) ? shape(X, cube)
brick? ?
5
9.1 ??? ??? ??

• ??
• ??? ???? ???? ??? ?? ???? ???? ??,
• ?? ?? ??.
• ????
• ??? ?? ??? ???? ???? ??.
• ???? ??
• ????? ?? ??? ??? ???? ????? ????,
• ??? ?? ????? ??? ?? ??? ???? ?? ?
• ??? ?? ??? ??? ???? ??.

6
9.2 ??? ??? ?
???? ??? 9.1
a. ??? ????? ??? ??? ??
b. ? ??? ????? ? ??? ??? ??
7
9.2 ??? ??? ?
c. ??(Brick)? ????(Pyramid)? ???? ???? ????? ??
d. ? ?? ?? ???? ???? ??? ??? ??
8
9.2 ??? ??? ?
???? ?Luger02
???? ??
9
9.3 ???? ????
Weights light, heavy Heights tall, short
Body_type(Weights, Heights)
??? ????
10
9.3 ???? ????
???? ?? ??
1. ??? ??? ?? 2.??(Conjunctive)???? ??? ?? 3.
??? ??(Disconjunction)??? ?? 4. ??? ??? ??????
?? ???? ?? (?? ?? ??? sports? basketball? ??
?????)
weight(john, heavy)? weight(X, heavy)? ???
weight(X, heavy) ? height(X, tall) ? hobby(X,
basketball)? weight(X, heavy) ? height(X, tall)?
???
weight(X, heavy) ? height(X, tall) ? hobby(X,
basketball)? weight(X, heavy) ? height(X, tall) ?
hobby( (X, basketball) ? hobby(X, volleyball) ?
???
hobby(X, basketball)? hobby(X, sports)? ???
11
9.4 ID3 ????

• ???? ??? ????? ?? ???? ??
• ????? ???? (???) ????? ??
• ?????? ?? ??? ??? ??? ??
• ??? ?????? ???? ???? ?? ??? ??
• ?? ????? ?? ??? ??? ??
• ?? ??? ?
• ??? ?? ?? ? ?? ??? ??
• ??? ?? ?? ?? ? ?? ? ??? ?? ??
• ? ??? ?? ??
• ??? ???? ?? ?? ??? ???? ??

12
9.4 ID3 ????
? ?
? ?
???
??
????
50?? ??
??
??
????
1
50?? 100??
??
??
????
2
50?? 100??
??
??
????
3
50?? ??
??
??
????
4
100?? ??
??
??
????
5
100?? ??
??
??
????
6
50?? 100??
??
??
????
7
100?? ??
??
??
????
8
100?? ??
??
??
????
9
100?? ??
??
??
????
10
50?? ??
??
??
????
11
50?? 100??
??
??
????
12
100?? ??
??
??
????
13
50?? 100??
??
??
????
14
?? ??
13
9.4 ID3 ????
????
50?? ??
50??? 100?? ??
100?? ??
???? ????
???? ????
????
??
??
??
??
??
??
????
????
??? ????
????
????
????
??
??
????
????
??? ???? ??
14
9.5 ??? ??

• ????? ?? ?? ?? ???? ?? ???? ??
• ex)
• ?? 0?1? ???? ?? ???? ???? ??? ???? ??? n??
  2n ??? ???? ??? ??.
• n40? ?? ?? ???? ????? ? ???.
• ?? ???? ?? 1010, 1000? ???? ?? ????? 1? ????
  ???? ??, 0?? ??? ???? ??, 0? ??? 1? ???? ?? ??
  ???? ?? ?? ??? ??? ?? ???? ??? ????.
• ???? ??? ??? ?? ?? ??? ????? ???? ? ?? ??? ????
  ??? ?? ??? ???? ?? ???.
• ??? ???? ???? ??? ??? ??.
• ??? ??? ??? ??? ??? ???.
• ? ?? ?? ??? ??(Syntactic Constraints)? ??? ? ???
  ??? ??? ????? ??? ??? ???? ??? ??? ??? ??? ?? ??
  ?? ??? ??? ???.

15
9.6 ???? ??

• ?? ?? ?? ??? ?? ??
• ??? ???? ?? ??? ?? ?? ??
• ??? ?? ???(????)? ??? ??? ??? ???
• ??? ???? ?? ??? ?????, ???? ? ???
• ??? ?? ??? ?? ??.
• ???? ???? ????? ?? ??
• ????
• ??? ?? ????? ????? ????? ???? ???
• ????? ??? ???? ??
• ???? ????? ??

16
9.6 ???? ??
???? ??? ?
premise(X) ? cup(X) liftable(X) ?
holds_liquid(X) ? cup(X) part(Z,W) ? concave(W) ?
holds_liquid(Z) light(Y) ? part(Y, handle) ?
liftable(Y) cup(obj1) small(obj1) part(obj1,
handle) owns(tom, obj1) part(obj1,
bowl) concave(bowl) color(obj1,
red) small(obj1) ? part(obj1, handle) ?
part(obj1, bowl) ? concave(bowl) ?
cup(boj1) small(X) ? part(X, handle) ? part(X,
W) ? concave(W) ? cup(X)
????
??? ??
?? ??
????
???
17
9.7 ??? ?? ??

• ?? ??? ?? ??? ????? ??? ??? ??? ???? ?,
• ??? ??? ???? ??? ??? ???? ?? ???? ???
• ?? ????
• ??? ?? ???? ?? ?? ?? ???? ?? ??, ??? ??? ??
• Ex) ?? ??? ?? ?? ?? ??? ???? ??? ??? ????
• ?? ??? ??? ?? ??? ?? ???? ???? ??? ??
• ???? ???? ??? ?? ????? ?? ? ?? ?? ??
• ?????? ?? ??? ????? ?? ??? ??, ???? ? ??
• ??? ??? ???? ??? ??? ??? ?? ????? ??? ? ??.
• ??? ??? ???? ????? ? ??? ???? ?? ? ???
• ??? ????? ?? ????.

18
9.7 ??? ?? ??

• ??? ?? ??(Structure Mapping Theory)
• ??? ?? ??? ??? ? ?? ??? ?? ??
• 1. ?????? ??? ??
• 2. ???? ??? ??? ?? ? ??? ??? ??? ??
• 3. ??? ??? ? ??? ?? ??? ???

• ??? ?? ??? ??
• 1. ?? ?? ?? ???? ????? ???? ?? ?? ??
• 2. ?? ?? ??? ??? ????? ??
• 3. ??? ????
• 4. ??
• 5. ??

19
9.8 ? ?? ??

• ????? ?? ??? ??? ???? ??? ? ??? ?.
• ??? ??? ??? ??? ???
• AM
• ???? ????
• ???? ?? ??? ??? ???? ??
• ??? ???? ???? ?? ??? ?? ??? ??? ??
• ? ??? ???? ??? ???? ??? ???? ??
• ????
• ????? ???? ?? ???? ?? ??? ?????
• ?? ???? ???? ??
• ??? ??(Agglomerative Clustering)
• ????? ??? ?? ?? ??

20
9.8 ? ?? ??

• ??? ?? ??
• 1. ?? ??? ?? ???? ???? ?? ?? ??
• ??? ??? ???.
• 2. ? ??? ??? ????? ??
• 3. ?? ???? ??? ??? ??? ??? ??? ???
• ????.

??
??? ???? ??? ??? ???? ?? ??
??
??
?????? ?? ?? ?? ??? ???? ?? ??
??
???
???
????
??? ????
21
9.9 ?? ??

• ?? ??? ?? ?? ?? ??? ??? ?? ?? ?? ??? ??
• ??? ??? ????? ???

?? ??? ??? ??
t ?? ?? ????? ???(Discrete) ?? st ?? t?? ???
?? at ?? t??? ?? rt ?? t??? ??(Reward) ? ?
????? ??? ??? ?? ?? V ?? ?? ??? ??(v?(s)? ?? ??
???? ? ?? s? ?? ???)
??(?)? ?? ??? ??? ?? ??? ???? ??? ?????? ??? ???
?? ????(rt)? ???? ?? ??? ???? ??? ??? ??v? ???? ?
??? ???? ?? ??
22
9.9 ?? ??

• ?? ??? ??? ?? ?? ??
• ??? ???? ??? A??, ???? ??(????) ????
• ?? ?? 1(??) ??
• ??? ?? ?? ??? ??? ?? 95?? ??? ???.
• ???? ??? B??. ???? ??(??) ?? ??
• ?? ?? 2(???) ??
• ??? ?? ?? ????. ??? ?? -50?? ???.
• ???? ??? C??.  ???? ??(???) ?? ??
• ?? ?? 4(??) ??
• ?? ??? ???? ??? ??? ?? ????? ? ???? ????? ???
• ?? ???? ? ??? ??? ??? ??.
• ????? ? ??? ??? ????? ? ??? ?? ???? ??? ?? ??? ??
  ?? ? ??.
• ??? ?? ??? ????? ???? ?? ??? ??? ???? ??.
• ??? ??? ??? ?? ? ?? ?? ?? ??, ???, ??? ??? ?? ??
  ?
• ??? ???? ??? ??? ?.

23
9.10 ?? ???

• ??? ??? ?? ???? ?? ??????
• ???? ?? ???? ???? ???? ?? ??

??? ??

• ?? ???? ??? ????.
• ??? ???? ?? ??? ??? ????? ???? ??? ?? ??
• ??? ??.
• ???? ?? ?????? ??? ????? ?? ??.
• ???? ??? ???? ?? ??.
• ??? ???? ??? ??? ??

24
9.10 ?? ???
??? ??? ??? Y
X1 W1 X2 W2
. . . Xn Wn
n ?XiWi i1
????
???
?? ??? ??
25
?? ?? ???
PE
PE
PE
??? ??? ???
PE
PE
PE
PE
PE
PE
??? ?? ???
?????? ??? ??? ???, ? ?? ?? ?? ?? ?? ??? ????
??? ??? ??? ? ?? ? ???(hidden layer) ??
???(internal layer)
26
9.10.1 ?? ???? ??

• ?? ?????? ????
• 1. ?? ?? ???? ?? ??? ?? ?? ??
• 2. ?? ??? ??? ?? ?? ???? ???? ?? ?? ??
• 3. ???? ?? ?? ??? ? ??? ??? ??

Artificial Neural Network Learning Algorithm
Binarv-Valued input
Continuous-Valued input
Supervised
Unsupervised
Supervised
Unsupervised
ART II, Kohonen Self-organizing Feature Maps
Backpropergation, Perceptron
Hopfield Network, Bottzmann Machine
ART I
?? ??? ?? ????? ??(from Lippman89)
27
9.10.1 ?? ???? ??

• ?? ???? ????, ??, ??, ???, ??? ??? ?????
• ??? ??? ??? ???? ??? ??? ???? ??? ? ??
• ?????? ??
• ????? ?? ?? ???? ??? ??? ??
• ??? ???? ????? ???? ??? ?? ??
• ??? ??? ???? ?? ?? ??
• ?????? ??
• ????? ??
• ?????? ?? ???? ??? ??
• ????? ??? ???? ??? ??

28
9.11 ??? ????

• ??? ????? ??
• ?? ?? ?? ?? ??? ??? ??? ????
• ??? ?? ?????? ?? (DNAC.G.A.T)
• ???(population)??? ??? ?? ???(fitness)? ??
• ????? ???? ? ?? ??, ???? ??? ???
• ? ? ?? ??.

29
9.11 ??? ????

• ??? ????? ???
• ???(Reproduction)
• - ??? ?? ??? ?? ????
• ??? ??? ???? ???
• - ???? ?? ????? ??
• ??? ?? ???? ???
• ???? ???
• ??(Mutation)
• - ???? ??? ??? ??
• ??(Corssover)
• - ?????? ??? ??? ????
• ?? ??? ??? ?? ??

30
9.12 ??? ???? ?

• ???? ?? ???? ??
• 1) 0? 1? ???? 6?? ? ????(??101001)
• - 26 64?, ?? 32?? ?? ??
• 2) ??? ????? ???? ????

a) 010111 (?? 1?) b) 110101 (?? 2?) c)
100101 (?? 4?) d) 011011 (?? 5?)
??
3?
?? 101001
5?
6?
31
??? ???? ????
32
9.12 ??? ???? ?-2

• ??? B? ???? ???? C? ????
• ??? 10?? ??? ?? ???? ????. ??? ??? ?? 10?? ????
  ????.
• (C B B C C C C B B B) (C C C B C C C C B C)
• (B C B C B B C C B B) (C C C C B C C C C B)
• (B B B B B B B C B C) (B B C B C B B B B C)
• (B B C B B C C C B B) (C B B B B B B C C C)
• (C B C B B B B C C C) (C B C B C C B B C C)
• 10?? ?? ???? ?? ??? ??? ???? ???? ???
  ??(BCBCBCBCBC)? (CBCBCBCBCB)? ?? ??? ?? ??? ???
  ??.

33
9.12 ??? ????

• ? ?? ??, ?????(???, ??, ????)? ??? ???? ??
• ????(??) ??? ??(???? ??), ?? ????? ?
• ??? ??, ??? ????? ??
  ??.
• ????? ???, ? ??, ??, ??? ???? ??.

???? ??? ????
procedure genetic algorithm begin set time t
0 initialize the population P(t) while the
termination condition is not met
do begin evaluate fitness of each member of
the population P(t) select most fit members
from the population P(t) produce the offspring
of these pairs using genetic operators replace
the weakest candidates of P(t) with these
offspring set time t t1 end end