Instructor : Saeed Shiry

1
??????? ?????

• Instructor Saeed Shiry
• Mitchell Ch. 1

2
?????

• ????? ????? ???? ?? ???????
• ??????? ????? ??? ?????? ????? ???? ? ?? ??? ??
  ?? ???? ??????? ????? ? ?? ?????
• ?????? ???? ??? ??? ?? ??????? ????? ??? ?? ?????
  ?????? ?? ???? ?????
• ????? ??????? ?????
• ??????? ????? ????? ??? ?? ????? ????? ??????
  ?????? ?? ???? ?? ?? ???? ????? ??????? ???? ?
  ?????? ??? ?? ???? ???. ??????? ???? ??? ????
  ????? ?? ?????? ?????? ? ?? ???? ?? ???.

3
????? ??????? ?????

• From Mitchell (1997)
• A computer program is said to learn from
  experimence E with respect to some class of tasks
  T and performance measure P, if its performance
  at tasks in T, as measured by P, improves with
  experience E.
• From Witten and Frank (2000)
• things learn when they change their behavior in a
  way that makes them perform better in the future.
• From Ethem Alpaydin (2010)
• Machine learning is programming computers to
  optimize a performance criterion using example
  data or past experience.
• In practice this means
• We have sets of examples from which we want to
  extract regularities.

4
?????

• ??????? ????? ????? ????? ????? ?? ??? ?????? ???
  ?? ?? ??? ???? ????? ??? ? ????? ??? ?? ????????.
  ??????? ????? ?? ????? ???????? ????? ???? ??
  ???? ???????? ???.
• ???? ?????? ?? ?????? ?? ??????? ????? ?? ??????
  ????? ?? ????
• ??? ??????? ?????????? ?????? ????? ??????? ?
  ???? ? ????????? ????? ????? ? ...

5
????? ???

• ??? ?? ??? ??? ????? ?? ??? ??? ???? ?? ??????
  ????? ??? ?? ????? ??? ?? ?? ?? ??????
• ???? ??? ???? ???? ???????? ??? ??????? ?????
  ???? ???? ??? ????? ????? ???? ??? ???? ? ????
  ??? ???? ?????
• ?????? ????? ???? ???????? ????? ? ???????
  ??????
• ?????? ?????? ???? ????? ??? ????? ????? ?????
  ??????? ????? ? ?????????????PAC . ?? ??? ?????
  ?????? ????? ?????? ?? ?????? ??????? ?????
  ??????? ????? ???? ???? ?????? ?????? ?????? ?
  ????? ????? ?? ???? ???????? ??????? ???? ??
  ?????? ?????? ?????? ????.

6
?????

• ???? ???
• Machine learning by Tom Mitchell, McGraw Hill,
  1997.
• Pattern Recognition and Machine Learning,
  Christopher M. Bishop, 2006.
• Introduction to Machine Learning, Second Edition.
  Ethem Alpaydin,The MIT Press, 2010.
• ???? ?????
• Reinforcement learning An introduction, By
  Richard S. Sutton Andrew G Barto.
• ???? ??? ??? ?? ???? ???? ??? ???? ?????? ????
  ???.

7
???? ???

• http//ceit.aut.ac.ir/shiry/lecture/machine-learn
  ing/ml.html
• ??????? ? ???? ??????? ????? ?? ??? ?????? ????
  ??? ?? ?????? ????????? ???? ?????? ????.

8
???????

• ????? 30
• ?????? 30
• ????? ??? 30
• ????? 10

9
????? ??????

• ??????? ?? ????
• ????? ???? ???????? ??? ???????
• ?????? ?? ???????? ????? ?? ??????? ?? ???
  ???????? ????? ???? MATLAB ? WEKA
• ???? ?? ????? ???? ?? ????? ???? ???? ????
  ??????? ????? ?????? ????? ???? ???? ????? ????
  ???????? ? ????? ???? ???? ????? ???. ??????
  ????? ??? ?? ???????? ????? CD ????? ????.

10
?????

• ?? ?????? ?? ???? ?? ????? ????? ?? ??????? ?????
  ??????? ?? ????? ???? ? ????? ???? ????? ???? ??
  ?????.
• ????? ????? ?? ????? ???? ????? ???? ??? ? ??
  ???? ????? ??? ????? ????? ?? ?? ????? ?? ?????.

11
?????

• ?? ??? ??? ?? ??? ????? ?? ??? ???? ????
• ????? ?? ????? ???? ?? ??? ???? ?? ?? ????
• ???? ?? ??? ?????? ??? ????? ??? ?? ????? ???
  ????? ?? ??? ????? ???? pdf ?? ???? ????????

12
?????? ???
????? Introduction
??????? ????? Concept learning
???? ????? ???? Decision Tree Learning
???? ??? ???? ?????? Artificial Neural Networks
??????? ????? Evaluating Hypothesis
??????? ????? ?  ???? ??? ???? ???? Bayesian learning
????? ??????? ???????? Computational Learning Theory
??????? ????? Instance based learning
???????? ????? Genetic Algorithms
??????? ?????? Reinforcement Learning
????? ????? ??????? Support Vector Machine
??? ???? ????? Hidden Markov Model
???????? ?????? ????? Cellular Learning Automata
13
??? ????????

• ??? ????? ?? ?????? ????? ??????
• ???? ????? ?? ?????? ??????? ????? ????. ??
  ??????? ???? ??? ???? ?? ????? ????? ??????? (
  ?????/?????) ???? ????.
• ???? ??? ?? ??? ????? ?? ???? ??????? ???? ?????
  ???? ?? ??? ???? ?? ????? ?? ????? ( ???? ????).
• ???? ??? ???? ????? ?? ????? ????? ???????? ??
  ?????? ??? ????? ?? ?????? ????? ??????? ??? ???
  ???? ?? ??? ?????.
• ???? ??? ???? ?? ??? ???? ????? ???. ?????
  ??????? ?? ??????? ??? ??????? ??? ?? ?? ???? ???
  ???.

14
??? ????????

• ?? ??? ????? ?????? ?? ???? ????? ?? ???? ???????
  ??? ????? ????. ???? ????? ????? ???? ?? ????
  ????? ? ??? ?? ???? ???? ????? ????? ?????? ?? ??
  ???? ?? ??? ???? ???.
• ?? ????? ???? ????? ?? ?????? ?? ???? ?????? ??
  ???? ????? ????? ????? ???? ? ????? ?? ?? ??
  ???????? ??????? ????? ?????? ?? ????? ???? ??
  ??? ???? ??? ?? ????? ???.
• ??? ?????? ????? ?? ???? ?? ???? ??? ?? ??? ?????
  ??? ?????? ????? ???. ??? ??? ?????? ???? ????
  ??? ???? ??????? ???? ????? ???? ?? ?????? ?????
  ??? ??? ????? ???? ??? ?? ????? ???.

15
??? ??????? ?

• ?? ?????? ???? ????????? ????? ?? ???????? ?? ?
  ????? ??? ?????? ????? ???? ? ????? ??? ????????
  ???? ????? ???? ???? ???.
• ???? ??? ??????? ????? ????? Online ????? ????
  ???.
• ???????? ?? ???? ???????? ????? ???? ????? ???
• ???? ??? ???? ?? ????????? ????? ????? ???? ???.
  ( ?? ????? ?????? ????? ?????? ??? ????? ??
  ??????? ?? ??? ?????? ???? ???? ????? ???)

16
???? ?? ????????? ??????? ?????

• ????? ???????
• ???? ????
• ????? ?????
• ??????? ???
• ?????? ???? ??? ????????
• Bioinformatics
• ?????? ?????????

17
??????? ???

• ?? ??????? ????? ?? ??????? ?? ????? ???????
  ?????? ????? ????? ????? ?? ???????? ???? ???????
  ??????? ????.
• ??? ???? ??? ????????? (Predictive) ???? ?? ????
  ??? ???? ????? ???? ???? ?? ????.
• ??? ???? ??? ?????? ???? (descriptive) ?? ???? ??
  ?? ???? ???????? ?????.
• ????? ??? ?? ????? ?? ?? ????? ??? ?? ????? ????.

18
????? ??????? ?????

• ???? ???? ?? classification ??? ????? ?????
• ?? ?????? ????? ? ??? ??? ???? ??? ????? ???????
  ?? ???????

19
????? ??????? ??????????? ???????

• ??? ???? ????
• ??? ??? ?? ? ????? ??
• ???? ??????

20
??????? ????? ? ?????

• ??????? ????? ????? ????
• ????? ?? ???? ????? ?? ???? ?????? ??? ??????
• ?? ???? ???? ???? ????? ???? ?? ??????? ?? ????
  ???
• ??????? ????? ????? ????
• ?? ???? ????? ?????? ?????? ?? ????? ??? ?? ??
  ???? ????.
• ?? ???? ????? ??????? ????? ?????? ????? ?? ?????
  ?? ??????? ????.
• ????? ??????? ?? ???? ????? ???? ????? ???
  ??????.
• ?? ??????? ?????? ???? ?????? ? ???? ?? ????
  ????? ????? ??????? ?? ???? ?????? ????????.

21
????? ???????

• ??????? ????? ?? ????? ?????? ?????? ????
• Classification
• ????? ??? ?????? ?? ??????? ?? ?? ???? ??? ?? ???
  ????? ??? ?? ???? ???.
• Clustering
• ????? ?????? ??? ????? ?? ???? ??????? ?? ?? ??
  ?? ???? ???? ???? ???????.
• Numeric prediction
• ????? ??? ?????? ?? ?? ??? ????? ???? ???? ??
  ????? ????? ???? ???? ??? ???? ?????.

22
???? ????????? ???? ??????? ?????

• ??????? ????
• ??????? ???? ? ????? ??
• ??????? ???? ??? ????
• ??????? ?????
• ??????? ????? ??? ??????
• ????? ????? ???????? ????? ??
• ????? ?? ??????? ?? ???? ??? ???????
• ??? ????
• ???? ????
• ??? ???? ???? ???

23
????? ??? ????? ???????

• ??????? ????????? ( inductive)
• ?? ??????? ?? ????? ??????? ????? ????? ?????.
  ??? ???? ??? ?????
• ??????? Connectionist
• ?? ??????? ?? ????? ??? ??? ??? ???? ???????.
  ??? ???? ??? ???? ??????
• ??????? Bayesian
• ?? ????? ??? ?????? ?? ???? ???? ????? ?????.
• ??????? Reinforcement
• ?? ?? ??????? ? ????? ?? ???? ??????? ?????.
• ??????? Evolutionary
• ??? ???????? ?????

24
???? ???? ???????

• ??????? ?? ????
• ?? ?????? ?? ??????? ??????? ???? ???? ????? ??
  ?????? ????? ????? ? ?? ???? ?????? ??? ???? ???.
  ??? ????? ?????? ???? ????? ????? ?? ??? ?? ????
  ? ?? ????? ??? ????? ? ?? ????? ?? ??? ????
• ??????? ???? ????
• ?? ?????? ?? ??????? ??????? ???? ???? ?? ?? ??
  ??? ????? ????? ?? ???? ??? ? ???????? ?? ????
  ????? ???? ?? ??? ????. ??????? ???? ???? ????
  ???? ???? ??????? ? ?? ??? ???? ????? ???? ??
  ???? ?????? ???? ???? ?????.
• ??????? ??????
• ?????? ????? ?????/????? ?????? ???? ?????
  ?????/????? ????? ?? ?????? ?? ????? ??? ?????
  ?????? ?????? ?? ????? ???? ? ???????? ???????
  ?????? ? ?? ???? ????? ????? ??? ??????? ???
  ?????? ?? ?? ????? ?? ??? ??????.
• ??????? ???? ??????
• ?????? ???? ????? ?? ???? ????? ??? ?? ???? ?????
  ????? ????? ??? ??? ???? ??????? ????? ?????
  ????? ???? ????.

25
??????? ?? ????
??????? ????
???????? ??????? ?????
??????? ??????
?????? ???? ????
???? ??? ???? ???
26
????? ?? ??????? ?? ????

• ?? ???? ??? ???? ???? 50 ???? ? ????? ???? ??
  ???? ???? ????? ?????? ??? ???? ?? ?? ?? ????
  ????? ?? ?????? ???? ??? ?????

????? ????
560 1012 893 2196 936 37 79 76 130 82
27
????? ?? ??????? ?? ????

• Input feature x(i) ????? ????
• Output feature y(i) ???? ????
• lt x(i), y(i) gt ???? ???????
• x(i), y(i) , i1m ?????? ???????
• ??? ???????
• ?? ????? ?? ?????? ??????? ???????? ????? ?????
  h x? y ??? ?????? ?? h(x) ?????? ????? y
  ?? ????? ??? ????. ??? ???? ????? ? ??
  hypothesis ?????? ?????.

28
???????? ? ???? ????

• ????????
• ???? ?? ???? ??? ????? ?????? ???? ????? ???????
  ?? ????? ???????? ????? ???. ??? ??????? ?????
  ???? ? ????? ???? ??
• ???? ???? (classification)
• ???? ?? y ?????? ????? ?????? ????? ????? ?????
  ????? ??????? ?? ????? ???? ???? ????? ???. ???
  ??? ???? ???? ??? ?? ???????? ????

29
???????

• ?? ????? ?? ?????? ????????? ?? ????? E ?? ????
  ???T ??????? ????? ???? ??? ??? ?????? ?? ?? ????
  ?????? ???? ?? ????? P ?? ?? ??? ????? ?????
  ???? ??? .

??????? ???? checkers ??????? ????? ???? ??? ???? ??????? ????? ?? ????
T ????? ???? checkers P ???? ???????? ?? ?? ???? ???? ?? ??? T.E ????? ???? ?? ???? ???? T ????? ???? ??? ???? ?? ???? ????? P ???? ????? ???? ???? T.E database ?? ??????? ??? ???? ????? ???? ?? ???? T ????? ?? ???? ?? ??????? ???? ????? ?? ??????? ?? ?????? P ??????? ????? ?? ??? ??? ?? ????? ????? ?? ??? T.E ?? ??? ?????? ?? ?????? ? ?????? ??? ?? ?? ???? ???? ?? ???
30
????? ???? ????? ??????? ???? Checkers

• ??? ?? ???? 8x8 ???? ????? ?? ????? ???? ????
  ????? ???.
• ?? ?????? 12 ???? ???? ?? ???? ????
• ??? ???? ?? ?? ?????? ??? ????? ???? ?? ??? ?????
  ?????.
• ?? ???? ?? ???? ???? ????? ?????.
• ...

31
????? ???? ????? ??????? ???? Checkers

• ????? ????
• ??? ???? ????? ?? ???? ???????? ????????? ?????
  ?? ???? ?? ?????? ???? ????? ???
• ???? ????? ???? ???? ???
• ??????? ???????
• ?? ?????? ???? ???? ??????? ?? ???? ?? ??????
  ?? ?? ?? ?????? ???? ???? ???? ?????? ???? ??
  ?????? ???
• (M ???? B ?? ???? ????)
• ???? ????? ??????? ???? ????? ???? ??? ????
  ?? ?? ???? Evaluation ?????? ?? ???? ?? ??? ????
  ?? ?? ????? ???? ?? ?????? ?? ???

32
?????? ????? ???????

• ????? ????? ????? ??? ??? ?? ??? ????? ?????? ??
  ???? ??????. ??? ????? ??????? ??????? ?????
  ????? ???????? ?? ???? ??????????? ????.
• ?? ????? ??? ??? ??? ?? ????? ??????? ???? ?????
  ?????? ???? ????? ????? ?????? ??? ?? ??? ??????.
• ???? ????
• ????? ?????? ???? ????? ???? ? ???? ???? ?? ????
  ???? ???? ???? ???.
• ??? ?? ??? ?????? ?????? ?? ?? ??????? ??? ????
  ?? ?? ???? ? ????? ?? ????? ????.

33
?????? ????? ??? ??????

• ?? ????? ?? ??? ?? ??? ?????? ???? ?? ????? ?????
  ?????? ? ?? Credit Assignment ??????????? ???.
• ?? ???????? ?????? ?? ???? ?? ??? ????? ?????
  ???? ????? ?????? ????? ????? ??? ???? ??? ?? ??
  ???? ??? ????? ????? ???. ???? ???? ??? ?? ????
  ?? ???? ??? ???? ???? ???? ??? ???? ???? ???? ???
  ???? ?????? ??? ????.
• ?? ???? ??? ??????? ?? ???? ????? ?????? ???? ??
  ???.

34
????? ????????? ????? ??????? ??????

• ????? ???? ?? ????? ?????? ????? ?????? ??? ??
  ??? ?????? ?? ?????? ??????? ?????? ????. ??????
  ?? ?????? ???????? ?????
• ????? ???? ?? ???? ?? ???? ??????? ??????? ?????
  ?? ????? ???? ????? ??? ???? ?? ???? ?? ??????
  ?????.
• ?????? ???? ????????? ????????? ???? ??? ??????
  ?? ?? ?? ???? ???? ??????? ??? ?? ?????? ? ??
  ???? ???? ???? ?? ?????.
• ?????? ?????? ?????? ???? ???? ???? ?? ???? ????
  ?? ?????? ????? ?? ??????? ?????.

35
????? ??????? ?????? ?? ????? ??? ?????

• ?? ????? ??? ?? ????? ??????? ?? ??? ???????
  ?????? ??? ??? ?? ??? ?????? ?? ?? ?? ?? ????????
  ?? ???? ??????? ????? ????? ???? ??????? ????
  ?????? ???? ????? ?????.
• ?? ???? ???? ??? ???????? ???? ???? ?????? ???
  ???????? ???? ???? ??? ?? ????? ??? ????? ???????
  ????? ?????? ?? ???? ?? ?? ??? ????? ????? ?????
  ????.
• ?????? ?? ???????? ???? ??????? ?? ??? ????
  ???????? ?? ?????? ??????? ? ?????? ??? ?? ?????
  ?????? ??????????. ??? ?? ??? ????? ??? ??? ????
  ????.

36
??????? ???? ???? ?? ???? ???? ?? ???? ???.

• ?? ????? ?? ???? ?? ??????? ?? ???? ???? ??????
  ??? ????? ???? ???? ????? ?? ???? ??????? ????
• ????? ????
• ??? ???? ????? ?? ???? ???????? ????????? ?????
  ?? ???? ?? ?????? ???? ????? ???
• ???? ????? ???? ???? ???
• ??????? ???????

37
?????? ???? ???

• ?? ?????? ???? ????? ?? ???? ??? ????? ???
  ??????? ?? ???? ?? ?????? ?? ?? ?? ?????? ????
  ???? ???? ?????? ???? ?? ?????? ???. ???? ?????
  ????? ?????? ????? ????? ??? ????
• (M ???? B ?? ???? ????)
• ?? ??? ??????? ?? ????? ??? ?????? ????????
  ???? ????? ????? ???? ????? ???. ???? ?? ?? ????
  Evaluation ?????? ?? ???? ?? ??? ???? ?? ?? ?????
  ???? ?? ?????? ?? ???

38
????? ???? ????? ??????? ???? ???? (?????)

• ???? ?? ???????? ???? ?????????
  ????? ?? ???.
• ?? ????? ??? ???? ?? ???? ?? ???? ?????? ????
  ????? ???? ??????? ???? ????? ???? ????? ???
  ????? ?????? ????? ?? ?? ??????? ?????? ?? ?????
  ????
• ?? ?????? ???? ????? ???? B ?? ????? ????? ???
  ????

39
?????? ????
40
????? ???? ????? ??????? ???? ???? (?????)

• ????? ?????? ??? ?? ??????? ?? ????? ??? ????
  ??????? ???? ???? ???? ????? ?? ???? ???? ??????
  ???? ?? ?? ??? ????? ??? ?? ???? ????? ???. ???
  ???? ?????? ????? ????? ???? V ??? ?? ?? ????
  ?????? ???? ????? ????.
• Function Approximation
• ?? ???????? ?? ??? ???? ???? ???? ??? ???? ??
  ???? ??? ???? ?????? ????? ??????? ???? ?? ????
  ??? ?? ??????? ?????? ?? ?? ????? ???. ???? ????
  V(b) ?????? ??? ?? ??? ?????.

41
??? ????? ???? ???

• ?? ?????? ????????? ?? ???? ?????? ????? ?????
  ???? ????? ???? ??? ?? ???? ?????? ???? ???. ????
  ?????? ??? ????
• ??????? ?? ?? ???? ????
• ??????? ?? ?????? ?? ?? ??????
• ?? ???? ??? ???? ?? ?? ????? ??
• ?? ???? ????
• ?????? ??? ???? ?? trade off ??? ??? ? ?????
  ?????? ?? ?? ?? ????? ???? ?? ?? ???? ????? ??
  ???? ???? ????? ?? ????? ????? ??????? ??????
  ?????? ???? ???? ????? ??.

42
?????? ???? ???

• ?? ???? checkers ?? ?????? ???? ???? ???? ???
  ??????? ????? ??? ????
• ?? ?? ??
• ?? wi ?? ??????? ????? ?? ???? ???? ????????
  ??????? ?????? ????.

43
?????? ????????? ???? ????? ????

• ???? ??????? ???? ???? ?? ??????? ??????
  ????? ??? ??? ?? ?? ?? ????
  ?? ???? ??? b ????? ???? ??? V ???? ??? ????.
• ????
• ?? ???? ?? ????? ?? ??? ???? ??????? ?? ???? ????
  ?????? ??? ????? ????? ???? ?? ???? ????? ??
  ??????? ?????? ?? ????? ??????.

44
????

• ?????? ?????? ???? ???? ??? ???? ??????? ????? ??
  ???? ?? ??? ?? ???? ???? ??? ??? ??????? ????
  ???? ????????? ???? ??????? ????? ????? ???????
  ???? ?????.
• ???? ???? ??? x10,x21,x32,x40,x50,x60 ??
  ???? ??? ???? ? x11,x20,x30,x40,x50,x60 ??
  ???? ???? ???? ?? ?????? ????
  
  V(x10,x21,x32,x40,x50,x60)100
  
• V(x10,x21,x32,x40,x50,x60) -100
  
• ?? ?????? ???? ??????? ????? ?? ?? ????????
  ???? ??? ???? ??? ??????? ??
• ?? successor(b) ????? ?? ???? ?? ???? ?? ???
  ?? ??? ??????? ????? ?????? ???? ????? ?????? ???
  ???. ??? ???? ?????? ?????? ???? ?????? ?? ????
  ?? ?? ?????? ???? ??????? ????? ???? ?? ??????.
  ?? ??? ???? ?????? ???? ??? ?? ??? ????? ?????
  ??? ??? ???????.

45
????? ?????

• wi ?? ???? ???? ?????? ???? ?? ?????? ??????
  ?? ?? ??????? ?????? ????? ?????.
• ?? ????? ?????? ?????? ?? ????? ??????? ????
  ?? ???? ??? ?? ????? ???
• ???????? Least Mean Square

46
????
47
????
48
????
49
????
50
????
51
????
52
????
53
????
54
?????
55
??????

• ??? ????? ????? ??? ??? ???? ?? ???? ????? ?????
  ????
• ?? ?????? ???? ???!
• ???? ???? ??? ?? ???? ????? ???? ??? ??????? ??
  ?? ?????? ???? ???? ???? ?? ????? ???? ??? ????
  ???? ?????? ?? ???? ?? ?? ??? ????? ????.
• ?????? ???? ???? ????? ?? ?? ????? ??? ??????
  ??? ???? ?? ??????? ?? ?? ???? ???? ??????? ???
  ??????? ???????? ????? ????.

56
??????? ? ?????

• ?? ???? ?? ????? ?????? ?? ?? ????? ????? ?????
  ??? ?? ?? ?? ?? ???? ????? ???? ????? ?? ??????
  ?????? ????? ?? ??? ?? ?? ???? ??? ?????? ? ????
  ???? ?????? ????.
• ???? ???? ???? ?????? ???? ?? ???? ?????? ????
  ???? ?????? w0 w6 ?????? ????? ?? ????? ??
  ??????? ??????? ?? ????. ?????? ?? ???? ????????
  LMS ????? ????.

57
Learning Requires Bias

• ??????? ??????? ????? ???
• ?????? ????????? ?????? ???? ???? ??????? ????
  ???? ? ??? ???? ?? ???? ????? ??????? ????? ????
  ??? ???? ???? ?? ?????? ??? ?? ??? ??????? ?????
  Bias ????? ? ???? ???? Bias ??????? ???? ??????
  ????.

58
??? ???? ?? ???? ?? ????? ???????

• ?? ?? ???????? ??????? ???? ?? ????? ??? ??????
  ??????? ????
• ?? ????? ???? ?????? ???????? ????
• ???? ?????? ???? ?? ????? ???? ?????? ?????
• ????? ?????? ????? ??????? ?? ?? ????? ????? ????
  ????? ?????
• ??? ?????? ???? ????? ?????? ?? ???? ?????? ?????
  ??? ?? ?? ????? ??????? ?????? ????? ?????