Map-Reduce ? ???????????? ????????????? ???? ??????

1
Map-Reduce ? ???????????? ????????????? ????
??????

• ?????? ????????
• ??? ???, ????????
• kuzloc_at_ispras.ru

2
???????? (1)

• ???????????? ?????
• ... ????, ?????????? ? ?????? ?????? ?????? ??
  ????????? ????????? ?? ??????? ??????? ??????
  ??? ???? ? ?????????? ????????????? ?
  ???????????? ???????. ? ?????????? ??????
  ??????????? ?????????, ?????????????? ??????
  ??????

3
???????? (2)

• ? ????? ???????? ???? ????????????? ???????? ???
  ?????? ????? ???? ??????????? ?? ??????? ?????
  ????
• IBM DB2, Teradata, Sybase IQ, Oracle, ????????
  Microsoft SQL Server
• ?????? ? DB2 ? Teradata ??????????????
  ??????????? sharing-nothing
• ?????? ? Sybase IQ ?????????????? ????????????
  ???????? ??????

4
???????? (3)

• C ?????? 2000-? ???????????????? ??????????? Data
  Warehouse Appliance ??? Analytic Appliance
• ???????????? DWAA
• ???????? ???? - ???????? ?????????-???????????
  ???????,
• ??????????? ????? ???????, ??? ? ????????????
  ???????????? ????????????? ????, ?? ??? ????
• ?????????????? ??????? ?????????????????? ?
  ???????????????? ??? ?????? ?? ?????????????
  ??????????? ??????

5
???????? (4)????????????? ???????????? ???? (1)

• ??????????? DWAA ????????? ??? ? 1980-? ??.
• ??????????????? ?????????? ???????? ???? ???????
  ? ???????? Britton Lee Inc., ??????? ? 1989 ?.
  ???? ???????
• ????????????? ? ShareBase Corporation, ? ?????
• ????????? ????????? Teradata, ??????? ? ?????
  ??????? ???? ?????????????? ??????? DWAA

6
???????? (5)????????????? ???????????? ???? (2)

• ?????????-??????????? ???????, ?????????? ??
  ????????????? ????????? ????????? ????????
  ??????, ??????? ? ???????? ICL
• Content Addressable File Store
• ?????? ?? ????? ?????? ????????? ???????? ??????
  ?? ?????? ??????? DWAA ? ??? ??? ???????? ??????
  Teradata

7
???????? (6)????????????? ???????????? ???? (3)

• ??????????? ??????????? DWAA ? ?????? 2000-?
  ??????? ? ?????? ?????????????????? ???????? ?
  ????????? ? ??????????? ???????? ??? ?????????
  ???????? ?????? ? ?? ???????
• ????? ????????? ?????????? ????????, ?????? ??
  ??????? ????? ???????? Netezza

8
???????? (7)????????????? ???????????? ???? (4)

• ??????????? DWAA-??????? ?? ??????
• ??????????????? ?????????? ?????? (Field
  Programmable Gate Array, FPGA) ?
• ??????????? PowerPC
• ????????????? FPGA ? ???????????? ?????????
  ?????? ????????? ???????????? "?? ????" ?????????
  ?????????? ??????
• ?????????? PowerPC ?????? Intel (?? ???????????
  ????????) ????????? ??????? ????????????????? ?
  ??????? ?? ??????????

9
???????? (8)????????????? ???????????? ???? (5)

• ? ??? ??? ????????? ??? ????? ?????? ?????
  ????????, ??????????????? ?? ?????????? DWAA ?
  ??????????? ????? ??????
• ?????????????? ????????-???????????? ???????????
  (MPP)
• "sharing-nothing"
• Vertica Systems
• MPP,
• ???????????? ???????? ??????

10
???????? (9)????????????? ???????????? ???? (6)

• DATAllegro Inc.
• ??????? ????????? Microsoft
• ?????? Madison, ??????? ??????? SQL Server 2008
  R2 Parallel Data Warehouse
• MPP
• ???????? ?? ????????????? ???? Ingres
• ??? ?????, ??????? ???????? ?? ???????

11
???????? (10)????????????? ???????????? ???? (7)

• Greenplum
• MPP
• ??????? ???????? ?? ????????????? ???? PostgreSQL
  
• ??? ?????, ??????? ???????? ?? ???????
• Aster Data Systems
• MPP
• ??????? ???????? ?? ???????
• Kognitio
• MPP
• ??????? ???????? ?? ???????

12
???????? (11)????????????? ???????????? ???? (8)

• EXASOL AG
• MPP
• ???????????? ???????? ??????
• Calpont Corporation
• MPP, ???????????? ???????? ??????
• ??????? (InfiniDB) ?????? ????? ? MySQL
• Dataupia Corporation
• MPP
• ??????? ???????? ?? ???????

13
???????? (12)????????????? ???????????? ???? (9)

• Infobright
• ???????????? ???????? ??????
• ??????? ???????? ?? MySQL
• ????????????? ?? ????????????? ????????????
  ???????????
• ????????? ??????????? ?? ????????????
• Kickfire
• ???????????? ???????? ??????
• ???????????? ??????????? ??????????, ??????????
  ?????????? SQL-????????
• ??????? ??????? ?? ?????? MySQL
• ?? ???????? ?? ????????-???????????? ???????????
  

14
???????? (13)????????????? ???????????? ???? (10)

• ?????? DWAA ????????? ? ? ???????? ????????
  ??????????? SQL-??????????????? ????
• ????????? ???????? DATAllegro ????? ???????
  ????????-????????????? ???????? Microsoft SQL
  Server
• SQL Server 2008 R2 Parallel Data Warehouse
• Oracle ???????????? ??????????????????
  ????????-???????????? ????????? ????????? ??????
  Oracle Exadata Storage Server
• ??????????? ??????????? ???????? ?????? ????????
  ????

15
???????? (14)????????????? ???????????? ???? (11)

• ? ?????? ??????? ????????? DWAA ??????? ????
  ?????????? ??????????? ???????????, ?????????????
  ????? ????????? ??????????, ??????? ? ?????????
• ?? ????? ???????????????? ? ?????????? ?? ??????
  ?????????
• ?????? ??? ?? ???????? ????? ???????
• ????????? ??????? ?????? ??????? ????????????
  ????? ?????
• Richard Hackathorn, Colin White. Data Warehouse
  Appliances Evolution or Revolution?
• http//www.beyeresearch.com/study/4639
• ???????????? ???? ???????? ? ??????????? DWAA, ?
  ?????????????????? ???? ?????? ? ? ???? Vertica ?
  ????????? ??????? ??????
• ????? ????????????, ???? ??????????. ???? ??????
  ???????? ??? ???? ????, ????? ??????? ?????? ?
  ????
• http//citforum.ru/database/articles/one_size_fits
  _all/

16
???????? (15)??? ??? ????? MapReduce? (1)

• ?????????????? ?? ???????, ?? ????? ?????? ?
  ????????? ????? ??????? ???????????????
  ?????????? ????????-???????????? ?????????????
  ???? ? MapReduce
• ???????? DWAA ???????? ????????????, ?????????
  ??????????? ????, ????????? ?? ?????? ???????
  DWAA, ???????? ????????-????????????? ???
  ????????????? ????? ????????
• ??????? ??????????? ? ??????? ?? ????????????? ?
  ?????????? ?????????? ???????????, ? ???
  ???????????? ????? ????? ???? ?????????? ?
  "????????" ????? ??????????? ???????????????
  ?????????

17
???????? (16)??? ??? ????? MapReduce? (2)

• ????????? "??????" ??? "????????" ?????
  ?????????? MapReduce ? ? ???????????
• ????????? ?? ????? ?? ?????????????, ???????????
  ??????? ?????????????? ??????????????
  ???????????? ????,
• ????? ????????? ?????????????? ??????????? DWAA
• ??????? ???????????? ????????????? ?????????? ???
  ?????? ? ???????????? ???????? ?????????? ???????
  DWAA ????? ???????????? ? ????? ?????? ?????????
  ??????? ?????????????? ? ???, ??? MapReduce
• ??? ??????????, ?????????? ??????????
  ???????????? ??? ?????? ?? ???? ???????

18
???????? (17)??? ??? ????? MapReduce? (3)

• ????? ???? ????????? ????? ?????????????,
  ????????????????????, ??? ??? ??????? ????????
  ??????? ????????????? ????? MapReduce
• ???????? ? ?????????????????? ?? ??????
  ???????????? ???? Vertica, ?? ? ????????????
  ????????-???????????? ???? ? ????????? ?????? ??
  ???????
• ????? ???????????? ? ??. ????????? ???????? ?
  ????????????????? ??????? ??????
• http//citforum.ru/database/articles/mr_vs_dbms/
• ?????? ? ?????????? ????????????? ???? ??????
  ????????? ? ?????????????, ?
• ???? ?? ???-?????? ?? ?????, ???????? ? ??????
  ????????????, ??????????? ? ???, ???
• MapReduce ?? ???????? ???????????? ????, ? ???
• ??? ?????????? ????? ???????????? ??????????????
  ? "???????" ? ? ????? ?????????? ?????????? ??????

19
???????? (18)??? ??? ????? MapReduce? (4)

• ?????? ????????? ?????? ??????
• ??? ?? ? ?????????? MapReduce ?????-????
  ????????????? ????, ??????? ?? ???????
  ???????????? ?????
• ????? ?? ?????-???? ??????? ???????? ??? ????? ?
  ???????????? ????, ???????? ?? ???????? ????????
  
• ????????????? ?????? ?? ????? SQL,
• ??????????? ???????? ? ?.?.
• ???????, ??? ? ???????????? ???? ??????? ?????
  ????????????? ????, ???????? ?? ????????
  MapReduce, ?? ??????, ??? ?????????? ?? ?
  MapReduce
• ???????? ?? ???? ???? ??????????, ????????? ?? ?
  ?????????? ???????????? ????

20
???????? (19)??? ??? ????? MapReduce? (5)

• ?? ??? ??? ??????? ??????? ???????? ?????????????
  ?????
• ? ?????????? ????????, ????????? ? ????????????
  DWAA, ??????? ??????????????? ??????
  ?????????????? MapReduce, ???
• ???????????????? ?? ???????? ????? ?????,
• ??????????????????,
• ????????? ???????? ??????,
• ??????????? ????????????? ???? ??????????? ????,
  ??????? ?????? ??????????????????
• ?? ? ????? ??????? ?? ??????? ???????????????
  ????? ????? ????? ??????????????, ?? ?????????
  ?????????? ?????????
• ???????? ? ???????????? ???? ?????? ????????,
  ???????? ??? ?? ??? ?? ?? ????????

21
???????? (20)??? ??? ????? MapReduce? (6)

• ?????????? ??? ??????? ? ?????????? ??????????
  MapReduce ? ???????????? ????, ???????????? ?
  ????????????? ?????????????
• ???????? Greenplum ? Aster Data
• ????????????? Yale ? Brown
• ???????? Vertica,
• ??????? ????? ???? ?? ???????
• MapReduce ?????? ???????????? ????
• ???? ?????? ????? MapReduce ?
• MapReduce ????? ?? ???????????? ????

22
???????? (21)??? ??? ????? MapReduce? (7)

• ?????? ?????? ???????????? ?? ????????? ?????????
  ? ?????????? ???????? ?? ??????? ??????? ???
  ?????? ???????????????? ???????, ??????? ??????
  ?????????????????? ? ?????????? ?????
• ???????????? ???????????? MapReduce ?? ??????????
  ???? ??????????? ???? ? ??? ?????????????????
• ?????? ?????? ????????? ?? ?????????????
  MapReduce ? ???????? ?????????????? ????????????
  ????, ? ???????? ??????? ??????????? ???????
  ???????????? ???????????? ?? ???????????? ????
• ?????????? MapReduce ????????? ????????
  ?????????????? ???????????????? ??????????
  ??????? ? ?? ?????????????????? ?? ??????
  ?????????? ????????
• ??? ?????????? ???????? ??????? MapReduce
  ???????????? ??? ?????????? ????????? ETL ???
  ????????? ??????? ?? ?? ???????? ? ???????
  ???????????? ??? ??????
• ???????????? ???????????? MapReduce ? ?????????
  ??????? ???????? ?????? ?? ?? ?????????

23
MapReduce ?????? ? ?????????? (1)

• ??????????? ?????? MapReduce ???? ?????????
  ????????? ??? ???? ????? ? ???????? Google, ? ???
  ?? ???? ?????????
• ?????? ?????????? ???? ?????? ?? ??????
  ?????????????? ???????? ??????? GFS (Google File
  System)
• ??? ?????????? ??????? ???????????? ? ???????????
  ????????? ????? Google, ?? ????????
• ?????? ????????????? ? ?????????? ???
  ????????????? ??? Google

24
MapReduce ?????? ? ?????????? (2)

• ???????? ????????? ?????????? Hadoop MapReduce
  ???? ????????? ? ??????? Hadoop ?????????? Apache
• ??? ???????? ?? ????????????? ??????????????
  ???????? ??????? HDFS (Hadoop Distributed File
  System)
• ???????? ???????????? MapReduce ???????? ??????
  ?????????? Hadoop ? ???? ????? ??????????? ?
  ??????????
• ??????? ????????????? Hadoop MapReduce ?
  ????????? ????????????????? ? ?????????????????
  ???????? ???????? ??????????? ?????? ????
  ???????,
• ?????????? ????????????? ? ?? ???????????
  ?????????????????

25
MapReduce ?????? ? ?????????? (3)

• ?????? ?????????? Hadoop MapReduce ?????????
  ???????? ?? ????????????? Google, ? ???????
  ???????????? ????????? ?????????? ???? ? ????????
  ??????
• Jeffrey Dean and Sanjay Ghemawat. MapReduce
  Simplified Data Processing on Large Clusters
• http//labs.google.com/papers/mapreduce.html
• ???????, ??? ? ???????????? Hadoop MapReduce
  ???????????? ????????? ???????? ????????????
• ? ???? ????? ??????? ?? ???????? ? ??????????
  Google ???????????? ???????????? ???????,
• ? ????????? ????????, ??? ??? ????? ??????? ?
  ???? ????????? ?????????? Hadoop MapReduce, ?????
  ?????????????? ???????????? Hadoop

26
MapReduce ?????? ? ?????????? (3)????? ??????
???????????????? MapReduce (1)

• ?????????? ????????????
• ??? ??????????? ??????? ??? "????-????????", ?
• ? ?????????? ??????? ?????????? ?????
  ????????????
• ????????? ????????? ?????????????? ???
  "????-????????"
• ??? ????????????? ?????????? ? ????? MapReduce
  ???????????? ??? ???????? ???????
• Map ?
• Reduce
• ??? ??????? ???? ?????????? ?????????????
  ?????????? ? ????? MapReduce

27
MapReduce ?????? ? ?????????? (4)????? ??????
???????????????? MapReduce (2)

• ??????? Map ? ????? ???????????? ?????? ???? ??
  ????????? ??????? ??? ? ?????????? ?????????
  ????????????? ??? "????-????????"
• ????? MapReduce ????????? ??? ?????????????
  ???????? ? ????? ? ??? ?? ?????? I ? ???????? ??
  ??????? Reduce.
• ??????? Reduce ???????? ???????? ????? I ?
  ????????? ????????, ????????? ? ???? ??????
• ? ???????? ????????? ?????? ?????? ??????????????
  (? ?????) ????? ???????, ??? ? ?????????? ??????
  ?????? ??????? ?????????? ?? ????? ??????
  ??????????????? ????????

28
MapReduce ?????? ? ?????????? (5)?????????? ?
?????????????? ????? (1)

• ?????????? MapReduce ?? Google ? Hadoop
  ????????????? ?? ????????????? ? ??????????
  ?????????????? ????? ?? ?????????? ?????????
  ????????????????
• ???? ????? ?????????? MR-?????????? ????????????
  ????? ?????????? ?????? ?????????? ? ????????????
  ???????? Linux
• ???????????? ??????????? ??????? ???????????? ?
  ??????????, ????????????? ?? ???????? ???????? ?
  100 ??????? ? ??????? ??? 1 ??????? ? ???????,
• ?? ??????? ?????????? ??????????? ???????????
  ????
• ??????? ??????? ?? ????? ??? ????? ?????, ??? ???
  ?????? ???????? ?????? ????????? ?????
• ??? ???????? ?????? ???????????? ?????????
  ???????? ??????????, ???????????? ???????? ?
  ????????? ???????
• ??? ?????????? ???????, ??????????? ?? ????
  ??????, ???????????? ?????????????? ????????
  ???????
• ???????????? ???????????? ???? ??????? ? ???????
  ???????????? ?????? ??????? ??????? ??
  ?????????? ?????? ?????, ??????? ????????????
  ????????????? ?? ????????? ????? ????? ????????

29
MapReduce ?????? ? ?????????? (6)?????????? ?
?????????????? ????? (2)?????????? MR-??????????
(1)

• ?????? Map ?????????????? ?? ?????????? ?????
  ???????? ????? ?????????? ??????? ?????? ?? M
  ???????????????? ????? (split)
• ??????? ?????? ????? ??????????? ??????????????
  ?? ?????? ???????
• ?????? Reduce ?????????????? ????? ??????????
  ???????????? ????????????? ?????? ?? R ?????? ?
  ?????????????? ????????? ??????? ??????????
• ????????, ??????? ???????????
• ????? ???????? R ? ??????? ?????????? ????????
  ?????????????

30
MapReduce ?????? ? ?????????? (7)?????????? ?
?????????????? ????? (3)?????????? MR-??????????
(2)

• ?????????? MR-????????? ?????????? ?????????
  ???????
• ??????? ????? MapReduce ?????????? ??????? ????
  ?? M ??????,
• ?????? ??????? ????? ?????????? ?????????????
• ????? ????? ? ?????????? ????? ????????
  ??????????? ???????? ????????? MapReduce
• ???? ?? ??????????? ???? ????????? ??????
  ??????????? ???? ? ?????????? ??????????????
  (master)
• ????????? ?????????? ???????? ?????????????
  (worker),
• ??????? ????????????? ????????? ??????
• ????????????? ?????? ????????? ???????????? ???
  ?????????? M ????? Map ? R ????? Reduce

31
MapReduce ?????? ? ?????????? (8)?????????? ?
?????????????? ????? (4)?????????? MR-??????????
(3)

• ??????????? ?????? Map
• ?????? ?????????? ??????????????? ??????,
• ????????? ???? "????-????????" ??????? ?????? ?
• ???????? ?????? ???? ? ???????????? ?????????????
  ??????? Map
• ????????????? ???? "????-????????", ????????????
  ???????? Map, ???????????? ? ???????? ??????
• ???????????? ?????????????? ????, ??????????? ??
  R ???????? ?? ?????? ??????? ??????????,
  ???????????? ? ????????? ???????? ??????
  ???????????
• ?????????? ???? ??????????? ?? ?????
  ?????????????? ??? ?????????? ?????????????,
  ???????,
• ???????? ??? ?????????? ???????????? ??????
  Reduce
• i-?? Reduce-??????????? ?????????? ????????????
  ???? i-?? ???????? ?????????????? ???,
  ????????????? ????? M Map-?????????????

32
MapReduce ?????? ? ?????????? (9)?????????? ?
?????????????? ????? (5)?????????? MR-??????????
(4)

• ????? ????????? ???? ????????? ??????????? ??????
  Reduce ? ?????????????? ????????? RPC
• ???????????? ?????? ? ????????? ??????
  ???????????? ?????? Map ? ???? ?????? ??? ??
  ????????? ????
• ????? ???????? ???? ????????????? ??????
  ??????????? ?? ?????????? ?? ?????????
  ?????????????? ?????
• ??? ??????????? ????? ? ?????????? ?????????
  ?????
• ???? ????? ????????????? ?????? ??????? ????? ???
  ?????????? ?????????? ? ???????? ??????,
• ???????????? ??????? ??????????

33
MapReduce ?????? ? ?????????? (10)?????????? ?
?????????????? ????? (5)?????????? MR-??????????
(4)

• ????? Reduce-??????????? ?????????? ???? ??
  ??????????????? ????????????? ?????? ? ???
  ??????? ??????????? ???????? ?????
• ???????? ???????????????? ??????? Reduce ?
  ????????? ?? ? ???????? ????????? ???????? ?????
  ? ???????????????? ????????? ????????
• ?????????????? ???? ??????? Reduce ??????????? ?
  ????????????? ?????????????? ???? ???????
  Reduce-???????????
• ????? ?????????? ???? ????? Map ? Reduce
  ????????????? ???????????? ?????????
  ????????????, ?????????? MapReduce

34
MapReduce ?????? ? ?????????? (11)?????????? ?
?????????????? ????? (6)?????????? MR-??????????
(5)

• ????? ????????? ?????????? ?????????? ???????
  MapReduce ?????????? ??????????? ? R ??????
  ?????????????? ???????? ???????
• ????? ???? ?????????????? ?????? ????????
  ?????????????
• ?????? ?? ????????? ?????????? ?? ? ???? ????,
  ?????? ??? ????? ?????????? ????? ???????????? ?
  ???????? ???????
• ??? ??????? ?????????? MR-??????? ???
• ? ?????-???? ?????? ?????????????? ??????????,
  ??????? ????? ???????? ??????? ?????? ??
  ?????????? ??????

35
MapReduce ?????? ? ?????????? (12)?????????? ?
?????????????? ????? (7)?????????????????? (1)
????? ??????????? (1)

• ????????????? ???????????? ???????? ???????
  ??????????? ??????????? ?????????
• ???? ????????? ??????????? ?? ???????? ?? ?????
  ????????? ? ??????? ?????????? ??????????????
  ???????,
• ????????????? ??????? ??? ???????? ?? ?????
• ? ???? ?????? ??? ?????? Map, ??? ??????????? ?
  ??? ????????????? ???? ????????????,
• ??????????? ? ???? ???????? ?????????, ?
• ????? ?????? ??????????? ?? ?????????? ???????
  ?????????????
• ?????????? ????????????? ????????? ?? ?????
  ???????? Reduce, ?????????????? ??????????
  ???????????? ? ??????? ??????

36
MapReduce ?????? ? ?????????? (13)?????????? ?
?????????????? ????? (8)?????????????????? (2)
????? ??????????? (2)

• ????????????? ?????? Map ??????????? ???????? ??
  ??? ???????, ???
• ?? ?????????????? ???? ??????????? ?? ?????????
  ????? ??????????? ???????????
• ? ??????? ?????????? ? ?????? ?????
• ????????????? ?????? Reduce ???????? ????????? ??
  ?????????, ?????????
• ?? ?????????????? ???? ??????????? ? ??????????
  ?????????????? ???????? ???????

37
MapReduce ?????? ? ?????????? (14)?????????? ?
?????????????? ????? (9)?????????????????? (3)
????? ??????????? (3)

• ???? ????????? ?????? Map ???????????
  ???????????? A, ? ????? ??????????? ????????????
  B, ??
• ?? ???? ????? ??????????? ??? ???????????,
  ??????????? ?????? Reduce
• ????? ?????? Reduce, ??????? ?? ?????? ?????????
  ??????, ????????????? ???????????? A,
• ????? ????? ????? ?????? ?????? ?? ??????????? B

38
MapReduce ?????? ? ?????????? (15)?????????? ?
?????????????? ????? (10)?????????????????? (4)
????? ????????????? (1)

• ? ??????????? MapReduce ?? Google ? Hadoop
  ?????-???? ?????????? ????????????? ??
  ????????????
• ????????? ????????????? ??????????? ?????? ?
  ????? ???? ????????, ??? ????? ????????????, ?
  ???? ?? ?????????, ??
• ???????? ??????????? ??? ?????????? MapReduce
• ?????? ??????????, ??? ???????? ????????????
  ????????????? ????? ? ?????????????? ????????
  ??????? ????? ????????? ?????????????, ????? ?
  ?????? ?????? ????? ????
• ????????? ??? ????? ????????? ? ?????? ???? ?
  ?????? ??????????? ?????

39
MapReduce ?????? ? ?????????? (16)?????????? ?
?????????????? ????? (11)?????????????????? (5)
????????? ??? ??????? ??????? (1)

• ???? ?????????????? ?????????????? ??????? Map ?
  Reduce ???????? ??????????????????
• ?.?. ?????? ?????? ???? ? ?? ?? ?????????? ???
  ?????????? ??????? ??????,
• ?? ??? ?? ?????????? ? ????? ??????????????
  ?????????? MapReduce ??? ????? ????????
  ???????????? ??? ?? ?????????, ???
• ??? ???????????????? ?????????? ???? ?????????
  ??? ?????????? ?????-???? ?????
• ??? ???????? ?????????????? ?? ???? ???????????
  ???????? ??????????? ????? Map ? Reduce

40
MapReduce ?????? ? ?????????? (17)?????????? ?
?????????????? ????? (12)?????????????????? (6)
????????? ??? ??????? ??????? (2)

• ?????? ??????????? ?????? ?????????? ????
  ?????????? ? ??????? ????????? ?????
• ?????? Reduce ?????????? ???? ????? ????, ?
  ?????? Map R ??????, ?? ????? ?? ?????? ??????
  Reduce
• ?? ?????????? ?????? Map ??????????? ????????
  ????????????? ?????????, ? ??????? ???????????
  ????? R ????????? ??????
• ??? ????????? ?????? ????????? ?????????????
  ?????????? ??? ????? ?????? ? ????? ??????????
  ??????
• ????????? ????????? ? ?????????? ????? ? ??? ??
  ?????? Map ????????????

41
MapReduce ?????? ? ?????????? (18)?????????? ?
?????????????? ????? (13)?????????????????? (7)
????????? ??? ??????? ??????? (3)

• ??? ?????????? ?????? Reduce ?? ???????????
  ????????? ??????? ??????????????? ????????? ????
  ??????????? ? ????????????? ????
• ???? ???? ? ?? ?? ?????? Reduce ???????????
  ??????????? ?????????????, ??
• ??? ?????? ? ???? ?? ?????????????? ????? ?????
  ????????? ????????? ???????? ??????????????
• ???? ? ???????????? ?????????????? ????????
  ??????? ???????? ?????????????? ????????
  ?????????, ??
• ? ?????????? ? ???????? ??????? ??????????
  ?????????? ?????? ??????-???? ?????? ??????????
  ?????? Reduce

42
MapReduce ?????? ? ?????????? (19)?????????? ?
?????????????? ????? (14)????????? ?????? (1)

• ???? ????? ? ?????????? ?????? ??????? ??????????
  ??????? MapReduce ???????? ??????? "?????????"
  ("straggler")
• ????? ????????, ? ??????? ?????????? ????? ??
  ????????? ????? Map ??? Reduce ???????? ????????
  ?????? ?????
• ????????, ??-?? ??????????? ?????????????
  ????????? ??????????
• ??? ????????? ???????? "????????" ? MapReduce
  ??????????? ????????? ????? ????????

43
MapReduce ?????? ? ?????????? (20)?????????? ?
?????????????? ????? (15)????????? ?????? (2)

• ????? ??????? ???????? ? ??????????, ??? ???? ???
  ?? ????????????? ????? ???????????
• ??????????????, ????????? ???????????
• ?????? ????????? ???????????,
• ????? ??????????? ?? ????????? ??? ?????????
  ??????????
• ???? ???????? ????????????? ????? ???????, ?????
  ??????????? ?????????????? ???????? ?????????? ??
  ????? ??? ?? ????????? ?????????
• ? ?????????? ??????? ??????????? ????????? ?????
  ?????????? ??????? MR-???????

44
MapReduce ?????? ? ?????????? (21)???????????
??????????? (1)???????-?????????? (1)

• ? ????????? ??????? ? ??????????? ?????? Map
  ??????????
• ???????????? ????? ???????????? ????????
  ?????????????? ?????,
• ? ???????????? ????????????? ?????? Reduce
• ???????? ????????????? ? ?????????????
• ? ????? ??????? ???????????? ????? ??????????
  ?????????????? ???????-?????????? (Combiner),
• ??????????? ????????? ????????? ????? ?????? ??
  ?? ???????? ?? ????
• ??????? Combiner ??????????? ?? ??? ?? ??????,
  ??? ? ?????? Map

45
MapReduce ?????? ? ?????????? (22)???????????
??????????? (2)???????-?????????? (2)

• ?????? ??? ?????????? ??????? Combiner
  ???????????? ??? ?? ????? ???, ??? ? ???
  ?????????? ??????? Reduce
• ???????????? ???????? ????? ????????? Combiner ?
  Reduce ??????? ? ??????? ?????? ? ??
  ??????????????? ???????
• ?????????? ??????? Reduce ???????????? ?
  ????????????? ???? ???????????
• ?????????? ?? ??????? Combiner ?????????? ?
  ????????????? ?????, ??????? ????????????
  ???????????? ? ?????? Reduce

46
MapReduce ?????? ? ?????????? (23)???????????
??????????? (3)??????? ??????? ? ??????????????
?????? (1)

• ? ?????????? MapReduce ?????????????? ???????????
  ?????? ??????? ?????? ? ?????????? ??????
  ????????
• ????????, ? ?????? "text" ?????? ??????
  ?????????? ??? ???? "????-????????", ??? ????
  ??? ???????? ?? ?????? ?????? ?? ?????? ?????, ?
  ???????? ?????????? ??????
• ? ?????? ???????????????? ??????? ??????? ??????
  ?????????????? ? ???? ??? "????-????????",
  ??????????????? ?? ????????? ?????
• ? ?????? ?????????? ??????? ??????? ??????
  ????????, ????? ??????? ??????? ?????????? ??????
  ?? ??????????? ?????, ??????? ??????????????
  ?????????? ???????? Map
• ????????, ?????? ??????? "text" ????????????
  ?????? ?? ????????? ?????

47
MapReduce ?????? ? ?????????? (24)???????????
??????????? (4)??????? ??????? ? ??????????????
?????? (2)

• ???????????? ????? ???????? ? ??????????
  ??????????? ??????? ??????? ??????, ?????????
  ????? ?????????? ?????????? reader
• ? ?????????? Hadoop RecordReader
• Reader ?? ??????????? ?????? ?????? ?????? ??
  ?????,
• ????? ????? ?????????? reader, ???????? ?????? ??
  ???? ?????? ??? ?? ????????? ????????? ?
  ??????????? ??????.
• ??????????? ???????, ?????????????? ???????????
  ????????? ?????? ? ?????? ????????, ?
• ??????? ??????? ??????????? ??????????? ?????
  ???????? ?????????????? ??????

48
MapReduce ?????? ???????????? ???? (1)

• ???????? ???????????? ??????-?????????
  ??????????? ???? ? ????? ??????????? ?????? ???
  ?????? ???????????? ??????? ???? ??????, ???????
• ??????????? ? ????? ?????????? ?
• ???????? ???????? ????? ??????????, ???????????
  ????? ?? ??????? ???????? ??? ? ?????????????
  ???????? ??????????
• ?????? ???? ??? ????????????? ???????????
• ???, ??????????, SQL-???????????????
• ??????????? ??? ??????, ????? ?? ???????? ??
  ?????? ??? ?????? ???????????? ???????????????
  ????????????? ???????, ? ???????? ???????, ??
  ??????? ? ???????,
• ???????????? ?????????????? ??????, ??????
  ??????, ??????????? ???????? ??????

49
MapReduce ?????? ???????????? ???? (2)

• ???????????, ????????? ?????? ?? ???????? ??
  ???????,
• ??? ?????????? ?????? ? ??????? ?? ?????? ??? ??
  ?????????? ?????????,
• ??????????? ????????? ????????? ?????? ?? ??????,
  ????? ? ????? ??????
• ? ????? ???? ???? ??????????? ?????????? ??
  ??????? ??????? ???? ????????? ? ?????? ????????
  ????? ? ?????? ?????????????
• Lawrence A. Rowe, Michael R. Stonebraker. The
  POSTGRES Data Model
• http//www.vldb.org/conf/1987/P083.PDF
• ?????? ?? ??? ???? ????? ????? ? ? ????? ??????
  ??????? ?. ????????????? ? ??.,
• ??? ?? ??????? ????????????????? ????????? ?
  ???? Postgres

50
MapReduce ?????? ???????????? ???? (3)

• ????????? ???????????? ?????????????? ????????
  ????????, ??????? ? ???????, ????? ?????? ?
  ????????? ????????? ?? ???? ????????
  SQL-??????????????? ????
• ??????????????? ???????? ???????? ???????????????
  ? ????????? ????? SQL
• ????? ????, ???????? ????? ???????? ?????? ????
  ? ?? ?? ???????????????? ?????????? ?????
  ??????????? ?? ??????? ???????, ?? ???????
  ?????????? ? ?? ???????
• ??????????? ??????????? ? ????????????,
  ?????????????? ???????? ??????, ?? ??????????
• ????????, ????????, ??? ???? ???????? ??????
  ??????? ?????????? ????????? ??????????, ??
• ?????????? ??????? ????????? ??????????? ?
  ?????????, ???????????? ???????????????? ??????
  ??????????, ????? ??????? ????? ?????????????
  ?????? ??????????

51
MapReduce ?????? ???????????? ???? (4)

• ??? ?? ?????, ?? ???? ???????????? ?????????
  ???????????? ???? ??????????? ???????? ??????????
  ?? ??????? ??????? ?????????? ? ?? ????? ??????
  ???????????
• ?????? ? ???????????? ???? ???? ??????? ???????
  ????
• ? ???????????, ? ???? ????????? sharing-nothing
• ?????????? SQL-???????? ??????????????????
  ????????????? ????????????? ????????
• ?? ??????????? ???????? ?? ????? ??????????????
  ???????????? ????????????? ????????? ??? ???????,
  
• ???? ??? ???????? ?? ?? SQL,
• ? ?? ????? ?? ???????????? ?????? ????????????????

52
MapReduce ?????? ???????????? ???? (5)

• ?????????? ????? ???? ?? ????? ????????? ?
  ??????? ?????? ?? ????????????????, ? ????????? ?
  ?????-???? ????? ???? ????????
• ?? ?????
• ? ???? ???? ???????? ?? ??????? ??? ??????,
  ????????? ??? ?????????? ????????? ??? ???????,
  ??? ???? ????????????? ??
• ???????? ????????? ?????? ?? ????, ?
• ??? ????? ?? ?? ??? ??? ???????????? ????????????
  ????,
• ?????????????????? ??????? ???????????? ?????? ??
  ???????????? ??????????

53
MapReduce ?????? ???????????? ???? (6)

• ? ?????? ???????, ?????????? ???????
  ???????????????? ???? ????????? ?????
  ?????????????, ???????????? ???????? ?????????
  ??? ???????
• ????????, ?? ?????? ?????????? MPI
• ??-??????, ??? ??????? ??????? ??????? ???
  ????????????? ?????????? ??? ??????, ???????
  ????? ?????? ?? ???????? ?????????????????
  ??????????????
• ??-??????, ??? ????? ????? ????????????
  ???????????????? ??????????? ?? ????? ?? ???????
  ????????? ?????????????? ?????? ?? ????? ????????

54
MapReduce ?????? ???????????? ???? (7)

• ???????? ?? ??? ?????????, ?????-?? ?????????
  ????????? ?????????????????? ????????????
  ?????????????? ???????? ? ??????? ? ????????????
  ????????????? ???? ???-???? ?????????
• ??? ????? ????????? ????????? ????????? ??????
  ?????? ?? ?????????? ??????? ????????,
• ????????? ????????? ?? ??? ?? ????????????
  ????????? ?????? ?????? ?????? ???????? ??????
• ??????? ??????? ?????? ? ??? ?????? ???
• ??? ?????????? ???? ???? ????????????????
  ??????????, ??? ??????????? ????????????
  ?????????? ???????????????? ? ????????-???????????
  ? ????? ?????? ??? ??????
• ? ??????? ????? ???? ????????? ?????? MapReduce

55
MapReduce ?????? ???????????? ???? (8)

• ???? ???? ? ???????????? ????????????? ????
• Greenplum Database ???????? Greenplum ?
• nCluster ???????? Aster Data Systems
• ????? ? ???????? ????? ???????? ???????? ??, ???
• ?????? MapReduce ??????????? ?????? ????, ?
• ????????????? ???? ?????????? ????? ????????????
  ???????????? ????????????? ??????????
• ???????? ??????? ? ???, ??? ????? ????????????
  ????????????? MapReduce
• ? Greenplum Database ?????? ? SQL,
• ? ? nCluster ?? SQL

56
MapReduce ?????? ???????????? ???? (9)Greemplum
MapReduce ??????? ? SQL (1)

• ??????? ??????? ????????? ?? ????? ?????????
  ???????? Greemplum, ????????? ??, ? ?????????, ?
  ???? ????????? ?????????? MapReduce ?????? ?
  ??????????? SQL
• ?? ?????? ????????? Greemplum ? ????????
  ???????????? Greenplum Database
• ?????? ??????????? ? ??. ??????? ???????????
  ????? ?????? ??????? ??????? ??????
• http//citforum.ru/database/articles/mad_skills/
• ???????????? ??????? ???????????????? ????????
  ?????? ? ???????????? ??????? ??????, ???????????
  ? ???????????????? ????????????? ?????????
  ?????????? ??????? ? ????????? ?????????
  ????????????? ???????? ???????? ? ???????????
  ?????????? "???????????????" ??????? ?
  ??????????? ???????? ??????

57
MapReduce ?????? ???????????? ???? (10)Greemplum
MapReduce ??????? ? SQL (2)MAD Skills (1)

• ???????????? ? ??????????? ????? ?????? ? ???????
  ??????, ??????? ???????? (? ???????????!)
  ???????? ????????? ? ????????????? MAD
• ?????????? ???? ????, ??????? ?????? ???????? ??
  ??????? ?????
• Mad ????????????? ? ?????????? ????????, ??? ???
  ?????????? ?????? ??????? ? ?? ?? ?????? ??????
  ?? ?????????????
• ? ?????? ???????, mad skills ???????? ?????????
  ???????????, ? ??????, ???????????? ??????????,
  ?? ?????? ?? ???????, ???????? ??????
  ???????????? ??????????
• ?? ? Greenplum MAD ??? ??? ? ???????????? ??
• magnetic,
• agile ?
• deep

58
MapReduce ?????? ???????????? ???? (11)Greemplum
MapReduce ??????? ? SQL (3)MAD Skills (2)

• Magnetic (?????????????) ????????????? ?
  ????????? ?????? ????????, ??? ??? ?????? ????
  "??????????????" ?? ????????? ? ????? ??????????
  ??????, ???????????? ? ???????????
• ?????? ?? ????? ?????????? ?????? ????? ? ??????
  ?????????? ? ????????? ?????? ? ??????? ???
  ??????????
• ??? ????????????? ?????????????
  ("???????????????") ??????? ? ???????????
  ????????? ??????, ??? ??????????? ??????
  ????????? ?????? ????????? ?????????? ?
  ?????????? ??????????????? ????????? ETL, ?
  ????????, ? ????????? ????? ????????? ??????,
• ? ?????????? ???? ??????????? ?????? ?????????
  ?????? ????? ???????????? ?? ??????, ? ?????? ?
  ????? ????????? ?????

59
MapReduce ?????? ???????????? ???? (12)Greemplum
MapReduce ??????? ? SQL (4)MAD Skills (3)

• Agile (????????) ??? ??????????????? ??????????
  ??????????? ??????? ??????? ? ? ??????? ?????
• ????????????,
• ????????????????,
• ??????????? ?
• ?????????????? ??????
• ??? ????? ????????? ???? ??????, ?????????? ?
  ?????????? ????????? ? ?????????? ??????? ?????
  ????????? ? ?????? ??????????
• ? ??????? ?? ?????, ???????????? ??????????
  ?????? ??????????? ?????????, ????????? ?
  ???????????? ????????????? ???????????
  ?????????????? ? ????????????

60
MapReduce ?????? ???????????? ???? (13)Greemplum
MapReduce ??????? ? SQL (5)MAD Skills (4)

• Deep (???????????????) ????????, ??? ??????????
  ?????? ??????????????? ???????? ??????????
  ??????????? ??????? ?????????????? ?????????? ???
  ????? ???????, ???????????? ? ????????? ??????,
• ??? ??????????? ?? ?????? ???????? ??? ???????
• ????????? ?????? ?????? ???????
• ??? ????????????? ???????????? ??????,
• ??? ? ??????, ?????????????? ?????????? ???????
  ??????????

61
MapReduce ?????? ???????????? ???? (14)Greemplum
MapReduce ??????? ? SQL (6)MAD Skills (5)

• ????? ???????? ?????????? ???? ??????
  MAD-?????????, ??????? ?????? ? ??????????
  ??????? ? ?????????? ??????????? ? SQL, ?
  MapReduce
• ??? ??????? ???????????? Greenplum Database
  ????????? ???????? ???? ??????? ?????? ??????
  ????? ?????????
• ??????????, ?? ??? ?????????? ??? ???????
  MAD-?????????
• ??, ? ?????????, ??? ???????? ????????? ?????????
  ????????? ? ????????????? ? ????? ?????????
  ?????? ????????????? ????????????? ??????????

62
MapReduce ?????? ???????????? ???? (15)Greemplum
MapReduce ??????? ? SQL (7)MAD Skills (6)

• ???????????? ???? Greenplum Database ???????? ??
  ?????? ???? PostgreSQL, ?????????? ????????
  ??????????? Postgres
• ?????? ????? ?????? ??????????, Postgres ????
  ?????? ??????????? ????
• ???????????? Postgres ????? ??????????
  ???????????
• ????????? ? ???????,
• ???? ?????? ? ????
• ?????? ??????? ? ?????????? ??????? ??????
• ??? ??????????? ?????????? ??????? ???? ????????
  ? ??????? ? PostgreSQL
• ?????? ? ???????????? ? Postgres ?????? C, ???
  ???????????????? ????????? ?????????? ?
  PostgreSQL ????? ????????????, ? ?????????,
  ?????????? ?????????? ?????
• Perl ?
• Python

63
MapReduce ?????? ???????????? ???? (16)Greemplum
MapReduce ??????? ? SQL (8)MAD Skills (7)

• ? Greenplum Database ?? ?????? ???? ????????????
  ?????????? ??????? ?????????? ??????????? ?????,
  ??????????? ?? ?????? ????? SQL ???????????
  ?????? ??????????????? ?????????, ??? ???????,
  ??????? ? ???????????
• ???????????? ????? ?????????? ???????????
  ?????????????? ????????? ? ? ??????????????????
  ?????? ???????????????? ?? ?????????? ?? ?????? ?
  ????????-???????????? ?????
• ??? ????? ???????? ????? ????????????? ???????
• ?????? ? ????? ?????? ??? ????????????? ??????
  ??????? ? ??????? ?????? ?????????????-??????????
  ?????????? ????? ???? ? ????????????? ?????? SQL,
  ? ??? ??????? ???????? Greenplum,
• ??? ?????? ?????????? ? ???????????
  SQL-???????????????? ???????? ??????????????? ?
  ?????????

64
MapReduce ?????? ???????????? ???? (17)Greemplum
MapReduce ??????? ? SQL (9)MAD Skills (8)

• ? ???????? ???????????? ??????????????
  SQL-???????????????? ? Greenplum Database
  ?????????????? ???????????? ?????????? MapReduce,
  ? ???????
• ??????????????? ?????? ?? ???? ??????,
  ??????????? ? ????????? ??????
• ??? ????????????? MapReduce ????????? ?????
  ??????????? ???????? ??? ??? ??????????? ???
• ????? ???????????? ?? ?? Perl ? Python
• ? ????????, ??? ????? ??????????? ?? ???????? ?
  ????????-???????????? ?????,
• ????????? ??? ?????????? ????????? ?? ???????
  ?????? MapReduce

65
MapReduce ?????? ???????????? ???? (18)Greemplum
MapReduce ??????? ? SQL (10)??????????
MapReduce ? Greenplum Database (9)

• ????? ??????? ????????????????? ??????? ??????
  (Dataflow Engine)
• ?????? ???????????????? ?????????? ????
  PostgreSQL ??? ???????????
• ????????-????????????? ?????????? ???????? ?
• ??????? ?????????????? ????????????, ?????????
  ??? ????????? ?????? MapReduce
• ? ?????????? SQL-??????????????? ???? ? MapReduce
  ???????? ? ????? ?????, ??????????????
  ????????-???????????? ????????? ??????,
• ? ????????? SQL ? MapReduce ????????
  ????????????????????

66
MapReduce ?????? ???????????? ???? (18)Greemplum
MapReduce ??????? ? SQL (10)??????????
MapReduce ? Greenplum Database (9)

• ??????? Map ? Reduce ? ????? Greenplum Database
  ????? ??????????????? ?? ?????????? ??????????
  ?????? Python ? Perl
• ????? ???????????? ???????? ??????????? ????????
  ? ????????? ??????, ???????????? ? ????????????
• Python Package Index (PyPi) ?
• Comprehensive Perl Archive Network (CPAN)
• ? ??????? ???? ???????????? ?????????
• ???????? ??????? ???????????????????? ??????,
• ?????????????? ???????????????? ????????,
• ??????????? ???????? HTML ? XML ?
• ?????? ?????? ??????????? ????????, ????????????
  ???????? ??????????

67
MapReduce ?????? ???????????? ???? (19)Greemplum
MapReduce ??????? ? SQL (11)??????????
MapReduce ? Greenplum Database (10)

• ? ????? Greenplum Database ??????????? MapReduce
  ?????????????? ?????? ? ??????,
• ?????????? ? ??????,
• ??????????????? Web-??????? ?
• ???? ???????????? ????????? ???????????? ???????
• ?????? ? ????? ?????? ?? ?????? ?????????
  ????????, ????????????? ? ?????????????? ????
• ??????????,
• ????????????,
• ???????? ?????????? ? ?.?.
• ? ?????? ???????, ??????????? ?????? ? ??????,
  ???????? ? ???? ??????, ?????????????? ?? ????
  ?????????? MR-???????? ? ???? Greenplum Database
• ??? ????????? ???????? ???????? ?? ?????????
  ??????

68
MapReduce ?????? ???????????? ???? (20)Greemplum
MapReduce ??????? ? SQL (12)??????????
MapReduce ? Greenplum Database (11)

• ??????????? Greenplum Database ? ????????????
  ?????????? SQL ? MapReduce ????????? ?????????
  ????? ????????????????,
• ?????? MR-????????? ???????? ??? SQL-???????? ?
  ????????
• ????????, ????? ????????? MR-????????? ???
  ????????? ???? ??????
• ??? ????? ????? ???? ????????? ??????? MapReduce,
  ??? ??????? ?????? ????????? ?????? ??????? ??
  ???????
• ????????? ??????? ??? ?????? Greenplum Database
  ???????? ???????????? ????? ??????????? ??????
  ????????,
• ?????? ???? MAP ??????????? ?????? ???? ????
  ????? ??? ????? ?????????

69
MapReduce ?????? ???????????? ???? (21)Greemplum
MapReduce ??????? ? SQL (13)??????????
MapReduce ? Greenplum Database (12)

• ??? ? ? ?????????? ??????????? MapReduce,
  ?????????? ?????????? MR-???????? ?????
  ??????????? ? ???????? ???????
• ?? ????????? ?? ?????? ????????? ??????????????
  ?????? ? ???? ?????? ? ????????????
  ?????????????? ????????????? ???????? ???? ??????
  
• ? ?????????? ??? ?????? ????? ???????????????,
  ????????, ? ??????????? SQL-????????
• ?????? ?????????????? ?????? ? ??????? ??????????
  ???????????? ??????? ? ?? ???????? ??????
  ????????? ????????

70
MapReduce ?????? ???????????? ???? (22)Aster
Data MapReduce ??? ?????? UDF (1)

• ? ???????? Aster Data ??????? ???? ?????? Big
  Data, Fast Insight, ???????, ?? ????, ???????? ??
  ?? ?????
• ??????????? ????????-????????????? ?????????
  ?????? ? ????????????? ?????????
• ? ??? ????? ???? ???????????? ??????????
  MapReduce, ?????????? ? ????
• ???? ??????? ? ??. SQL/MapReduce ????????????
  ?????? ? ????????? ???????????????, ??????????? ?
  ??????????????? ???????, ????????????
  ??????????????
• http//citforum.ru/database/articles/asterdata_sql
  _mr/
• ??????, ? ??????? ?? Greenplum, ??? ??????????
  ??????????? ?? ??? ??????????? ???????????????
  ???????? ??????? ????????? ??????, ?
• ??? ?????????? ?????? ?????????
• ?????? ?????????????????? (?? ?????? MapReduce),
• ??????????????? ?
• ??????????? ????????? ???????,
• ???????????? ?????????????? ? ?????????? ??
  ?????????? ??????? SQL

71
MapReduce ?????? ???????????? ???? (23)Aster
Data MapReduce ??? ?????? UDF (2)??????????? ?
???????????? SQL/MapReduce (1)

• ?? ?????? ???????? ????????????? ???? nCluster,
  ????????????? ???? SQL ?? ?????? ????????????
  ????????????? ????????????? ????
• ? ????? ???????, ???????? ?? ??????????
  ??????????? ????????????? ???????????? ?????
  ?????, ??? ?????? ?????????? ?? ???????????
  ????????????
• ? ?????? ???????, ??? ??????????? ??????????
  ?????????? ?????? ???????? ? ???????????, ???
• ???????? ?????????? ????? ???????? ???????????
  ???, ???????? ??????? ????????????? ??????
• ???????, ???????????? ???????? SQL-???????????????
  ???? ????????? ??????? ?? ???????? ?????, ?
  ????? ??????? ????????????? ???????? ????? ????
  ?????? ?????? ?? ???????????,
• ??? ???????? ? ?? ??????????? ??????? ??????????,
  ? ?????? ? ?????????? ??????????

72
MapReduce ?????? ???????????? ???? (24)Aster
Data MapReduce ??? ?????? UDF (3)??????????? ?
???????????? SQL/MapReduce (2)

• ??? ???????? ???????? ???????? ?? ???? ?????????
  ? SQL-??????????????? ???? ????????? UDF
• ????? ??????? ????????? ????????????? ??????
  ?????? ??????? ??? ?????? ???? ?????????? ??????
• ????? ????????? ???????????????? ????????????
  ????
• ?????? ???????????? ????????? UDF ???????????????
  ? ??????? ?? "???????????" ????, ?
• ?? ????????? ?????????????? ?????
  ???????????????? ?????????? UDF
• ?????????????? ?????????????????
  ????????????????? ???? ? ????????-????????????
  ????? ? ??????????? ?????? ????????
• ??????? ?????????? ?????????

73
MapReduce ?????? ???????????? ???? (25)Aster
Data MapReduce ??? ?????? UDF (4)??????????? ?
???????????? SQL/MapReduce (3)

• ? Aster Data ?????????????? ?????????
  ??????????? ??????????-???????? UDF
  ??????????? ?????????????? SQL/MapReduce,
• ?????????????? ?????? SQL-???????????????
  ????????-???????????? ???? nCluster

74
MapReduce ?????? ???????????? ???? (26)Aster
Data MapReduce ??? ?????? UDF (5)??????????? ?
???????????? SQL/MapReduce (4)

• ??????????? ????? SQL/MapReduce ????????????
  ????????? ???????????
• ????? ?????????? ????????? ? "???????????" ?????
  ???????? ??? ????????? ? ?????????????? SQL, ?
  "?????????????" ?????? ? ??????????? ?????????
  ?? ???? ??????????????? ??????????? ???????
• ????????? ??????? ??????????? ??? ??????????????
  ??????? ?? ?????? ???? ??????, ??????????????
  ??????????????? ??????????
• ????????? (cost-based) ??????????? ?????
  ????????? ??????? ? ??????? ??????????
  SQL-????????, ?????????? ??????
  SQL/MapReduce-???????, ?? ?????? ???????????
  ?????????? ??????
• ???????????? nCluster ????? ?????????????
  SQL-??????? ? ?????????????? ???????????????
  ??????? ??????? ??????, ??????????? ?
  SQL/MapReduce-????????

75
MapReduce ?????? ???????????? ???? (27)Aster
Data MapReduce ??? ?????? UDF (6)??????????? ?
???????????? SQL/MapReduce (5)

• SQL/MapReduce-??????? ????? ??????????????? ???
  ?? ???????????? ?????? ???????????????? (Java,
  C, C), ??? ? ?????????? ?????? (Python, Ruby)
• ?????????? ?? ????????????? ?????
  ????????????????, ??? ????????? ??????? ????????
  ???????????????? ? ????????????
• ???? ? ?? ?? ??????? ????? ????????? ?? ????
  ??????? ? ??????? ???????
• ??????? ????????????? ?? ?????????? ????? ???????
  ??????? ?? ????? ???????????? ????? ???????,
  ??????????? ?? ?????
• ? ???????? ??????? ????? ? ??????? ???????
• ??????? ???? ???????? ???????????? ??????? ?????
  ?????? ?????????? ?? ????? ???????????? ?????
  ???????
• ??? ???????? SQL/MapReduce-??????? ????????
  ????????? ?? ??????????? ? ??????? ? ????????????
  ?????????? ????????????? ????

76
MapReduce ?????? ???????????? ???? (28)Aster
Data MapReduce ??? ?????? UDF (7)??????????? ?
???????????? SQL/MapReduce (6)

• ?????????????? ??????????? ???????????
  SQL/MapReduce-??????? ? ?? ????????? ?????? ???
  ??????????? ??????? ???????????? ???????
  ???????????????? ?? ??????
• ?? ????? ?????????? ??? ?????? ??????? ??????????
  ?? ??????????, ??????????? ??????????? ? ?????,
  ??????? ???????? ????????? ??????
• ?????? ??????? ??????? ??????????? SQL, ???
  ???????????? ??????????? ?????????? ???????, ???
  ??????? ??? ?????? ??????? ?????? ????????????
  ??????? ??????? ????? ???????? ????? ??????
  ???????
• ???????, ??????? ??????????????? ??????
  SQL/MapReduce-??????? ?????????? ?????????
• ????????? ??? ???????????? ????? SQL-??????? ?
  ???????? ????? ??????? ??????? ?????????
  ??????????? ?? ?????? ??????????, ? ?????
• ??????????? ???????? ??????? ?????????? ??????? ?
  ?????????? ????????? SQL-???????????

77
MapReduce ?????? ???????????? ???? (29)Aster
Data MapReduce ??? ?????? UDF (8) ??????????
SQL/MapReduce (1) ????????? ?????? (1)

• ????? SQL/MapReduce-??????? ?????
  ?????????????? ?????? ? ???????? ????????
  ?????? ?????? ?? ??????? ??????? FROM
  SQL-???????
• ? ??????? ON, ??????? ???????? ????????????
  ???????????? ???????? ??????, ??????????? ?????
  ?????????? SQL/MapReduce-??????
• SQL-??????, ????? SQL/MapReduce-??????? ???
  ?????? ??? ???????
• ?? ????? ???????????? ????? ???????, ???????????
  ????? SQL/MapReduce-???????, ?????? ???????
  ??????? ????? ?????? ????????? ????? ??????????
  ???????, ?????????? ? ??????? ON

78
MapReduce ?????? ???????????? ???? (30)Aster
Data MapReduce ??? ?????? UDF (9) ??????????
SQL/MapReduce (2) ????????? ?????? (2)

• ?????? PARTITION BY ??????????? ?????? ?
  ??????? SQL/MapReduce-??????? ??? ?????????
• ??????? ??????? Reduce ???????? ?????? MapReduce
• ? ???? ?????? ? ??????? PARTITION BY ???????????
  ?????? ?????????, ?? ?????? ???????? ???????
  ???????????? ?????????? ???????,
  ????????????????? ? ??????? ON

79
MapReduce ?????? ???????????? ???? (31)Aster
Data MapReduce ??? ?????? UDF (10) ??????????
SQL/MapReduce (3) ????????? ?????? (3)

• ??? ??????? ??????? PARTITION BY ? ?????? ?????
  ??????????? ? ?????? ORDER BY, ??????????? ??
  ??????????? ? ?????????? ??????? ?????? ??
  ????????? ?????? ???????
• ???????, ????? ?? ???????? ORDER BY ????? ???????
  ???????????? ????? ?????????????? ???????? ??
  ???????????? ???????????
• ????? ???? ???????? ? ???????? ??????????
  ?????????? ? SQL/MapReduce-??????? ??? ??
  ?????????????

80
MapReduce ?????? ???????????? ???? (32)Aster
Data MapReduce ??? ?????? UDF (11) ??????????
SQL/MapReduce (4) ?????? ?????????? (1)

• ? ????? SQL/MapReduce ???????????? ??????
  ?????????? ???????, ?????????? ?????????? ??????
  MapReduce
• ??????? SQL/MapReduce ????? ????
• ???? ???????? ??? ???????? (row function),
• ???? ???????? ??? ????????? (partition function)
• ??????? ??????? ???? ???????? ????????? ???????
  Map ???????????? ?????? MapReduce, ? ???????
  ??????? ???? ????????? ??????? Reduce
• ?????????, ??? ?????????? ?????, ? ??????? ON
  ?????? SQL/MapReduce-??????? ????? ???????????
  ????? ?????? SQL/MapReduce-???????,
• ? ????? SQL/MapReduce ??????????? ????? ????? ?
  ????? ??????? ??????? ??????? Map ? Reduce,
• ? ?? ?????? ??????? ??????????????????
  Map-Reduce, ??????????? ???????????? ???????

81
MapReduce ?????? ???????????? ???? (33)Aster
Data MapReduce ??? ?????? UDF (12) ??????????
SQL/MapReduce (5) ?????? ?????????? (2)

• ??? ?????????? ??????? ??? ???????? ?????? ??????
  ??????? ??????? ?????????????? ????? ?????
  ??????????? ???? ???????
• ? ????? ?????? ????????? ?????? ??????
  ?????????????? ??????????, ??????? ???????
  ??????? ????? ??????????? ?? ??????????? ???????
  ???????????? ???????,
• ??? ???????????? ??????????? ???????????? ?
  ???????????????
• ??? ?????? ?????? ??????? ??????? ??????? ???
  ???????? ????? ?? ??????????? ?? ????? ??????, ?
  ????? ?????????? ????????? ?????

82
MapReduce ?????? ???????????? ???? (34)Aster
Data MapReduce ??? ?????? UDF (13) ??????????
SQL/MapReduce (6) ?????? ?????????? (3)

• ??? ?????????? ??????? ??? ????????? ??????
  ?????? ?????, ???????????? ?? ?????? ????????????
  ??????? PARTITION BY ?????? ???????,
  ?????????????? ????? ????? ??????????? ????
  ???????, ? ???? ????????? ???????? ??? ??????
  ???????
• ???? ? ?????? ??????? ?????????? ?????? ORDER BY,
  ?? ?????????? ??????? ???????? ??????? ? ???
  ????????????? ????
• ? ????? ?????? ????????? ?????? ??????
  ?????????????? ??????????,
• ??? ???????????? ??????????? ???????????? ??
  ?????? ????????
• ??? ??????? ???????? ??????? ??????? ??? ????????
  ????? ?? ??????????? ?? ????? ??????, ? ?????
  ?????????? ????????? ?????

83
MapReduce ?????? ???????????? ???? (35)Aster
Data MapReduce ??? ?????? UDF (14) ??????????
SQL/MapReduce (7) ??????????? ?????????? (1)

• ??? ?????????? SQL/MapReduce-??????? ?????
  ???????????? ?????? ?????, ?? ??? ??? ????????
  ????????-????????????????
• ?????? SQL/MapReduce-??????? ??????????? ? ????
  ?????????? ??????, ? ??? ????????? ?????
  ?????????? SQL-???????, ??????????? ?????? ?????
  ???????, ??? ??????? ?????? ?????????? ??????
  ???????????????? ?????? ? ?????????? ? ???
  ??????-????????????
• ?????????????? ???????
• ??? ???????????? ????????? ??????? ? ?????????
  ?????????? ???????? ?? ?????????????? ???????

84
MapReduce ?????? ???????????? ???? (36)Aster
Data MapReduce ??? ?????? UDF (15) ??????????
SQL/MapReduce (8) ??????????? ?????????? (2)

• ?????????????? ???????????? ???????? ?
  ??????????????? ??????? ???????????? ?????
  ??????????? ??????, ?????????? ?????????? ???????
  ?????????? (Runtime Contract)
• ?????????? ????? ???????, ??????????? ????????
• ????? ? ???? ?????? ???????? ??????? ???????, ?
  ?????
• ????? ? ???????? ???????? ??????????????
  ??????????
• ? ??????????????? ??????? ????????? ?????????
  ???? ???????-?????????, ??????? ????? ??????????
  ?????????????? ???????

85
MapReduce ?????? ???????????? ???? (37)Aster
Data MapReduce ??? ?????? UDF (16) ??????????
SQL/MapReduce (9) ??????????? ?????????? (3)

• ????????????? ????????? ?????????? ?????????
  ????? ?????????? ??? ?????????????? ?????,
  ??????????, ? ?????????,
• ?????????? ? ????? ?????????????? ???????,
• ? ?????????? ? ?????? complete ???????-?????????
• ?? ?????? ???????? ????????? ????????????
  ????????? ????? ?????????? ???????, ?
• ???? ???????? ??????????? ??? ???????????
  ?????????? SQL/MapReduce-??????? ????? ??
  ????????????

86
MapReduce ?????? ???????????? ???? (38)Aster
Data MapReduce ??? ?????? UDF (17) ??????????
SQL/MapReduce (10) ??????????? ?????????? (4)

• ???????? ??????? ???????? ??????????? ??????? ???
  ??????? ??? ???????? ? ????????? ???????? ??????
  OperateOnSomeRows ? OperateOnPartition
• ??? ????????? ? ???? ???????
• ???????? ?????????? ??????????????? ???????
• ? ???????? ?????????? ??????????
• ???????? ??? ????????, ??? ????????? ???????
  ?????????? ???????, ?
• ?????? emitter, ? ??????? ??????? ????????
  ???????????? ?????????????? ??????

87
MapReduce ?????? ???????????? ???? (39)Aster
Data MapReduce ??? ?????? UDF (18) ??????????
SQL/MapReduce (11) ??????????? ?????????? (5)

• ????? ????? ???? ?????? ???????????? ?????????
  SQL/MapReduce-???????, ?? ????? ??????????????
• ??? ????? ???????????? ????? ???????? ???????????
  ??????, ????????????? ? nCluster
• ???? ???????? ??????????? ???? ?? ???? ???????
  ????? ???????
• ????? ???????????, ??? ???? ???? ????????
  SQL/MapReduce-???????, ? ????? ?????????? ??
  ??????????? ????????
• ???????? ?? ??? ???????? ?? ???????? ??? ?? ???
  ?????????,
• ???????? ?? ??? ?????? ??????????? ? ?.?.

88
MapReduce ?????? ???????????? ???? (40)

• ????? ??????? ? ???? ???? ???????? ??????????????
  ??????????? ????????? ??????? ?????? ??????????
  ?? ????? ??????
• ???????????? ????????? ????????????? ??????????
  ????????? ?????????????? ??????? MapReduce
• ? ??????? ??????? ? Greenplum Database, ?
  ??????? ? nCluster,
• ?? ???? ???????????????? ??????????? ??? ??????
  ?????????????????? ?? ?????? ? ????????-??????????
  ?? ?????

89
???????????? ???? ?? ?????? MapReduce (1)

• ? ?????? ????????????? ? ??., ???????????
  ????????? ????????????? ?????????? MapReduce ?
  ????????-???????????? ???? ??? ???????
  ????????????? ?????, ????????????,
• ??? ?????????? ? ???????? ?????????? ????????????
  ???? ????????? sharing-nothing ????????? ??
  ?????????? ??????????? ?????????? ??? ?????????
  ????? ??????? ??????????? ????????????? ???
  ?????? ???????????? ????????
• ?????? ? ???, ?????? ???????? ???????????????? ?
  ?????????????????? ?????????? MapReduce
  ??????????? ??? ????????????? ????????? ?
  ???????? ?????
• ?? ????? ??????? ?????, ??? ? ????????? ???????
  ??? ???????? ?? ???????? ????????????
  ???????????? ??? ???????????? ????

90
???????????? ???? ?? ?????? MapReduce (2)

• ?????? ?????? ????? ????????? ??????? ?????????
  ??????, ? ??????? ?????? ??? ?????? ?????? ??????
  
• ??? ?????????? ? ??. HadoopDB ?????????????
  ?????? ?????????? MapReduce ? ???? ???
  ????????????? ??????? ????????
• http//citforum.ru/database/articles/hadoopdb/
• ? ??? ?????????, ??? ? ????? ? ?????? ??????
  ??????, ??????? ????????? ?????????????,
  ?????????? ? ????? ??????????,
• ??? ????????? ??????? ????? ???????? ? ??????
  ?????, ?????? ???
• ? ?? ?? ?????, ????????? ? ????????? ?????
  ???????????? ???? ?? ?????????????? ???????
  ??????? ?? ????? ?????

91
?