Sphinx ? ??? ?????????? ??? ?????? ? ??

1
Sphinx ? ??? ????????????? ?????? ? ??

• ?????? ???????
• shodan_at_shodan.ru

2
????? ? ?? ??????

• ?????????? ???? ???????????? ?????? ??????????? ?
  ??????? ?????? (? ??????? ??????)
• ? ?????????, ? ?????????????? ???????
• ???????? ??????
• ???????? ?????????? ???????
• ?????????????
• ? ????????? ???????, ???? ???????? ???? ?
  ???????? ?????????
• ??????????? ?? ?????? ????? ???????

3
????? ? ?? ????

• Sphinx
• ??????? ??? ??????????? ??????????????? ??????
• ??????????
• ???????? (open-source, GPL)
• ?????????? ??????????? ??? ?????????? ? ??
• ? ??? ?? ?????????
• ??????? ????? ??????????? ??????????
• ??????? ????? ????????????
• ??????? ????? ???????????? ??????????

4
Sphinx. ????? ????????

• ??? ???????? ?????????
• indexer, ???????? ?????? ?? ?????????? (??) ?
  ?????? ?????????????? ??????
• searchd, ???????? ?? ????????? ??????? ??? ??????
  ??????????? indexer-?? ????????
• ????? API ??? ?????? ??????
• ??????????? ???????? ??????? ? searchd
• PHP, Python, Ruby, Perl, Java
• SphinxSE
• ???????????? ? MySQL ??????
• Storage engine ??? MySQL 5.0.x ? 5.1.x

5
Sphinx. ????????????

• ????????? Sphinx ?????????? ??????? ? ???? ??????
• ???????? ??? ????? ????????? ????? ? ?????????
  ????????? ???? ?????????? ID ?????? ?????? ?
  ??????? ??
• ????? ????? ? ????????? ?? ???????? ? ????????
  ??????? ?????? ??????? ? ??
• ?? ????? ????? ????? ?????????????? ?????
• ?? ????????? ????? ????????????? ???????????,
  ???????????, ???????????? ?????????? ??????

6
Sphinx. ????????? ? ?????????????

• ?????????
• ./configure make make install
• vi sphinx.conf
• ./indexer myindex
• ./searchd
• ?????????????
• include ( sphinxapi.php )
• cl new SphinxClient ()
• res new cl-gtQuery ( test, myindex )

7
Sphinx. ?????????? ????????

• ?????????????? ??????? ???????? ? FS
• ????? ?????????? ????????? ??????
• ?????? ??????????, ?????????? ?????? ????????????
  ??????????? ? ????
• ????????, ?? ?????? ?? ???????????
• ??????? ???????? ?????????? (4-8 MB/sec)
• Partitioning ???????? ??? ???????? lag
• ????????????? ??????????? ???????????? ???????
• ???????? ????? ????????? ? ???????? ???????

8
???? ????????? ??? partitioning

• ? ?????????? ??????, ?????? 2 ??????? ???
  ?????????? ????? ? ??? ?? ???????
• ????? ??????????? main, ?????????? ???????? ?????
  ??????
• ????? ??????????? delta, ?????????? ?????????? ?
  ??????? ????????? ?????????? delta
• ????????, ????? ???????? ??????????? ? ??????????
  ????????? ??????
• ??????, ?????, mail/news ??????

9
????????? ??????

• ? ????? ?????? ?????? ??????
• ?????????? ???????? ??? MySQL, Postgres, XML
  ?????? ???????????? ???????
• ????????? ??????? ???? ????? ????????????? ?
  ????? ???????
• ?????? ??? ?????????? ????????? ?? ?? ???????, ?
  ?? ???????
• ?.?. ????? ?????? ?????????????? ????????? ?
  ?????? ??????? JOIN-?, ???????? ????? ????????
  ?????, ???.

10
Sphinx. ????-???????????

• ?????? ?????? ??????????????? ??????, Sphinx
  ????? ????? ?????
• ????? ? ???????????? ? ?????? ??????? ???? ?
  ???????? ????
• ???????????? ????????, ? ??? ????? MVA
• ??????????, ??????????, ???????????
• ???????? ? ?????????? ???????? ????
• ?????????????? ?????
• ??????????? ??????? ????????
• ?????????????? ?????????? (geo-distance)

11
???????????? ? ?????? ????

• ???????? ?????? ???????????? ?????? ??
  ????????? ?????????? ?? ??????
• ?? ??????? ?????????? ??? ?? ????? ??????
  ???????? ?????? ???????? ?????
• ???????? ?????? ???????????? Sphinx max ?????
  ?????????? ????? ????? ??????? ? ??????????
• ?????? ?????? ??????????? ???? ?????, ???????? ?
  ????? ??????????? ?????
• ????? ??? ????? quorums, frequencies

12
????????? ?????????

• ???????????? ?????????? ????????? (???? 1-32 bit
  unsigned integer, ???? float) ?????????
• ?????????? ??? ??????????? (!) ??????????,
  ??????????, ??????????? ??????????? ??????
• ????? (??? ???????? ? ??), ??? ??? 10-100K
  ????????? ?????????? ?????????? ???????????
  ????????
• Extern, Inline, MVA

13
?????????? ? ??????????

• ??????????
• ?? ?????????? ????????? (_at_weight desc, user_rank
  desc)
• ?????? ?????????????? ? ?????? top-N ???????????
  ??????????
• ??????????
• ?? 10 ??? ???????, ??? ?? ??????? ??
• 3 ???? ???????? 1) ????? ????????, 2) ????????
  ????????, 3) geodistance
• ???????????? ?????????? ????????
• Exclude-???????

14
???????????

• ?????? ????????? ?????????????? ?????????? ?
  ??????????? ??????
• ??? ????? ? Sphinx ??????? ???????????
• ?????? ??????? ????? ???? ????????!
• ??????????? ? ????????????? ??????
• ????? ??????????????? ?????? ?????????? ??????
  ?????????? ????????
• ?? ????????, ????? ?????????? ?????????? ????????
  ?????? ????????
• ????????, ?????????? ???????? ?? ?????
• ????? ???????? ?????? ??????? ? ??????

15
?????????????? ?????

• Last but not least
• ?????????????? ??????? ????????? ???????????
  ????????? ????? ?? ?????????? ???????
• ????????? ????????? ???????
• ??????????????? ???????? ????????? ???????
• ??????? ??? ????????? ??????????
• ?????????? ?? ?????? ? ??????? ???????
• ????? ???????????? ??? multi-core

16
?????? 1.1. ?????? ?????

• Mininova.org
• ???????? MySQL FT slaves
• 300-500K rows, 300-500 MB, 4-5 M q/day
• ??????????? ????????, ? ?? ???? ?????
• Long query tail top-N ???????? ? ???? ??
  ??????? ?????????? (20-30 ?? ????, ????? ??????
  1-2)
• 2 ??????? ? ??????? ????????? ???????
• Loadavg (??????) ????? 0.3-0.4

17
?????? 1.2. ?????? ?????

• Boardreader.com
• 1B rows, 1.5 TB, 700K-1M q/day
• 6 ????????, 4xCPU 16 GB RAM 0.5 TB
• 4 ????? searchd ?????? ????? (startup, HA)
• 4 ??????? HDD ?????? RAID (???????!)
• ???????? partitioning ?? ???????
• ????????? ??????? 1-week, 3-month, all-time
• ?????????????? ??????? ?????????? ??????
• ???????? ???????? ?????????????
• ? ????? ?????? ??????????? 1/24 ??????????

18
?????? 2. ??????? ???????

• Sahibinden.com
• 400K rows, 500M, 3M q/day
• 99 ?????, ???????? ? MySQL ?????????
• Sphinx ??????????? ? ??? ?????????????? ???????,
  ? ??????? ???????
• ??????????? ??? keywords ??? ??????????
• ????????? ??????? ? ???????, ??? MySQL
• ?????? ??????? ??????????????, 9-15 ?????? ??? ?
  1 ?????? ?? ????? ?? 8 CPUs
• PHP API overhead ???? ????????
• ??????? 2 ???????, ?? 34 ? 99 ?????????

19
?????? 3. ???????????

• Boardreader.com
• ????????????? ?????? ?? ??????? top ???????,
  ??/? ??????? ?????????, ? ?.?.
• 150-200 Mrows, 50-100 GB data, 60-100 Kq
• ??????? ?????? ? ???????????? ? ??????????? ??
  COUNT / COUNT DISTINCT
• ????? ??????? rows (1-10 M), ??? ???? ?????????
  result set
• ?????????? ???????? ?? ?????????
• MySQL ???????? ????????? ?? 300 ??????
• ?????????????? ??? ?????? Sphinx

20
?????? 3. ??????????? (contd)

• ??????????? ?? 6x4 CPU ????????
• ??????????? ? ?????? ?????????
• ?????????????, ??????, ????? ?????
• ????????????? ????????????? ??????
• UDF ??? ????????? ???? ?????????? ???????? ?
  ????????? ?????
• ????????????? ?????????
• COUNT DISTINCT
• 64-bit ids (??-?? ????? ????????? ? ????????)
• ????? ??? ???????????
• ????????? ????????????? ?? ?????

21
?????? 4. MVA ???????

• Grouply.com
• N ????????? ?????????, M ?????
• ?????????? ?????????? ??? MVA
• ??????????? ??? ?????????? ?? ?????
• ??? ???????? SQL ???????
• ?? ?????? ??????????? ?? ????????? ??????????
  ????????
• JOIN ? ????? ?????? ???????
• MVA ??? ????????? (? ?????? ??????????),
  ????????, ???????? ???? ????????

22
??????

• Sphinx, ???????, ?? ???????
• ??????, ??? ???????? ???????? ????? ?????
  ???????? ?????
• ??????, ??? ???????????? ??????? ?? ??????
  ???????
• ????????!
• ???????? http//sphinxsearch.com/
• ?????? shodan_at_shodan.ru