1
???????? ? ???????????? ??????? ??????
23.10.2009
????? ????????,??????????????
??????? ????? lukin_at_graphics.cs.msu.ru
2
????

• ????? ????????, ?????????? ?? STFT
• ????????????????? ?????????? ?????
• ???????? ??????????
• ?????????? ????????? mp3
• ?????????? ???????????? ?????
• ????? ????????????? ?????????
• STFT ??? ???? ????????, ????????? ?????
• ???????? ???????????? ????
• ????????-????????? ??????????
• ????????
• ?????????? ???? ?? ????????????
• ?????????????? ????????????

3
????? 1????? ???????? ? ?? ??????????
4
????? ????????, ?????????? ?? STFT

• ?????????????
• ?????? ??????????? ????????? ?? ??????? ? ??
  ???????, ?????????? ????????? ??????? ?? ???????
• ???????????? ?????? Short Time Fourier Transform
  (STFT)

5
????? ????????, ?????????? ?? STFT

• ????????-????????? ??????????
• ??????????? ????????? ?????? ?? ??????? ? ??
  ???????, ?????????? ?????????????
• ??? STFT ???????????? ?????? ???????? ???? (?
  ?????, ???????, ???????? ? ????? DFT ?? ???????)
• ??????????? ????????????????? ?????????? ??
  ??????? ??????? ??????????????? ?????????? ??
  ???????

6 ms
12 ms
24 ms
48 ms
96 ms
?????? ????
6
????? ????????

• ????? ???????? ??????????????, ???????????
  ?????? ?? ????????? ????????? ????? ?
  ???????????? ????????? ???????
• ?????? ?????????? ???????-??????????????
• ????????? ???????? ?? ?????? ??????????????,
  ????????????

7
????? ????????

• ??????????
• ?????????? ????????? ??????? ? ?????? ?????????
  ???????
• ?????????? ???????? ? ??????????? ???????????? ?
  ?????? ????????? ???????
• ?????? ????? ????????, ??????????? ?? STFT
• ???????????? STFT ? ????? ???? (Hann), ? ?
  ??????????? ????? ?????? 75
• ?????? ???????? DFT ?? ??????? ?????, ??????????
  ??????? ???? ???? ? ???????? ???? ? ??????????
  (OLA)
• ????????
• ?????? ??????????????
• ??????? ????????????

8
???????? ??????????

• ?????????? ????? ??????????
• ??? ????????? ?????? ? ???????? ????? ?
  ??????????? ???????? ??????

9
???????? ??????????

• ??????? ????? (masker) ????????? ????? ??????
  (maskee)
• ????????????? ??????????
• ????????? ?????????? (?????? ? ????????)

10
???????? ??????????

• ?????????? ??????, ?????? ? ????? ?????
  ??????????
• ??? ??????????? ?????????? ????????????????
  ?????? ??????????

11
???????? mp3

• ??????????? ??????????? ? ????????

????????????????? ??????
FFT
mp3-????
???? ????????
Q
Huffman
xn
????? ?????? mp3
12
????-???

• Pre-echo (pre-ringing)

???????? ?????? ??????????? ?? ??????? ?? ???
????? ????
13
????-???

• ???????????? ??????? ???? ? ????? ????????

14
??????????????

• ?????????? ???

??? ?????????????? ????????????, ?.?. ??
?????????? ?? ??????? (??????? ????????, ??????)
????? ????????????? ?????????
15
???????????? ????

• ????? ??????? ??????????
• ??????????????, ????????? ???????????? ???????
  (energy compaction)
• ??????????? ????????????? ??????????????
  (?????????? ?????????????, ??????????????? ????)
• ???????? ?????????????? (??????????????
  ?????????? ???????)

16
???????????? ?????????
Spectral Subtraction, Short-Time Spectral
Attenuation

• ???????????? ????????? ??? ?????????????
• STFT
• ?????? ??????? ???? ?? ??????? ??? ?????????
  ???????
• ????????? ??????? ???? ?? ??????? ???????
• ???????? STFT

????? ????????? ????????????? ?????????
17
???????????? ?????????

• ?????????? ? ????? ????????
• ?????? (??? ????? ??????) ??????????????
• ?????????? ??????? ????????? (??????????, ????)
• ??????? ????????? ???????????
• ?? ????????? ?????????? ?????????? ??????????

???????? ???? ????????, ?????????? ?? STFT
18
??????????????

• ????????????? ?????????????

???? (gate) ??????????, ??????????? ?????
??????? (??????? ???????????? ??? ?????????)
?????? ???????????? ?????? ??????? ?? ?????? ????
? ?????? ????????? ??????
19
???????????? ?????????

• ??????????? ??????
• ????? ???????????? ??????? ?? ???? ? ????? ?????
  ????????? ???? ? ????????
• ?????? ??? ??????? ????????????
• ????? ???????????? (attack/release time)
• ??????????? ??????? ??????????

?????? ??????????
????? G ??????????? ????????, W
?????? ????????? ????, X ?????????
???????.
20
??????????????

• ??? ??????? ? ??? ?????? ???? ???????
• ?????? ??????? ?????? ????

???????????? ????????
????? ?????????????
21
??????????????

• ????? ????????????? ????????? ??????????
• ???????? ????????????? ???????? ???????
  ???????? ??????????? ??? (musical noise)

??????????? ???
????? ?????????????
22
??????????????

• ??????????? ??? ?????? ??????
• ????????? ?????? (?????????? ?????? ??????
  ???????)
• ??????????? G(f, t) ????? (????? ??????????? ???
  ???????????? ???????????? ?????)
• ?????????? ??????? ???????????? ?????? (???
  ??????? ??????? ?????????? ?????????? ??????? ???
  ? ??????????? ????? ? ???????)
• ??????????? G(f, t) ?? ??????? ?/??? ?? ???????

??????????? ??????
??????? ??????. ?????????
??????????? ?? ???????
23
???????????? ?????????

• ??????? ?????????????? ????????-??????????
  ??????????
• ?????? ?????? (???????? ???????????)
• ????????????? ????????? ??????????

??????????? ??????
?????? ???? 50 ??
?????????? ??????????
24
??????? ????????

• ???????? ??? ????????? ? ???????????????? ?????
  ?a,b(t) (???????? ????????) ????????? ??????
  ?????????? ????????????? ??????? ?(t)
  (???????????? ????????)
• ???????????? ??? ???????? ?????????? ???????
  ??????? ? ????????? ????????? ? ???
  ??????????/??????? ??????? ? ?????????? ?
  ????????? ????????

25
??????? ????????

• ?????? ????????????? ??????? ?? ?(t)
• ???????????????
• ??????? ???????, ??????????
• ??????? ??????? (vanishing moments)

26
??????? ????????

• ??????? ?????????

Mortlet
Meyer
Mexican hat
27
??????????? ???????-?????????????? (CWT)

• ????????? ???????????? ??????????? ??????? f(t) ?
  ?????????? ?a,b(t)

28
?????????? ???????-?????????????? (DWT)

• ???????????? ???? ????????????? ?????? ???????? ?
  ??????????????? ? 2 ????
• ??????????? ?????????? ??????????????
  ??????????????
• ?????????? ???????
• ?????????????????? ?????
• ???????????? ????? ??????? ?? ?????? ????? ?????
• ?????????? ????????-??????? (??-??????),
  ????????????? ????????

29
?????????????? ?????

• ?????????? ?????? ???????-??????????????
• ??? ??????? ?????? xn
• ???????? ?? ???? ?????????????????? ???????? ?
  ?????????????
• ????? ??????, ??? ?????? xn ????? ????????????
• ????? ??????????? ????????? ?? ?????
  ?????????????????? ???????? ???

30
?????????????? ?????

• ?????????? ????????????
• ???????? ?????????? ?????????????????? ? 2 ????
• ????? ??????, ??? ?????????? ????????
  ??????????????

(???????????? ??????)
(??????????)
(????????????)
31
?????????? ???????-??????????????

• ????????? ?????????????? ?????
• ???????? ??????? ?????????????? (PR)
• ?????????? ?????????? ?? ??????????.
• ????? ????? ??????? ???????, ??????????????
  ?????? ??????????????.

32
????????????? ?????????????

• ?????????? ???????-?????????? ??? ??-?????????????

?????????? ??????
????????? ???????? ??????? ?? ??????
????????? ???????- ?????????????? ?? ?????? ????
???????? 4 ?????? ????????????? ??
(????????) ? ?? (??????????????)
33
????? ????????

• ??? ????? ???????? ????????? ????????-?????????
  ??????????

34
????? 2?????????? ???? ?? ????????????
35
???? ? ??????? ?????
AWGN
Salt and pepper
????
????????????
??????????
?????????
Salt and pepper ?????? ? ?????
?????????? ????? ????? ??????
??? ?????? ? ?????
????? ??? ??????? ????????, ?? ??????????????
???? ? ??????. ???????/???????????/???????????
??? ????? ????????????? ????????
????????. ?????????? ??? ???????????? ?
??????? ??????????? ? ?? ??????? ?? ????.
36
?????? ??????????????
AWGN
Salt and pepper
????
????????????
??????????
?????????
????????? ?????? ?????????? ??????? ????????
???????
Bilateral filter Non-Local Means Wavelet
thresholding DCT, PCA, ICA ????????????
???????? ???????? BM3D
???????? ??????? ??????????????? ??????
37
?????????? ??????

• ?????????? ??????
• ???????? ??????????? ?????? ? ????? ?????????
  ??????
• ???????? ? ??????? ???????? ???????? ??? ??????
  ??????
• ????????? ?????????? ?????? ?????????
  ?????????? ???, ?? ??????? ?????? ??????

38
Bilateral filter

• ?????????? ?????????
• Bilateral filter
• ?????????? ??????????
• ????????
• ? ??????

??????????????? ????????
???????????????? ????????
39
Bilateral filter

• Bilateral filter ?????????????? ??????????

(??? ??????? ??????? ????????)
40
Non-Local Means

• ?????????? ?????????
• Non-local means (NL-means) ???? ??????? ??
  ???????? ????? ??????, ? ?? ????????? ????????

?(xi,j) ???? ?????? ??????? xi,j
41
Non-Local Means

• ?????????? ?????
• ???????? ????????? ???????? ??????????? ?????,
  ??? bilateral filter

???? ?????? ??? q1 ? q2, ?? ?? ??? q3
??????????? ?? Buades et al 2005

42
Non-Local Means

• ??????????? ? ??????????
• ??????? ???????? ??????????????? ???????????
• ? ???????? ???????? ????? ???????
  ?????????????? ?????????
• ?????????? ?????? ???????????
• ????????????? ?????? MMX/SSE ??? ????????? ??????
• ????????? ??????????? ?? ????? ? ?????????? ?????
  ??????, ? ?? ????????? ????????
• ????????????? ??????? ????? ??????????? ?????? ?
  ??????????? ???????? ?????????? ????????? ??????

43
Non-Local Means

• ?????????? ? ?????
• ??????? ?????? ?????? ????? ????????? ?? ????????
  ????? (??????? ?? ???????????????-?????????)
• ??? ????????? ???????? ????? ????????? ?????????
  ?????? ?????? ?? Y-?????? ? ???????? ?????? YCrCb
  (YUV)

44
?????????? ?????

• ?????????? ?????????????? ??? ???????????
• DWT
• ?????? ?????? ? ??????? ????
• ?????????? ???????-????????????? (thresholding,
  shrinkage)
• ???????? DWT

?????????? ???? ?????????? ????????
?????????? ?????????????? ? ?????? ??????
??????????? ??????? ??? ????????? ??????

45
?????????????? ????????????

• ?????????? ????????????? ??????? WAV ? BMP
• ?????????????? BMP (brush tool)
• ?????? ????? ??????? BMP ? WAV
• ??? ???? ? ??????? ?????????????
• ???????? ? ????????? ????
• ?????????? ?? 256 ???????? ??? ???????????
  ??????????
• ????? ???????? ?????? ????????? ? ????????? ????
• ??????? ????????? Photosounder