<????(Source Coding)> ?4? ???? ??

1
lt????(Source Coding)gt?4? ???? ??

• ??/???? ??(variable-length code)
• ?????? ?????
• ?? ????? Huffman Code
• Huffman Code? ??

2
????(Source Coding)
??? ???? ??? Binary Code? ???? ?? ??????(avg.
code-length)? ??? ?? ?????? vs. ??????
lt??????(fixed-length code)gt ?) ASCII code? ??
??? ??? ??? ??? ??? ?? ?? ? ??? ??? ?? M?? ??,
??? ????? n?? ??
lt??????(variable-length code)gt ?) Morse code?
??? ??? ????? ?? ?? ?? ??? ?? ?? - ????? ??
?? short code - ????? ?? ?? long code?
???, ???, ?? ?? ??? ???? ??.
3
??? / ???

• ???? 1 s1 0 s2 01 s3 11 s4 00

• ???? 3 s1 0 s2 10 s3 110 s4 111

• ???? 2 s1 0 s2 01 s3 011 s4 111

• ???? 4 s1 0 s2 10 s3 110 s4 1110 s5
  1111

• ???? 5 s1 00 s2 01 s3 10 s4 110 s5
  111

4
UI-Code(unique instantaneous code)

• Unique Code ? ?? extension? ?? ???
• UI-Code ? ???? ?? prefix? ?? ? ????? ??

• ???? 3 s1 0 s2 10 s3 110 s4 111

• ???? 2 s1 0 s2 01 s3 011 s4 111

5
Kraft Inequality

• ?? ????? ?? ??? ????? ??
• Basis step 2) Induction step(????1 ? ??)
  (????n ?? ???? ????
  ????n1?? ???? ??)

K
K
K
???? n
6
?? UI-Code? ??
Source Alphabet S s1, s2, , sq, Code
Alphabet C 0, 1 pi Prsi occurs, i
1, 2, , q li code-length for si , i 1,
2, , q
?? ????
7
Binary Huffman Coding
Step 1. ????(reduction process) 1) ???(??
??)? ? ??? ??, ?? ??? ?? ?? ? ??? ??
2) ?? ??? ??? ????? ?? ?? 3) ?? ? ?? ??? ??
??? 1), 2) ??? ??
Step 2. ????(splitting expansion process)
1) ?? ? ??? ??? ?? 0, 1? ?? (split) 2)
????? ??? ????? ??? ?? ????? ?? 0, 1?
?? (expand) 3) ??? q? ??? ? ??? 2) ??? ??
8
Huffman Coding (?)
??2)
??3) Zipfs Distribution (language problem
simulation)

1. q 4 ? ? 2. q 8 ? ? 3. q
   16 ? ??? Huffman ???? Coding ??.

9
Zipf ??? ?? Huffman coding? ??
??? ? ????? ?? Huffman ??? ??
??() N
LB
LH (Average)
G
2 1 1.0 0 4 2
1.8
10 8 3
2.68
10.7 16 4
3.43 14.3 32
5 4.17
16.6 64
6 4.89 18.5
128 7 5.60
20 256
8 6.26
21.8 512
9 6.90 23.3
1024 10 7.54
24.6
10
Huffman Code? ??? ??
2.
Huffman code m-bit block code
???? ????? ????? ??
3.
Huffman code Comma code
???? ????? ?? ?? ?? ??
11
??? ??

• 1-? ?? (??? Alphabet)

• 2-? ?? (2nd extension)

Sij Pij S1S1 4/9 S1S2
2/9 S2S1 2/9 S2S2 1/9
5/9
4/9
1
0
00
01
3/9
4/9
1
000
2/9
01
001

• 3-? ?? (3rd extension)

• 4-? ?? (4th extension)

12
??? ??? Entropy
Entropy
13
Radix-r Huffman Coding
Step 1. ?????(pre-processing) 1) ?????? ?? ??
?? ???, ??? ??
dummy Symbol?? ????.
Step 2. ????(reduction process) 1) ???(?? ??)
r ? ??? ??, ?? ??? ?? ??? ??? ??
2) ?? ??? ??? ????? ?? ?? 3) ?? r ?? ???
?? ??? 1), 2) ??? ??
Step 3. ????(splitting expansion process)
1) ?? r ?? ??? ??? ?? 0, 1, , r-1? ??
(split) 2) ????? ??? ????? ??? ?? ????? ??
0, 1, , r-1? ?? (expand) 3) ??? q?
??? ? ??? 2) ??? ??