INFORMATIKA

1
INFORMATIKA

• Számítógéppel segített minoségbiztosítás (CAQ)

2
Információelméleti bevezetés

• Adatforrás,
• diszkrét szimbólumok,
• információtartalom,
• csatornakapacitás.

3
Információelméleti bevezetés

• Az üzenet információ tartalma
• Minél kisebb egy szimbólum elofordulá-sának
  valószínusége, annál nagyobb az
  információtartalma
• I(mk) gt I(mj), ha pk lt pj.

4
Információelméleti bevezetés

• Két független üzenet együttes információtartalma
  az egyes üzenetek információtartalmának összege
• I(mk ÉS mj) I(mk mj) I(mk) I(mj),
• I(mk) log (1/ pk), és I(mj) log (1/ pj),

5
Információelméleti bevezetés

• Az entrópia
• független üzenetek esetén
• H ?pi ld (1/ pi) bit/szimbólum és
  i1,..,m,
• nem független üzenetek esetén
• H ?Pi Hi ?Pi ?pi,j ld(1/ pi,j )
  
  bit/szimbólum
• és
  i1,,m, j1,,n.

6
Információelméleti bevezetés

• Veszteségmentes forrás kódolása
• A forrás átlagos adási üteme
• R rs H bit/sec,
• ahol rs a forrás szimbólum adási üteme.
• A forrás szimbólum bináris jelsorozat.
• Határozza meg a P(a)0,5 P(b)0,2 P(c)0,3
• elofordulási valószínuségu a, b és c szimbólumok
• Shannon-Fanno féle és Huffman-féle bináris kódját.

7
Információelméleti bevezetés

• Shannon-Fanno féle digitális forrás kódolással
• P(a)0,5 P(b)0,2 P(c)0,3
• 0,5
• 0,3
• 0,2

0 0,5 0,8
0 10 110
1 2 3
8
Információelméleti bevezetés

• Huffman-féle bináris kódolással
• (a nagyobb elofordulási valószínuségu
  szimbólumhoz 0-t, a
• kisebbhez 1-et szoktak hozzárendelni)
• a 0
• b 01
• c 11

0 1
0 1
9
Információelméleti bevezetés

• Határozza meg az átlagos szóhosszúságot, az
  átlagos
• szórást és az entrópiát Shannon-Fanno féle
  kódolásnál.
• L ?pili pa la pb lb pc lc
• L 0,5 1 0,3 2 0,2 3 1,7 bit
• s v?pi(li L)2
• s vpa(la L)2 pb(lb L)2 pc(lc L)2
• s v0,5 (1 1,7)2 0,3 (2 1,7)2 0,2 (3
  1,7)2
• s ? 0,77
• H ?pi ld (1/ pi) - pald(1/pa) - pbld(1/p)
  - pald(1/pa)
• H 0,5ld(1/0,5) 0,3ld(1/0,3) 0,2ld(1/0,2)
  
• H ? 1,485 bit/szimbólum

10
Gyakorló feladat

• Határozza meg a P(a)0,4 P(b)0,2 P(c)0,2
• P(d)0,1 és P(e)0,1 elofordulási valószínuségu
  a,
• b, c, d és e szimbólumok Shannon-Fanno féle és
• Huffman-féle bináris kódját.