COMUNICA

1
COMUNICAÇÃO DIGITAL

• INTRODUÇÃO À TEORIA DE INFORMAÇÃO
• Evelio M. G. Fernández - 2010

2
Introdução à Teoria de Informação

• Em 1948, Claude Shannon publicou o trabalho A
  Mathematical Theory of Communications. A partir
  do conceito de comunicações de Shannon, podem ser
  identificadas três partes
• Codificação de fonte Shannon mostrou que em
  princípio sempre é possível transmitir a
  informação gerada por uma fonte a uma taxa igual
  à sua entropia.

3
Introdução à Teoria de Informação

• Codificação de Canal Shannon descobriu um
  parâmetro calculável que chamou de Capacidade de
  Canal e provou que, para um determinado canal,
  comunicação livre de erros é possível desde que a
  taxa de transmissão não seja maior que a
  capacidade do canal.
• Teoria da Taxa de Distorção (Rate Distortion
  Theory) A ser utilizada em compressão com perdas

4
(No Transcript)
5
Compressão de Dados

• Arte ou ciência de representar informação de uma
  forma compacta. Essas representações são criadas
  identificando e utilizando estruturas que existem
  nos dados para eliminar redundância.
• Dados
• Caracteres num arquivo de texto
• Números que representam amostras de sinais de
  áudio, voz, imagens, etc.

6
Algoritmos de Compressão

• MODELAGEM Extrair informação sobre a
  redundância da fonte e expressar essa redundância
  na forma de um modelo.
• CODIFICAÇÃO Uma descrição do modelo e uma
  descrição de como os dados diferem do modelo são
  codificados possivelmente utilizando símbolos
  binários.
• Diferença dados modelo resíduo

7
Exemplo 1
8
Exemplo 2
9
Medidas de Desempenho

• Taxa de Compressão
• Ex 41 ou 75
• Fidelidade
• Distorção (Rate Distortion Theory)

10
Exemplo
Símbolo Prob I II III IV
A 1/2 00 0 0 0
B 1/4 01 11 10 01
C 1/8 10 00 110 011
D 1/8 11 01 1110 0111
11
Entropia de uma Fonte Binária sem Memória
12
Códigos Prefixos

• Nenhuma palavra código é prefixo de qualquer
  outra palavra-código
• Todo código prefixo é instantâneo (o final das
  palavras-código é bem definido)
• Um código prefixo é sempre U.D. (a recíproca não
  é sempre verdadeira)
• Existe um código prefixo binário se e somente se
• Desigualdade de Kraft-McMillan

13
Códigos Prefixos

• Dado um conjunto de códigos que satisfaz a
  desigualdade de Kraft-McMillan, SEMPRE será
  possível encontrar um código prefixo com esses
  comprimentos para as suas palavras-código. O
  comprimento médio das palavras do código estará
  limitado pela entropia da fonte de informação

14
Teorema da Codificação de Fonte

• Dada uma fonte discreta sem memória com entropia
  H(S), o comprimento médio de um código U.D.
  para a codificação desta fonte é limitado por
• com igualdade se e somente se

15
Códigos de Huffmann Binários

1. Ordenar em uma coluna os símbolos do mais
   provável ao menos provável.
2. Associar 0 e 1 aos dois símbolos menos
   prováveis e combiná-los (soma das probabilidades
   individuais).
3. Repetir 1 e 2 até a última coluna que terá apenas
   dois símbolos associa-se 0 e 1.

16
Códigos Ótimos r-ários

• Método de Huffmann aplica-se o método com o
  seguinte artifício
• Adicionam-se ao alfabeto original símbolos
  fictícios com probabilidade zero de ocorrência,
  até o número de símbolos assim gerado ser
  congruente a 1 mod (r 1).
• Aplica-se o método de Huffmann agrupando-se r
  símbolos de cada vez. O código gerado é um código
  r-ário ótimo para o alfabeto original.

17
Fonte com Alfabeto Pequeno

• bits/símbolo
• H(A) 0,335 bits/simbolo
• Redundância 0,715 bits/símbolo (213 da
  entropia)
• São necessários duas vezes mais bits do que o
  prometido pela entropia!

Símbolo Código
a1 0
a2 11
a3 10
18
Segunda Extensão da Fonte
Símb. Prob. Cod.
a1a1 0,9025 0
a1a2 0,0190 111
a1a3 0,0285 100
a2a1 0,0190 1101
a2a2 0,0004 110011
a2a3 0,0006 110001
a3a1 0.0285 101
a3a2 0,0006 110010
a3a3 0,0009 110000

• bits/símbolo
• bits/símbolo (ainda 72
  acima da entropia!)
• extensão de ordem n 8 ?
  fonte com 6561 símbolos!
• Huffman precisa criar todas as palavras-código!

19
Codificação Aritmética

• É mais eficiente designar uma palavra-código para
  uma seqüência de tamanho m do que gerar as
  palavras-código para todas as seqüências de
  tamanho m.
• Um único identificador ou tag é gerado para toda
  a seqüência a ser codificada. Esta tag
  corresponde a uma fração binária que tornar-se-á
  num código binário para a seqüência.

20
Codificação Aritmética

• Um conjunto possível de tags para representar
  seqüências de símbolos são os números no
  intervalo 0, 1).
• É necessário então uma função que mapeie
  seqüências neste intervalo unitário. Utiliza-se a
  função de distribuição acumulativa (cdf) das
  variáveis aleatórias associadas com a fonte. Esta
  é a função que será utilizada na codificação
  aritmética.

21
(No Transcript)
22
Algoritmo para Decifrar o Identificador

• Inicializar l(0) 0 e u(0) 1.
• Para cada valor de k, determinar
• t (tag l(k1))/(u(k1)
  l(k1)).
• Determinar o valor de xk para o qual
• FX(xk 1) t FX(xk).
• Atualizar os valores de l(k) e u(k).
• Continuar até o fim da seqüência.

23
Exemplo Unicidade e Eficiência do Código
Aritmético
24
Códigos Baseados em Dicionários

• Seqüências de comprimento variável de símbolos da
  fonte são codificadas em palavras-código de
  comprimento fixo, obtidas de um dicionário.
• Utilizam técnicas adaptativas que permitem uma
  utilização dinâmica do dicionário.
• São projetados independentemente da fonte de
  informação ? classe de algoritmos universais de
  codificação de fonte.

25
Códigos Baseados em Dicionários

• repita palavra leia_palavra
  (entrada) index busca (palavra,dicionário)
  se index 0 então faça escreva (palavra,
  saída) inclua (palavra, dicionário) fim s
  enão escreva (index, saída) até
  fim_da_mensagem

26
Algoritmo de Lempel-Ziv
Seqüência Binária 1010110100100111010100001100111
0101100011011 Frases 1, 0, 10, 11, 01, 00, 100,
111, 010, 1000, 011, 001, 110, 101, 100001, 1011
27
Algoritmo de Lempel-Ziv
28
Transformada Discreta de Cossenos
29
Transformada Discreta de Cossenos
30
Primitivas da Transformada Discreta de Cossenos
31
Zig-Zag Scanning
32
Exemplo de Codificação por Entropia em MPEG-2
Tamanho do run de zeros Valor do coeficiente diferente de zero Palavra-código de comprimento variável
0 12 0000 0000 1101 00
0 6 0010 0001 0
1 4 0000 0011 000
0 3 0010 10
EOB - 10

33
Codificador MPEG
34
Compensação de Movimento
35
Canal Discreto sem Memória
36
Matriz de Canal ou Transição
37
Canal Binário Simétrico
38
Relações entre Várias Entropias de Canal
39
Capacidade do Canal BSC
40
Capacidade de Canal

• A capacidade de canal não é somente uma
  propriedade de um canal físico particular.
• Um canal não significa apenas o meio físico de
  propagação das mensagens, mas também
• A especificação do tipo de sinais (binário,
  r-ário, ortogonal, etc)
• O tipo de receptor usado (determinante da
  probabilidade de erro do sistema).
• Todas estas informações estão incluídas na matriz
  de transição do canal. Esta matriz especifica
  completamente o canal.

41
Teorema da Codificação de Canal
42
Teorema da Codificação de Canal

• Seja uma fonte discreta sem memória com alfabeto
  S e entropia H(S) que produz símbolos a cada Ts
  segundos. Seja um canal DMC com capacidade C que
  é usado uma vez a cada Tc segundos.
• Então, se
• existe um esquema de codificação para o qual a
  saída da fonte pode ser transmitida pelo canal e
  reconstruída com

43
Teorema da Codificação de Canal

• Pelo contrário, se
• não é possível o anterior.
• Resultado mais importante da Teoria de Informação

44
Código de Repetição