Teoria de informaçao

Teoria da Informação Codificação de Fonte

Prof. Dr. Luciano Leonel Mendes [e-mail]
Teoria da Informação Pós-graduação – Redes e Sistemas de Telecomunicações

1/62

Prof. Dr. Luciano Leonel Mendes

Conteúdo e Referência
1. Revisão: Probabilidade e Variáveis Aleatórias 2. Fontes de informação – amostragem e quantização 3. Princípios da Teoria da Informação 4. Compactação de Fonte 5. Limitantes para Canais AWGN Livro Texto: Haykin, Simon, “Sistemas de Comunicação”, 4° Edição, John Wilwy & Sons, 2001.
Teoria da Informação Pós-graduação – Redes e Sistemas de Telecomunicações

2/62

Prof. Dr. Luciano Leonel Mendes

Revisão de Probabilidade
1. Noções Básicas de Probabilidade • Diagrama de Venn: permite realizar uma representação gráfica dos conjuntos e/ou sua probabilidade de ocorrência.

s A AB B

Teoria da Informação Pós-graduação – Redes e Sistemas de Telecomunicações

3/62

Prof. Dr. Luciano Leonel Mendes

Revisão de Probabilidade
2. Os Axiomas da Probabilidade • Para qualquer evento A, P[A]=0. • P[S]=1, onde S é o espaço amostral. • P[AUB]=P[A]+P[B]-P[AB]. Exemplo: Seja o espaço amostral S={0, 1, 2, 3}. Então: P[S]=P[0]+P[1]+P[2]+P[3]=1. Logo
P[ S ] = ∑i =0 P[ si ] = 1
3

“A probabilidade é sempre um número entre 0 e 1”

Teoria da Informação Pós-graduação – Redes e Sistemas de Telecomunicações

4/62

Prof. Dr. Luciano Leonel Mendes

Revisão de Probabilidade
Continuando... Seja um evento B={números pares}. Logo B = ? Qual é P[B]? P[B]=P[0]+P[2] Seja um evento C={números menores que 2}. Logo C=? Qual é P[C]? P[C]=P[0]+P[1] Seja D=BUC. Logo D=? Qual é P[D]? P[D]=P[BUC]=P[B]+P[C]-P[BC]=P[0]+P[2]+P[0]+P[1]-P[0] P[D]=P[0]+P[1]+P[2]

Teoria da Informação Pós-graduação – Redes e Sistemas de Telecomunicações

5/62

Prof. Dr. Luciano Leonel Mendes

Revisão de Probabilidade
3. Eventos Mutualmente Exclusivos: são aqueles que nunca acontecem ao mesmo tempo. Exemplo: A={números pares} e B={números ímpares}. Se A e