Sistema discreto sem memória em teoria da informação

Sistemas discretos sem mem´ria e codifica¸˜o da o ca fonte Luis Henrique Assump¸˜o Lolis ca 12 de agosto de 2014

Luis Henrique Assump¸˜o Lolis ca Sistemas discretos sem mem´ria e codifica¸˜o da fonte o ca

1

Conte´do u 1

Sistemas discretos sem mem´ria o Redundˆncia a 2

Codifica¸˜o da fonte ca C´digo Morse o 3

Primeiro teorema de Shannon:

Luis Henrique Assump¸˜o Lolis ca Sistemas discretos sem mem´ria e codifica¸˜o da fonte o ca

2

Sum´rio a 1

Sistemas discretos sem mem´ria o Redundˆncia a 2

Codifica¸˜o da fonte ca C´digo Morse o 3

Primeiro teorema de Shannon:

Luis Henrique Assump¸˜o Lolis ca Sistemas discretos sem mem´ria e codifica¸˜o da fonte o ca

3

Sistemas discretos sem mem´ria o Um evento n˜o depende dos eventos anteriores, sendo assim a estatisticamente independente.
Defini¸˜es:
co
Fonte discreta de informa¸˜o Fonte que gera uma sequˆncia ca e de s´ ımbolos. S´ ımbolo Tamb´m chamado de letra. e Alfabeto da fonte Um conjunto de s´ ımbolos que fazem parte do mesmo grupo.
Mensagem Grupo de s´ ımbolos consecutivos.

Luis Henrique Assump¸˜o Lolis ca Sistemas discretos sem mem´ria e codifica¸˜o da fonte o ca

4

O que em estat´ ıstica n´s chamamos de experimento, em o comunica¸˜es n´s chamaremos de alfabeto: co o
U = {u1 , ..., un } com probabilidades P = {p1 , ..., pn }

Analogia com a linguagem escrita, existem as palavras ou mensagens, com tamanho l e denominadas por v. Um alfabeto consistente de n s´ ımbolos, permite nl mensagens diferentes. O conjunto V = {v1 , ..., vj , ..., vnl } cont´m todas e as mensagens poss´ ıveis. As probabilidades de p1 a pn d˜o a quantidade de a informa¸˜o do alfabeto: ca n

pi log2

H(U) = i=1 1 pi Tendo a m´xima quantidade de informa¸˜o em: a ca
1
maxu H(U) = log2 n tendo pi = para qualquer i n Luis Henrique Assump¸˜o Lolis ca Sistemas discretos sem mem´ria e