Matematica

Lista 4 – Teoria da Informação
1) Considere que 1 milhão de resultados de lançamentos de uma moeda não viciada precisam ser transmitidos. Qual o número mínimo de bits necessários para a transmissão? E se a moeda fosse viciada de tal maneira que a probabilidade de sair cara fosse ¼? 2) Considere um dado de 8 lados cujas faces estão escritas as letras de A até H. Qual o número mínimo de bits por resultado do lançamento do dado, considerando que todas as faces possuem igual probabilidade de saírem? 3) Refaça o exercício anterior com as seguintes probabilidades de sair cada face: A (1/2), B (1/4), C (1/8), D (1/16), E (1/32), F (1/64), G (1/128) e H (1/128). 4) Um dado viciado de 5 faces possui probabilidade 1/8 de sair a face A e 1/8 de sair a face B. As outras três faces C, D e E possui ¼ de probabilidade de sair cada uma. Encontre a entropia desta fonte de informação. 5) Uma fonte emite um de quatro símbolos possíveis durante cada intervalo de sinalização. Os símbolos ocorrem com as probabilidades p0 = 0,4; p1 = 0,3; p2 = 0,2 e p3 = 0,1. Encontre a quantidade de informação obtida observando-se a emissão desses símbolos pela fonte. 6) Uma fonte emite um de quatro símbolos s0, s1, s2 e s3 com probabilidades 1/3, 1/6, 1/4 e 1/4, respectivamente. Os símbolos sucessivos emitidos pela fonte são estatisticamente independentes. Calcule a entropia da fonte. 7) Qual o número mínimo médio de bits usado para expressar cada resultado de uma sequência de lançamentos de um dado não viciado? 8) Qual a informação (em bits) contida em uma molécula de DNA com 8 bases do tipo G, C, T ou A, que tenha as seguintes restrições? a) Em cada posição, a chance da base ser do tipo G, T, C ou A é de 1/8, 1/8, 3/8 e 3/8 respectivamente. b) A molécula contém exatamente 1 base do tipo G, 1 do tipo T, 3 do tipo C e 3 do tipo A c) Em cada posição, a chance da base ser de cada um dos tipos é igual. Compare os resultados e justifique a diferença em termos de incertezas sobre a organização.

9) Dado