You are on page 1of 5

Teoria da informação:

Incerteza, Informação, entropia e Teorema de


codificação da fonte.

Salvador
2010
Introdução:

O capitulo 9 do livro sistemas de comunicação do haykin


aborda os limites fundamentas da teoria da informação. Neste
trabalho será realizado um resumo sobre as seções 9.0 até 9.3
deste capítulo. Porém, este resumo não é baseado apensas nas
explicações apresentadas no livro sistemas de comunicações pois,
para um melhor entendimento deste assunto fez-se necessário a
leitura de outros documentos que discutem este mesmo tema.
Estes documentos foram encontrados na internet e sua referencia
apresenta-se ao final deste trabalho.

Conceito e Explicação:

Claude Shannon escreveu um artigo intitulado


“mathematical theory of communication” em 1948. esta
publicação definiu A teoria da informação moderna. Vale
ressaltar, que de acordo com o artigo, teoria da informação do site
da Wikipédia, A teoria de Shannon foi a primeira a considerar
comunicação como um problema matemático rigorosamente
embasado na estatística e deu aos engenheiros da comunicação
um modo de determinar a capacidade de um canal de
comunicação em termos de ocorrência de bits. A teoria não se
preocupa com a semântica dos dados, mas pode envolver aspectos
relacionados com a perda de informação na compressão e na
transmissão de mensagens com ruído no canal. [3].

Os três limites fundamentais para um sistema de


comunicação digital são: teorema da codificação da fonte,
teorema da codificação do canal e o teorema da capacidade do
canal e estes se baseiam na teoria de informação feita por
Shannon. Entretanto, em relação a esses três, apenas o teorema da
codificação do canal será aprofundado.

De acordo com o capitulo 9 do livro sistemas de


comunicação o primeiro tópico a ser tratado é Incerteza,
informação e entropia. Abaixo segue a explicação de cada um e
como eles se relacionam na teoria da informção.
A incerteza e a entropia só podem ser explicadas a partir do
esclarecimento sobre a quantidade de informação de uma
mensagem e o site criptografia numaboa apresenta de forma
simples o conceito disso que se segue aseguir:
A quantidade de informação de uma mensagem é definida como
sendo o menor número de bits necessários para conter todos os
valores ou significados desta mensagem. Por exemplo, se
quisermos transmitir ou armazenar os números dos meses do ano,
serão necessários, no mínimo, 4 bits para representar esta
informação. Caso esta mesma informação fosse representada
pelos caracteres ASCII, o número de bits necessários seria bem
maior. E a informação, no entanto, seria a mesma. [2]
A entropia é a quantidade mínima de bits necessários para
transmitir ou armazenar um tipo de informação. A informação
"sexo", por exemplo, possui entropia 1. Já a informação mês do
ano possui um entropia um pouco menor do que 4 bits (alguns
deles não são usados). Portanto, a quantidade de informação de
uma mensagem M é medida pela entropia da mensagem,
designada deH(M) por Shannon. Na grande maioria dos casos, a
entropia de uma mensagem é log2n, onde n é o número de
significados possíveis, se todos os significados forem igualmente
prováveis. [2].
A incerteza tamb´me é medida pela entropia de uma
mensagem. A incerteza é o número de bits que precisam ser
recuperados quando a mensagem está cifrada para obter
novamente o texto claro. [2]
Na seção 9.3 é abordado o tema do teorema da codificação da
fonte. Este tema está claramente resumido no site Universidade
do porto. O artigo afirma que o teorema da codificação da fonte
fornece um padrão pelo qual pode-se medir a informação
proveniente de uma fonte discreta sem memória. O teorema
mostra que pode-se tornar o número médio de elementos binários
por símbolo da fonte tão pequeno como, mas não menor que, a
entropia da fonte medida em bits. A entropia de uma fonte é uma
função das probabilidades dos símbolos que a fonte produz. Visto
a entropia ser uma medida de incerteza, é máxima quando os
símbolos são equiprováveis. [4]
Os objetivos do teorema da codificação da fonte são
perseguidos e aproximados se, antes da codificação, os símbolos
produzidos pela fonte forem agrupados em blocos de N símbolos.
Daí, tem-se uma extensão de ordem N se os códigos forem de
comprimento variável. Destes só interessa os códigos unicamente
descodificáveis, em especial um seu subconjunto, o dos códigos
sem prefixos, definidos através de árvores. [4]

Referências:
[1] Haykin. Sistemas de comunicação. Seções 9.0 a 9.3.

[2] Teoria da informação. Criptografia Numaboa. Encontra-


se no site: < http://www.numaboa.com/criptografia/gerais/337-
teoria-informacao>

[3] teoria da informação. Wikipédia. Encontra-se no site: <


http://pt.wikipedia.org/wiki/Teoria_da_informa
%C3%A7%C3%A3o>

[4] Universidade do porto. O artigo encontra-se no site:


<http://paginas.fe.up.pt/~sam/TI/apontamentos/resumo_cap1.pdf>

You might also like