Teoria da informação

A Teoria da informação é um ramo da teoria da probabilidade e da matemática estatística que lida com sistemas de comunicação, transmissão de dados, criptografia, codificação, teoria do ruído, correção de erros, compressão de dados, etc. Ela não deve ser confundida com tecnologia da informação e biblioteconomia.

Claude E. Shannon (1916-2001) é conhecido como "o pai da teoria da informação". Sua teoria foi a primeira a considerar comunicação como um problema matemático rigorosamente embasado na estatística e deu aos engenheiros da comunicação um modo de determinar a capacidade de um canal de comunicação em termos de ocorrência de bits. A teoria não se preocupa com a semântica dos dados, mas pode envolver aspectos relacionados com a perda de informação na compressão e na transmissão de mensagens com ruído no canal.

É geralmente aceito que a moderna disciplina da teoria da informação começou com a publicação do artigo "The Mathematical Theory of Communication" por Claude E. Shannon no Bell System Technical Journal em julho e outubro de 1948. No processo de desenvolvimento de uma teoria da comunicação que pudesse ser aplicada por engenheiros elétricos para projetar sistemas de telecomunicação melhores, Shannon definiu uma medida chamada de entropia, definida como: $H=-\sum _{i}p_{i}\log p_{i}$ onde $\log$ é o logaritmo na base 2, que determina o grau de caoticidade da distribuição de probabilidade $p_{i}$ e pode ser usada para determinar a capacidade do canal necessária para transmitir a informação.

A medida de entropia de Shannon passou a ser considerada como uma medida da informação contida numa mensagem, em oposição à parte da mensagem que é estritamente determinada (portanto prevísivel) por estruturas inerentes, como por exemplo a redundância da estrutura das linguagens ou das propriedades estatísticas de uma linguagem, relacionadas às frequências de ocorrência de diferentes letras (monemas) ou de pares, trios, (fonemas) etc., de palavras. Veja cadeia de Markov.

A entropia como definida por Shannon está intimamente relacionada à entropia definida por físicos. Boltzmann e Gibbs fizeram um trabalho considerável sobre termodinâmica estatística. Este trabalho foi a inspiração para se adotar o termo entropia em teoria da informação. Há uma profunda relação entre entropia nos sentidos termodinâmico e informacional. Por exemplo, o demônio de Maxwell necessita de informações para reverter a entropia termodinâmica e a obtenção dessas informações equilibra exatamente o ganho termodinâmico que o demônio alcançaria de outro modo.

Outras medidas de informação úteis incluem informação mútua, que é uma medida da correlação entre dois conjuntos de eventos. Informação mútua é definida por dois eventos X e Y como:

$M(X,Y)=H(X,Y)-H(X)-H(Y)$

onde $H(X,Y)$ é a entropia conjunta (join entropy) ou

$H(X,Y)=-\sum _{x,y}p(x,y)\log p(x,y)$

Informação mútua está relacionada de forma muito próxima com testes estatísticos como o teste de razão logarítmica e o teste Chi-square.

A teoria da informação de Shannon é apropriada para medir incerteza sobre um espaço desordenado. Uma medida alternativa de informação foi criada por Fisher para medir incerteza sobre um espaço ordenado. Por exemplo, a informação de Shannon é usada sobre um espaço de letras do alfabeto, já que letras não tem 'distâncias' entre elas. Para informação sobre valores de parâmetros contínuos, como as alturas de pessoas, a informação de Fisher é usada, já que tamanhos estimados tem uma distância bem definida.

Diferenças na informação de Shannon correspondem a um caso especial da distância de Kullback-Leibler da estatística Bayesiana, uma medida de distância entre distribuições de probabilidade a priori e a posteriori.

Andrei Nikolaevich Kolmogorov introduziu uma medida de informação que é baseada no menor algoritmo que pode computa-la (veja complexidade de Kolmogorov).

Ligações externas

• "The Mathematical Theory of Communication", Claude Shannon
• Entropy on the World Wide Web
• Information Theory Resources