Uma mensagem útil deve ajudar a eliminar erros de previsão. Quanto mais erros de previsão ajudar a eliminar, maior a quantidade de informação da mensagem naquele contexto.
Também se diz que um padrão simbólico ('mensagem') contém tanto mais informação quanto menor for a probabilidade de o receptor reproduzí-lo antes da recepção. Isto significa que a quantidade de informação transmissível (ou representável) depende do número finito de estados diferentes que o dispositivo simbólico pode exibir: uma catraca com quatro dígitos decimais tem maior capacidade de representação do que outra com três dígitos decimais, a primeira podendo representar 10000 estados diferentes (de 0000 a 9999) e a segunda 1000 (de 000 a 999).
Quanto maior a resolução de certa imagem, mais informação é necessária para representá-la (codificá-la); e maior o número de imagens alternativas diferentes que deixaram de ser consideradas. A mensagem '3458', por exemplo, na catraca 0000-9999 elimina as outras 9999 alternativas que ela poderia exibir; enquanto que a mensagem '458', por exemplo, na catraca 000-999, elimina 999 alternativas. Note que após uma volta completa o significado da marcação de ambas catracas torna-se ambíguo. Do 'ponto-de vista' da catraca 0000-9999, o padrão '458' da catraca 000-999 pode significar tanto '0458' como '1458', '2458', etc. Como após dez voltas completas da catraca 000-999 (após dez vezes '000' a '999') ocorre uma volta completa da outra ('0000' a '9999'), cada leitura direrente da catraca 'menor' pode corresponder a dez padrões diferentes da catraca 'maior'. Há, portanto, mais informação na mensagem da catraca 'maior' do que na mensagem da 'menor'. Vistos como 'mensagens', o resultado de um lance de dado (seis faces diferentes) contém mais informação do que o resultado de um lance de moeda (duas faces diferentes), e eliminar cinco alternativas entre seis é mais preciso do que eliminar uma alternativa entre duas.
Como a quantidade possível representável de mensagens diferentes depende do número de posições do registro, não é estranho associar a grandeza 'quantidade de informação' à quantidade de posições da representação. Um registro binário (no qual cada posição pode assumir apenas um de dois estados diferentes) permite representar mensagens de modo econômico e conveniente, como vimos. Pode-se, portanto, 'identificar' a quantidade de informação de uma mensagem com o número de posições binárias do registro que a representa. Assim, a um registrador de 32 bits (isto é, de 32 posições binárias) correspondem mensagens com 32 bits de informação.
(O Sistema Internacional de Medidas – ISO - distingue entre 'bit' - dígito binário, 'shannon'[Sh] – unidade de informação 'binária(base 2)', 'hartley'[Hart] – unidade de informação 'decimal(base 10)' e 'natural unit' [Nat] – unidade de informação 'natural(base e)': ver http://www.unc.edu/~rowlett/units/dictH.html . Um 'shannon' corresponde à quantidade de informação derivada da ocorrência de um entre dois eventos equiprováveis, mutuamente exclusivos e exaustivos. [ver http://www.atis.org/glossary :
“shannon (Sh) : The unit of information derived from the occurrence of one of two equiprobable, mutually exclusive, and exhaustive events. Note: A bit may, with perfect formatting and source coding, contain 1 Sh of information. However, the information content of a bit is usually be less than 1 Sh. ”])
Podemos tentar estender tais noções para além das catracas, registradores e imagens codificadas. Não é imediato, contudo, contabilizar a 'eliminação de alternativas', ou mesmo o 'tamanho da mensagem', quando analisamos trocas triviais de informação. Dependendo das circunstâncias da pergunta, um mero 'sim' ou 'não' pode parecer conter mais informação do que outras 'mensagens' mais extensas.
Mesmo nas dicotomias, as alternativas podem ser assimétricas, isto é, certa opção entre duas pode conter muito mais informação do que a outra, como no caso de perguntarmos se um objeto está – ou não – em certo lugar: encontrar o objeto pode 'eliminar' muito mais alternativas do que saber que ele não se encontra em certo lugar. Apesar das evidentes dificuldades, contabilizações desse tipo parecem interessantes mesmo para alguns antropólogos. Gregory Bateson, da assim chamada 'Escola de Palo Alto', tenta 'explicar' para a sua filha pequena “por que as coisas se desarrumam?”(ver 'Metadiálogos', Gradiva, 1996, cap. I) desde um ponto de vista 'probabilístico' bem superficial. ( Ver https://pt.scribd.com/doc/283562223/Metalogo-Por-que-as-coisas-ficam-baguncadas ou http://pater.web.cip.com.br/SI2016/textos/txts/porQueAsCoisasFicamBaguncadas.txt)
As situações da vida são dinâmicas, como sabemos, e mais complicadas do que uma articulação mecânica de mensagens, interlocutores e canais. O entendimento depende da construção mútua de sentido, e a intervenção de cada interlocutor se adapta em direção àquele entendimento (ou, na falta dele, em direção a outras alternativas) segundo o interesse de cada um. Quanto à crítica da compreensão mecânica do pensamento e da vida social, existe imensa bibliografia sobre o assunto. Ver, por exemplo, além do 'Computadores de Papel', de Robinson Tenório e do 'História da Sociedade da Informação', de Armand Mattelart (indicados na bibliografia do curso), o 'História das Teorias da Comunicação', de Armand e Michèlle Mattelart (Ed. Loyola, 2007), o 'Culto da Informação', de Theodore Roszak (Editora Brasiliense, 1988) e, desde um ponto de vista interior à disciplina, o 'What Computers Still Can't Do', de Hubert Dreyfus (MIT Press, 1992).
Sobre a teoria clássica da informação, boa introdução é o 'An Introduction to Information Theory: symbols, signals and noise', de John R. Pierce, além do 'The mathematical theory of communication', de Claude Elwood Shannon e Warren Weaver (University of Illinois Press, 1998) e das obras de Norbert Wiener ('Cybernetics', 'Cibernética e Sociedade', 'Deus, Golem & Cia.'). Ver
http://en.wikipedia.org/wiki/Shannon%E2%80%93Weaver_model.