TEORIA DE LA INFORMACION

INFORMACIÓN
La información contenida en un mensaje es proporcional a la cantidad de bits que se requieren como mínimo para representar al mensaje.
El concepto de información puede entenderse más fácilmente si consideramos un ejemplo.
Supongamos que estamos leyendo un mensaje y hemos leído "string of ch", la probabilidad de que el mensaje continúe con "aracters" es muy alta por lo tanto cuando realmente leemos "aracters" del archivo la cantidad de información que recibimos es muy baja pues estábamos en condiciones de predecir que era lo que iba a ocurrir. La ocurrencia de mensajes de alta probabilidad de aparición aporta menos información que la ocurrencia de mensajes menos probables. Si luego de "string of ch" leemos "imichurri" la cantidad de información que recibimos es mucho mayor.

• PRINCIPIOS DE LA MEDICIÓN DE INFORMACIÓN
De acuerdo a estas consideraciones probabilísticas es posible establecer un primer principio de la medición de información. Este establece que mientras más probable sea un mensaje menos información proporcionará. Esto puede expresarse de la siguiente manera:
I(xi) > I(xk) si y sólo si p(xi) < p(xk)
donde
I(xi) : cantidad de información proporcionada por xi p(xi) : probabilidad de xi
De acuerdo a este principio, es la probabilidad que tiene un mensaje de ser enviado y no su contenido, lo que determina su valor informativo. El contenido sólo es importante en la medida que afecta la probabilidad. La cantidad de información que proporciona un mensaje varía de un contexto a otro, porque la probabilidad de enviar un mensaje varía de un contexto a otro.
Un segundo principio que guarda relación con las elecciones sucesivas establece que si son seleccionados los mensajes X e Y, la cantidad de información proporcionada por ambos mensajes será igual a la cantidad de información proporcionada por X más la cantidad de información proporcionada por Y, dado que X ya ha sido seleccionada. Esto puede ser expresado así:
I(xi e yj) = f p(xi) + f p(yj/xi)
donde
I(xi e yj) : cantidad de información proporcionada por los mensajes xi e yj
f : función
p(xi) : probabilidad de xi
p(yj/xi) : probabilidad de yj dado que xi ha sido seleccionado.

UNIDAD DE INFORMACIÓN
Una vez que hemos seleccionado el mensaje expresado en un lenguaje determinado es posible transcribirlo a un código de tipo binario. Este consta de sólo dos tipos de señales que indican Si o No, y que generalmente se codifican como 1 o 0. La cantidad de información proporcionada por cada elección entre dos alternativas posibles constituye la unidad básica de información, y se denomina dígito binario, o abreviadamente bit.
La elección existente al tener un bit de información puede ser esquematizada de la siguiente manera:

En la elección (b) tanto la línea superior como la inferior, es decir ambas posibilidades, pueden ser elegidas con la misma probabilidad de r/2.
Si existen N posibilidades, todas igualmente probables, la cantidad de información será igual a Log2N. Es, entonces, el Log2N la función matemática que nos indicará la cantidad de bits de información de una situación determinada. Esto puede esquematizarse de la siguiente manera:

La figura nos muestra una situación con 8 posibilidades, cada una con una misma probabilidad de 1/8. Para poder determinar una posibilidad específica de estas 8, la elección requiere como mínimo 3 etapas, cada una de las cuales arroja un bit de información. El primer bit corresponde a la elección entre las primeras cuatro o segundas cuatro posibilidades. El segundo bit corresponde al primer o segundo par de las 4 posibilidades ya elegidas. El último bit determina el primer o segundo miembro del par y especifica la posibilidad elegida. Como vemos, el primero de bits que se requieren en esta situación para determinar una posibilidad específica es de 3, lo que corresponde al Log28.






Veamos ahora algunos ejemplos de lo recién expuesto:
Elecciones
Signo 1º 2º 3º
A 1 1 1
B 1 1 0
C 1 0 1
D 1 0 0
E 0 1 1
F 0 1 0
G 0 0 1
H 0 0 0
Esta figura nos muestra un alfabeto compuesto por sólo 8 signos. Pensemos que una fuente de información selecciona un signo y de alguna manera se lo señala al receptor. La pregunta sería entonces, ¿cuánta Información deberá conocer el receptor para identificar correctamente el signo escogido?
Asumamos que a partir de elecciones anteriores sabemos que cada uno de los 8 signos tiene la misma probabilidad de ser seleccionado. La incertidumbre, entonces, se ha repartido uniformemente sobre nuestro "alfabeto", o lo que es lo mismo, las probabilidades a priori de los signos son iguales; en este caso 1/8.
Las señales que llegan al receptor representan instrucciones para seleccionar alternativas. La primera instrucción responde a la pregunta ¿está en la primera mitad del alfabeto, si o no? (en la figura, si = 1 y no = O). La respuesta nos proporciona un bit de información y reduce el rango de incertidumbre exactamente a la mitad. Luego, una segunda instrucción divide cada mitad nuevamente en la mitad y, una tercera instrucción, otra vez en la mitad. En este caso, bastan tres simples instrucciones Si-No (1-0) para identificar un signo cualquiera de un total de ocho. La letra F, por ejemplo, podría ser identificada de la siguiente manera: 010. La respuesta a nuestra pregunta es entonces, ¡el receptor deberá obtener tres bits de información para identificar correctamente el signo escogido!
El típico juego de las "Veinte Preguntas" ilustra también algunas de las ideas mencionadas. Este juego consiste en que una persona piensa en un objeto mientras el resto de los jugadores intenta adivinar de que objeto se trata, haciendo no más de veinte preguntas que sólo pueden ser respondidas Si o No. De acuerdo a la Teoría de la Información, cada pregunta y su respuesta pueden proporcionar desde ninguna información hasta un bit de información (Log22), dependiendo de si las probabilidades de obtener resultados Si o No son muy desiguales o casi iguales, respectivamente. Para obtener la mayor cantidad de información posible los jugadores deberán hacer preguntas que dividan el conjunto de posibles objetos en dos grupos igualmente probables. Por ejemplo, si mediante preguntas previas se ha establecido que se trata de una ciudad de Chile, una buena pregunta sería "¿Está al sur del río Maipo?". Así se dividen las ciudades posibles en dos grupos aproximadamente iguales. La segunda pregunta podría ser "¿Está al sur del río Bio-Bio?". Y así sucesivamente hasta determinar de que ciudad se trata. Si fuera posible hacer preguntas que tuvieran la propiedad de subdividir las posibilidades existentes en dos grupos relativamente iguales, seria posible identificar mediante veinte preguntas un objeto entre aproximadamente un millón de posibilidades. Esta cifra corresponde a los 20 bits que se requieren para identificarla (Log2 1.000.000).

Cherry C., On human Communication. MIT Press, U.S.A., 1966.