TEORIA DE LA INFORMACION

INTRODUCCIÓN A LA TEORÍA DE INFORMACIÓN
La Teoría de la Información es una teoría matemática creada por Claude Shannon, que forma la piedra angular sobre la que se ha desarrollado toda la teoría actual de la comunicación y la codificación. Esta teoría establece los límites de cuánto se puede comprimir la información y de cuál es la máxima velocidad a la que se puede transmitir información. La Teoría de la Información es, por tanto una teoría de límites alcanzables: máxima compresión de datos y máxima tasa de transmisión de información transmitida sin errores. Las aplicaciones de esta teoría son enormes y abarcan desde las ciencias de la computación (criptografía, aprendizaje), la ingeniería eléctrica (Teoría de la comunicación y teoría de la codificación), la estadística o la biología (secuencias de ADN, código genético). La última parte de la asignatura (Unidad Temática 5) estudia el hecho de que la información es algo que inevitablemente necesita un soporte físico sobre el que manifestarse. Así, se verá que la termodinámica sólo impone un coste energético mínimo a la operación de "borrar" información mientras que las restantes operaciones se pueden ejecutar de forma reversible. Siguiendo este estudio de la física de la información, la asignatura termina estudiando las diferencias entre la información clásica ("bit clásico") y la información cuántica ("bit cuántico"). Los avances tecnológicos actuales y futuros harán que la informática trabaje con este nuevo tipo de información. La criptografía cuántica se muestra actualmente como una de las aplicaciones más prometedoras dentro de la Teoría de la Información cuántica.
Cuando en un texto escrito en español y parcialmente oculto encontramos que cierta palabra empieza por una letra digamos C tenemos cierta información sobre qué posible palabra es. Si la primera letra es en vez de la C una X tenemos una mejor pista para adivinar de qué palabra se trata. La teoría de la información investiga la probabilidad de sucesos inciertos (como la palabra que debe adivinarse en el caso anterior) y trata de cuantificar numéricamente cuanta información aporta cada pista o hecho conocido que ayuda a reducir la incertidumbre. Por eso la información encerrada en un cierto "pedazo de conocimiento" es una función de las probabilidades de cada suceso posible en un evento incierto:
(1)
Donde las pi son las probabilidades de ocurrencia de cada uno de los sucesos posibles compatibles con el conocimiento cierto que tenemos. La teoría de la información no puede decirnos si cierto conocimiento es verdadero o falso, sólo cuantificar numéricamente cuanto es ese conocimiento en relación a la incertidumbre existente bajo la suposición de que el conocimiento que tenemos es verdadero. Una propiedad interesante con la función de (1) es la aditividad. Bajo un conjunto de condiciones matemáticas razonables relacionadas con la probabilidad de eventos sencillos y compuestos, se puede demostrar que la cantidad de información es igual a la reducción de la incertidumbre que aporta nuestro conocimiento actual sobre las posibilidades futuras:
(2)
Donde k es una constante que depende del sistema de unidades en que escojamos medir la información:
• En informática típicamente k = 1 / ln2 y la cantidad de información se mide en bits.
• En termodinámica, donde existe una relación estrecha, entre la entropía física y la información se toma k igual a la constante de Boltzmann y la información se mide ahí en julio/K.

http://www.dia.fi.upm.es/index.php?page=teoria-de-la-informacion&hl=es_ES