TEORIA DE LA INFORMACION

El desarrollo de la teoría de la información de Claude Shannon durante la Segunda Guerra Mundial estimuló el siguiente gran paso para entender qué cantidad de información se podría comunicar, sin errores y de manera fiable, a través de canales con ruido gausiano de fondo.

Fundamentado sobre las ideas de Hartley, el teorema de Shannon de la codificación de canales con ruido (1948) describe la máxima eficiencia posible de los métodos de corrección de errores versus los niveles de interferencia de ruido y corrupción de datos. La prueba del teorema muestra que un código corrector de errores construido aleatoriamente es, esencialmente, igual de bueno que el mejor código posible. El teorema se prueba con la estadística de tales códigos aleatorios.

El teorema de Shannon demuestra cómo calcular la capacidad de un canal sobre una descripción estadística del canal y establece que, dado un canal con ruido con capacidad C e información transmitida en una tasa R, entonces si


existe una técnica de codificación que permite que la probabilidad de error en el receptor se haga arbitrariamente pequeña. Esto significa que, teóricamente, es posible transmitir información casi sin error hasta un límite cercano a C bits por segundo.

El inverso también es importante. Si


la probabilidad del error en el receptor se incrementa sin límite mientras se aumente la tasa. De esta manera no se puede transmitir ninguna información útil por encima de la capacidad del canal. El teorema no trata la situación, poco frecuente, en que la tasa y la capacidad son iguales.


http://es.wikipedia.org/wiki/Teorema_de_Shannon-Hartley