TEORIA DE LA INFORMACION

ENTROPIA

El concepto básico de entropía en teoría de la información tiene mucho que ver con la incertidumbre que existe en cualquier experimento o señal aleatoria. Es también la cantidad de "ruido" o "desorden" que contiene o libera un sistema. De esta forma, podremos hablar de la cantidad de información que lleva una señal.

http://es.wikipedia.org/wiki/Entrop%C3%ADa_%28informaci%C3%B3n%29


ENTROPIA CONDICIONAL
La entropía condicional es una extensión del concepto de entropía de la información a procesos donde intervienen varias variables aleatorias no necesariamente independientes.

http://es.wikipedia.org/wiki/Entrop%C3%ADa_condicional



ENTROPIA CONJUNTA

La información o incerteza de dos fuentes “deberia” ser aditiva si estas son dependientes y acotada inferiormente por el maximo de ambas.

http://webcache.googleusercontent.com/search?q=cache:xT2W8TXdGNkJ:neurociencia.df.uba.ar/snc/doc/snc5.ppt+entropia+conjunta&cd=28&hl=es&ct=clnk&gl=mx




KULLBACK-LEIBLER

En teoría de la probabilidad la divergencia de Kullback-Leibler es un indicador de la similitud entre dos funciones de distribución. Dentro de la teoría de la información también se la conoce como divergencia de la información, ganancia de la información o entropía relativa.


http://es.wikipedia.org/wiki/Divergencia_de_Kullback-Leibler