TEORIA DE LA INFORMACION

INTRODUCCIÓN A LA TEORÍA DE INFORMACIÓN
La Teoría de la Información es una teoría matemática creada por Claude Shannon, que forma la piedra angular sobre la que se ha desarrollado toda la teoría actual de la comunicación y la codificación. Esta teoría establece los límites de cuánto se puede comprimir la información y de cuál es la máxima velocidad a la que se puede transmitir información. La Teoría de la Información es, por tanto una teoría de límites alcanzables: máxima compresión de datos y máxima tasa de transmisión de información transmitida sin errores. Las aplicaciones de esta teoría son enormes y abarcan desde las ciencias de la computación (criptografía, aprendizaje), la ingeniería eléctrica (Teoría de la comunicación y teoría de la codificación), la estadística o la biología (secuencias de ADN, código genético). La última parte de la asignatura (Unidad Temática 5) estudia el hecho de que la información es algo que inevitablemente necesita un soporte físico sobre el que manifestarse. Así, se verá que la termodinámica sólo impone un coste energético mínimo a la operación de "borrar" información mientras que las restantes operaciones se pueden ejecutar de forma reversible. Siguiendo este estudio de la física de la información, la asignatura termina estudiando las diferencias entre la información clásica ("bit clásico") y la información cuántica ("bit cuántico"). Los avances tecnológicos actuales y futuros harán que la informática trabaje con este nuevo tipo de información. La criptografía cuántica se muestra actualmente como una de las aplicaciones más prometedoras dentro de la Teoría de la Información cuántica.
Cuando en un texto escrito en español y parcialmente oculto encontramos que cierta palabra empieza por una letra digamos C tenemos cierta información sobre qué posible palabra es. Si la primera letra es en vez de la C una X tenemos una mejor pista para adivinar de qué palabra se trata. La teoría de la información investiga la probabilidad de sucesos inciertos (como la palabra que debe adivinarse en el caso anterior) y trata de cuantificar numéricamente cuanta información aporta cada pista o hecho conocido que ayuda a reducir la incertidumbre. Por eso la información encerrada en un cierto "pedazo de conocimiento" es una función de las probabilidades de cada suceso posible en un evento incierto:
(1)
Donde las pi son las probabilidades de ocurrencia de cada uno de los sucesos posibles compatibles con el conocimiento cierto que tenemos. La teoría de la información no puede decirnos si cierto conocimiento es verdadero o falso, sólo cuantificar numéricamente cuanto es ese conocimiento en relación a la incertidumbre existente bajo la suposición de que el conocimiento que tenemos es verdadero. Una propiedad interesante con la función de (1) es la aditividad. Bajo un conjunto de condiciones matemáticas razonables relacionadas con la probabilidad de eventos sencillos y compuestos, se puede demostrar que la cantidad de información es igual a la reducción de la incertidumbre que aporta nuestro conocimiento actual sobre las posibilidades futuras:
(2)
Donde k es una constante que depende del sistema de unidades en que escojamos medir la información:
• En informática típicamente k = 1 / ln2 y la cantidad de información se mide en bits.
• En termodinámica, donde existe una relación estrecha, entre la entropía física y la información se toma k igual a la constante de Boltzmann y la información se mide ahí en julio/K.

http://www.dia.fi.upm.es/index.php?page=teoria-de-la-informacion&hl=es_ES

Los problemas de conectividad de red tienen distintas causas pero normalmente se deben a adaptadores de red incorrectos, a una incorrecta configuración de los modificadores, a un hardware defectuoso o a problemas del controlador. Algunos síntomas de los problemas de conectividad son intermitentes, por lo que no parecen señalar claramente a una de estas causas.

A veces, una actualización del sistema operativo introduce los problemas de conectividad de red. El mismo adaptador de red que funcionó correctamente en un sistema operativo anterior o diferente, como Microsoft Windows 98 o Microsoft Windows 95, puede producir problemas después de una actualización. A veces, la causa de un problema de conectividad puede ser la reubicación de un servidor.

Las causas más comunes de los problemas de conectividad son:
• Los adaptadores de red y puertos conectores tienen niveles de dúplex o parámetros de velocidad de transferencia no coincidentes.
• Los adaptadores de red o los conectores con tasas de transmisión de 10/100 megabits por segundo (Mbps) no conectan correctamente. Alguna configuración de detección automática no puede detectar correctamente la velocidad de algunos adaptadores de red.
• El adaptador de red es incompatible con la placa base o con otros controladores o componentes de hardware o de software.
Los mensajes de error típicos incluyen los siguientes:
Error 55: "El recurso de red especificado ya no está disponible" (ERROR_DEV_NOT_EXIST).
Error 64: "El nombre de red especificado ya no está disponible" (ERROR_NETNAME_DELETED).
Error 121: "Ha terminado el intervalo de espera del semáforo" (ERROR_SEM_TIMEOUT).
Error 1231: "El transporte no tiene acceso a la red remota" (ERROR_NETWORK_UNREACHABLE).

Los registros de sucesos del sistema del equipo cliente pueden mostrar cualquiera de las entradas siguientes:
Tipo: Advertencia
Origen: MrxSmb
Id. de suceso: 50
Descripción:
{datos de escritura retardada perdidos} El sistema intentaba transferir datos de archivo desde búferes a \Dispositivo\LanmanRedirector. No se pudo realizar la operación de escritura y sólo se han podido escribir algunos datos en el archivo.
Tipo: Advertencia
Origen: MrxSmb
Id. de suceso: 3013
Descripción:
El Redirector ha terminado el tiempo de espera de una petición a nombreServidor
Tipo: Advertencia
Origen: MrxSmb
Id. de suceso: 3036
Descripción:
El redirector detectó una no coincidencia en la firma de seguridad. Se ha cortado la conexión.
Puede haber varias apariciones de la siguiente entrada TCPIP 4201 en los registros de sucesos:
Tipo: Información
Origen: TCPIP
Id. de suceso: 4201
Descripción:
El sistema detectó que el adaptador de red Compaq NC6134 Gigabit NIC estaba conectado a la red y ha iniciado la operación normal en el adaptador de red.
Un suceso TCPIP 4201 único es típico después de reiniciar el equipo o después de deshabilitar o habilitar el adaptador de red.



Solución de problemas
Para solucionar los problemas de conectividad de red, siga estos pasos:
1. Use las herramientas de línea de comandos Ping o PathPing para comprobar la conectividad básica. Utilice Ping para aislar los problemas del hardware de red y las configuraciones incompatibles. Utilice PathPing para detectar pérdidas de paquete en los recorridos con varios saltos.

Para ver los datos de Ping, use el comando ping -t. Para ver los datos estadísticos y continuar, presione CTRL+INTER. Para detener la operación, presione CTRL+C. Si detecta paquetes perdidos en los resultados, esto indica problemas de conexión de red hasta en la capa 3 (conectividad de nivel IP) de Interconexión de sistemas abiertos (OSI).

Si el equipo remoto al que hace ping está conectado a través de un vínculo con un retardo grande, como un enlace por satélite, la respuesta podría demorarse. Utilice el modificador -w (espera) para especificar un tiempo de espera más largo.

Para obtener más información acerca del uso de estas herramientas, vea la sección "Test Network Connection with Ping and PathPing" del Kit de recursos de Microsoft Windows 2000 Server o vea "Testing the Network Connection with Ping and PathPing" en el capítulo 19 de la Documentación del Kit de recursos de Microsoft Windows XP Professional.
2. Compruebe si en los registros de sucesos hay entradas relacionadas con la tarjeta de red o con la conectividad.

Para obtener información adicional, haga clic en el número de artículo siguiente para verlo en Microsoft Knowledge Base:
308427 CÓMO: Ver y administrar registros de sucesos en el Visor de sucesos
3. Compruebe si el adaptador de red está en el Lista de compatibilidad de hardware (HCL) de Microsoft. Para ver la HCL, visite el siguiente sitio Web de Microsoft:
CaIidad del controlador de hardware
4. Compruebe otros equipos que utilizan la misma puerta de enlace predeterminada conectada con el mismo concentrador o conector. Si estos equipos no experimentan problemas de conectividad de red, el problema puede ser un adaptador de red defectuoso en un equipo.

Si éste es el caso, actualice el controlador del adaptador de red a la versión más reciente.
5. Póngase en contacto con el proveedor de cada placa base y actualice el BIOS de las placas. Algunos adaptadores de red, placas base o versiones de BIOS son incompatibles. Obtenga la versión más reciente del sitio Web del proveedor o póngase en contacto con su proveedor de hardware.
6. Compruebe si hay parámetros comunes en el adaptador de red y el hardware de la transmisión hacia satélite (concentrador o conector). Asegúrese de que todos los recursos de red complementarios (adaptador de red, concentrador y conector) comparten la misma velocidad y nivel de dúplex. Si el tipo de medio se configura en detección automática o en "Selección automática", compruebe que la detección automática de todos los componentes es correcta.

En algunos conectores, una configuración automática de dúplex puede forzar el uso de dúplex medio. Puede tener que obligarle a utilizar dúplex completo.

Restablezca el conector, reinicie el cliente y compruebe la conectividad.

Coloque el cliente y el servidor en un concentrador pasivo. Si la comunicación se reanuda, el problema lo puede producir una configuración incorrecta del modificador de red incorrecta.

Para obtener más información acerca de cómo configurar los dispositivos, póngase en contacto con el proveedor de hardware.
7. Configure manualmente el adaptador de red del equipo con problemas de conectividad en dúplex medio y una velocidad inferior.

Conecte el sistema a un conector configurado para dúplex medio y 10 Mbps o utilice un concentrador de 10 Mbps, para ver si se puede establecer la conexión en una velocidad de transmisión inferior.

Para aumentar el rendimiento, aumente manualmente a 100 Mbps la configuración de la velocidad y, a continuación, reinicie los equipos. Compruebe la pérdida de conectividad de red, aumente la configuración a dúplex completo y, a continuación, reinicie los equipos. Si se produce pérdida de la conectividad a red, reduzca la configuración dúplex y la velocidad a los valores anteriores.
8. Cambie el cable de red entre el sistema con error y el concentrador o conector.
9. Sustituya el adaptador de red por otro que se haya probado y resulte confiable. Para ello, siga estos pasos:
a. Quite el programa de diagnóstico del adaptador de red.
b. Quite el adaptador de red de Propiedades de red.
c. Instale el nuevo adaptador de red.
Ejecute el Monitor de red simultáneamente en los dos extremos de la conexión de red. Después de filtrar los seguimientos de las direcciones de los dos sistemas, compare ambos seguimientos para comprobar si puede ver el mismo tráfico.

Utilice TCP Retransmit, la herramienta Expertos de Monitor de red, para detectar las retransmisiones de TCP. Para ello, siga estos pasos:
. Inicie el Monitor de red.
a. En el menú Herramientas, haga clic en Expertos y, después, en TCP retransmitidos en el panel izquierdo.
b. Haga clic en Agregar a lista de ejecución.
c. Haga clic en Ejecutar expertos.
Si se han perdido los marcos en uno de los seguimientos, compruebe si hay errores de hardware o configuración en el cableado intermedio, los concentradores, conectores y enrutadores.

En Monitor de red, vea el marco resumen de datos de captura. Este marco es el último del seguimiento. Si contiene un valor distinto de 0 en los contadores estadísticos siguientes, el problema de conectividad se puede deber a un problema de hardware o de conectividad:
STATS: MAC CRC Errors = 0
STATS: MAC Frames Dropped due to HardWare Errors = 0
Los conectores de red y los adaptadores de red del servidor han de tener valores de dúplex coincidentes para que la comunicación pueda funcionar correctamente. Los dos se deben establecer a dúplex completo o a dúplex medio. No pueden ser no coincidentes.

Los equipos de una red de área local (LAN) suelen compartir un medio de red con dúplex completo común. Esta configuración permite que dos equipos transmitan datos simultáneamente.

Los problemas de conectividad pueden producirse cuando se cumple alguna de las condiciones siguientes:
• El equipo se movió a un nuevo puerto conector de Ethernet que detecta automáticamente la velocidad de la red. Sin embargo, el adaptador de red del equipo se configuró para forzar la comunicación de dúplex completo con una configuración de velocidad de transferencia de red estática (10 Mbps, 100 Mbps o 1 gigabit por segundo [Gbps]).
• El puerto conector de Ethernet y el adaptador de red del equipo se configuran para forzar una comunicación de dúplex completo de 100 Mbps o de 1 Gbps. Sin embargo, es posible que el conector de Ethernet o el adaptador de red no puedan comunicar a esa velocidad o no puedan usar las transmisiones de dúplex completo.
Puede mejorar el rendimiento de la red en un entorno LAN de Ethernet utilizando hardware de dúplex completo. Esta configuración permite la comunicación bidireccional entre los dispositivos de red. Sin hardware de dúplex completo, la información se envía en una dirección y después en la otra. En una configuración de hardware de dúplex medio, los paquetes suelen chocar en la red y cada vez que se produce una colisión se deben reenviar los paquetes que colisionaron. Esto crea todavía más tráfico, que puede reducir el rendimiento de la red.

Con dúplex completo, las rutas de la transmisión y de la recepción son independientes. Por consiguiente, puede transmitir y recibir al mismo tiempo, con lo que se evitan las colisiones. Por el aumento del rendimiento y la falta de colisiones, el dúplex completo se ve más afectado por las malas terminaciones de cable o por una atención del cableado que exceda de los límites recomendados. Esto puede generar retransmisiones de datos suficientes para degradar el rendimiento.

Se refieren a los errores de transmisión en las líneas se deben a mucho a diversos factores, como el ruido térmico, ruido impulsivo y ruido de intermodulación. Dependiendo del medio de transmisión y del tipo de codificación empleado, se pueden presentar otros tipos de anomalías como ruido de redondeo y atenuación, así como cruce de líneas y eco.

Se han diseñado dos estrategias diferentes para el tratamiento de los errores:

Códigos detectores de error: Consiste en incluir en los datos transmitidos, una cantidad de bits redundantes de forma que permita al receptor detectar que se ha producido un error, pero no qué tipo de error ni donde, de forma que tiene que solicitar retransmisión.
Códigos correctores de error: Consiste en la misma filosofía que el anterior, incluir información redundante pero en este caso, la suficiente como para permitirle al receptor deducir cual fue el carácter que se transmitió, por lo tanto, el receptor tiene capacidad para corregir un número limitado de errores.

El desarrollo de la teoría de la información de Claude Shannon durante la Segunda Guerra Mundial estimuló el siguiente gran paso para entender qué cantidad de información se podría comunicar, sin errores y de manera fiable, a través de canales con ruido gausiano de fondo.

Fundamentado sobre las ideas de Hartley, el teorema de Shannon de la codificación de canales con ruido (1948) describe la máxima eficiencia posible de los métodos de corrección de errores versus los niveles de interferencia de ruido y corrupción de datos. La prueba del teorema muestra que un código corrector de errores construido aleatoriamente es, esencialmente, igual de bueno que el mejor código posible. El teorema se prueba con la estadística de tales códigos aleatorios.

El teorema de Shannon demuestra cómo calcular la capacidad de un canal sobre una descripción estadística del canal y establece que, dado un canal con ruido con capacidad C e información transmitida en una tasa R, entonces si


existe una técnica de codificación que permite que la probabilidad de error en el receptor se haga arbitrariamente pequeña. Esto significa que, teóricamente, es posible transmitir información casi sin error hasta un límite cercano a C bits por segundo.

El inverso también es importante. Si


la probabilidad del error en el receptor se incrementa sin límite mientras se aumente la tasa. De esta manera no se puede transmitir ninguna información útil por encima de la capacidad del canal. El teorema no trata la situación, poco frecuente, en que la tasa y la capacidad son iguales.


http://es.wikipedia.org/wiki/Teorema_de_Shannon-Hartley

El teorema de Shannon-Hartley es una aplicación del teorema de codificación para canales con ruido. Un caso muy frecuente es el de un canal de comunicación analógico continuo en el tiempo que presenta un ruido gausiano.

El teorema establece la capacidad del canal de Shannon, una cota superior que establece la máxima cantidad de datos digitales que pueden ser transmitidos sin error (esto es, información) que pueden ser transmitidos sobre dicho enlace de comunicaciones con un ancho de banda específico y que está sometido a la presencia de la interferencia del ruido.

En las hipótesis de partida, para la correcta aplicación del teorema, se asume una limitación en la potencia de la señal y, además, que el proceso del ruido gausiano es caracterizado por una potencia conocida o una densidad espectral de potencia.

La ley debe su nombre a Claude Shannon y Ralph Hartley.


Declaración del teorema [editar]Considerando todas las posibles técnicas de codificación de niveles múltiples y polifásicas, el teorema de Shannon-Hartley indica que la capacidad del canal C es:[1]


donde:

B es el ancho de banda del canal.
C es la capacidad del canal (tasa de bits de información bit/s)
S es la potencia de la señal útil, que puede estar expresada en vatios, milivatios, etc., (W, mW, etc.)
N es la potencia del ruido presente en el canal, (mW, μW, etc.) que trata de enmascarar a la señal útil.



http://es.wikipedia.org/wiki/Teorema_de_Shannon-Hartley

Criptografía

La criptografía se ocupa de transformar información haciéndola ininteligible para quienes no estén autorizados para conocerla. Aunque hunde sus raíces en el pasado, es a mediados del pasado siglo cuando entra en la teoría de la información de la mano de Shannon.

Probó éste que existe cifrados inexpugnables, como el sistema VERNAM. Este cifrado requiere que tanto quien manda el mensaje como el que lo recibe tengan una misma clave de bits aleatorios, que el primero usa para cifrar y el segundo para descifrar.

La longitud de la secuencia de estos bits no debe ser menor que la del texto fuente, ni usarse más de una vez, lo que hace muy gravoso el cifrado cuando es mucha la información a encriptar.

Este sistema de cifrado fue usado por diplomáticos alemanes y rusos en la segunda guerra mundial, y por el espionaje soviético durante la guerra fría. Es rutina para las comunicaciones a través del “teléfono rojo “entre la Casa Blanca y el Kremlin. Su elevado coste hace que se use sólo para cifrar información sumamente valiosa, reemplazándose para menesteres menos delicados por encriptación con claves más cortas aunque quebrantables, como el sistema PKC (Public Key Cryptographic), de uso muy frecuente en internet.

Se basa este famoso sistema en el uso de dos claves: la persona X da una clave pública, a disposición de todos, y tiene otra privada que no da a conocer, y que es la inversa de la anterior. La primera la utiliza cualquier persona Y para mandarle a X mensajes cifrados; cuando X los recibe, los descifra con su clave privada. Es claro que ´esto sólo tiene interés si exclusivamente X sabe deshacer el cifrado.

¿Cómo se consigue esto? De una forma sutil: utilizando, para encriptar, funciones tratables, cuyas inversas, necesarias para desencriptar, son prácticamente duras.

Uno de los modos más interesantes de implementación del sistema PKC es el método RSA (Rivest, Shamir, Adleman), basado en la dificultad de factorizar números grandes. Se usa, en particular, para proteger las cuentas electrónicas bancarias.

Ahora bien, aunque el problema de factorización sigue siendo en la actualidad un problema duro, nadie está seguro de que no pueda surgir el día de mañana algún matemático con un algoritmo radicalmente más rápido con el que los computadores clásicos existentes puedan factorizar en tiempo razonable. De hecho, la computación cuántica ha despertado enormes expectativas en este sentido, al abrir las puertas a un método de factorización de tiempo polinomico, conocido como algoritmo de Shor, y que pende como espada de Damocles sobre estos sistemas de encriptación.

Criptógrafa cuántica

La física cuántica ofrece un método seguro, garantizado por sus propias leyes, para la distribución cuántica de claves, de modo que dos personas puedan compartir claves binarias aleatorias arbitrariamente largas y absolutamente secretas para los demás. Por tanto es el complemento ideal al cifrado VERNAM. Existen varios protocolos o conjuntos de pasos a seguir por dos personas A y B que desean compartir una clave aleatoria opaca. Uno de ellos se discute con detalle en el texto de esta lección.


Realización práctica de QKD Uno de estos protocolos fue implementado por vez primera en 1989 en los laboratorios de IBM con fotones polarizados guiados por un tubo con aire de 32 cm.

En 1995 se realizó experimentalmente otro protocolo, también con fotones polarizados, transmitidos esta vez a lo largo de una fibra óptica de 23 km uniendo bajo las aguas del lago Lemán las ciudades de Ginebra y Nyon.

En 1998 se transmitió cuánticamente clave secreta a lo largo de 0.5 km mediante el envío de fotones polarizados por el aire a plena luz del día. En un futuro inmediato puede ser utilizado este procedimiento para generar claves secretas compartidas tierra-satélite con el fin de proteger la confidencialidad de las transmisiones.
En 1999 un grupo de Los Álamos ha llegado a 48 km, usando interferometría con fotones de fase determinada. Puede ser usado para conectar con seguridad diversas agencias del Gobierno de EEUU en Washington.

Ponderación
La mayoría de los sistemas de numeración actuales son ponderados, es decir, cada posición de una secuencia de dígitos tiene asociado un peso. El sistema binario es, de hecho, un sistema de numeración posicional ponderado. Sin embargo, algunos códigos binarios, como el código Gay, no son ponderados, es decir, no tienen un peso asociado a cada posición. Otros, como el mismo código binario natural o el BCD natural sí lo son.
Distancia
La distancia es una característica sólo aplicable a las combinaciones binarias. La distancia entre dos combinaciones es el número de bits que cambian de una a otra. Por ejemplo, si se tienen las combinaciones de cuatro bits 0010 y 0111, correspondientes al 2 y al 7 en binario natural, se dirá que la distancia entre ellas es igual a dos (ya que de una a otra cambian dos bits).
Además, con el concepto de distancia se puede definir la distancia mínima de un código. Ésta no es más que la distancia menor que haya entre dos de las combinaciones de ese código.
Adyacencia
La adyacencia es una característica que consiste en que de una combinación binaria a la siguiente, sólo varía un bit (distancia igual a uno). Esta propiedad es aplicable únicamente a las combinaciones binarias de un código, no al código en sí mismo.
Continuidad
La continuidad es una característica de los códigos binarios que cumplen que todas las posibles combinaciones del código son adyacentes, es decir, que de cualquier combinación del código a la siguiente cambia un sólo bit. En este caso se dice que el código es continuo. Cuando la última combinación del código es, a su vez, adyacente a la primera, se trata de un código cíclico.
Autocomplementariedad
Se dice que un código binario es autocomplementario cuando el complemento a nueve del equivalente decimal de cualquier combinación del código puede hallarse invirtiendo los valores de cada uno de los bits (operación lógica unaria de negación) y el resultado sigue siendo una combinación válida en ese código. Esta característica se observa en algunos códigos BCD, como el código Aiken o el código BCD exceso 3. Los códigos autocomplementarios facilitan las operaciones aritméticas.
.

Es el sistema de representación de textos, o procesadores de instrucciones de ordenador, utilizando el sistema binario (sistema numérico de dos dígitos, o bit: el "0" y el "1"). En informática y telecomunicaciones, el código binario se utiliza con variados métodos de codificación de datos, tales como cadenas de caracteres, o cadenas de bits. Estos métodos pueden ser de ancho fijo o ancho variable.
En un código binario de ancho fijo, cada letra, dígito, u otros símbolos, están representados por una cadena de bits de la misma longitud, como un número binario que, por lo general, aparece en las tablas en notación octal, decimal o hexadecimal.
Según Anton Glaser, en su History of Binary and other Nondecimal Numeration, comenta que los primeros códigos binarios se utilizaron en el año 1932: C.E. Wynn-Williams ("Scale of Two"), posteriormente en 1938: Atanasoff-Berry Computer, y en 1939: Stibitz ("excess three") el código en Complex Computer

Es un método general de codificación y compresión diseñado para minimizar el número medio de bits necesarios para transmitir un símbolo cuando se debe transmitir varias copias independientes y estadísticamente equivalentes de dicho símbolo. Este método determina cómo los distintos valores del símbolo deben representarse como cadenas binarias.
Supongamos que tenemos que enviar el símbolo X que puede tomar valores {x1,...xn} con probabilidad {p1,...,pn}. La idea es reservar palabras cortas para los valores más frecuentes de X. Este método no requiere usar ningún tipo de separador entre los valores.

Ejemplo: x1 (0.5) x2 (0.3) x3 (0.15) x4 (0.05)
• Si se usan 00, 01, 10 y 11 necesitaremos siempre 2 bits para el valor de X.
• Si se usan las palabras 0,10,110,111 necesitaremos como término medio 1.7 bits (menos de 2).
El código del ejemplo es de longitud variable, pero no se requiere usar ningún tipo de separador entre los valores.
• x3 x1 x4 x3 x3 x2 = 110011111011010 Sólo puede decodificarse correctamente.
La razón es que siempre puede reconocer el final de una palabra porque ninguna otra palabra es el principio de otra dada. Un código con esta propiedad se denomina código prefijo. El código Huffman es el código prefijo que requiere el mínimo número medio de bits por símbolo.

Desigualdad de Kraft

Definición: Dada una fuente de n símbolos a codificar con un alfabeto de r símbolos utilizando un conjunto de n palabras de longitudes l1 a ln, la desigualdad de Kraft corresponde a:

Hay que tener en cuenta que:
• Es condición necesaria para que un código sea uno de los códigos prefijo (o códigos instantáneos).
• Es condición suficiente para que exista algún código prefijo (o código instantáneo) con la secuencia de longitudes: l1... ln.
• Dado un código conocido C, con longitudes l1 a ln, que cumple la desigualdad de Kraft, NO podemos afirmar que C es instantáneo (pues C no tiene por qué cumplir la regla del prefijo). Sin embargo, sabemos que existe algún código instantáneo con longitudes l1... ln, puesto que se verifica la desigualdad de Kraft con dicha secuencia de longitudes.


Desigualdad de McMillan

La desigualdad de McMillan es un teorema de la teoría de códigos que reduce la existencia de de códigos unívocamente descifrables al cumplimiento de la desigualdad de Kraft. Es decir, si existe un código unívocamente descifrable con longitudes de palabra prescritas entonces es un código instantáneamente descifrable que satisface la desigualdad de Kraft.

En Teoría de la Información, la capacidad de un canal de comunicación es la cantidad máxima de información que puede transportar dicho canal de forma fiable, es decir, con una probabilidad de error tan pequeña como se quiera. Normalmente se expresa en bits/s (bps).

Canales Discretos


Un canal discreto (sin memoria) está definido por
• el alfabeto de entrada, , que es el conjunto de símbolos que pueden ser transmitidos por el canal
• el alfabeto de salida, , que es el conjunto de símbolos que pueden ser recibidos a la salida del canal
• las relaciones estadísticas entre los símbolos de entrada y los de salida , esta información viene definida por la matriz de probabilidades condicionadas del canal donde
Se define la entropia de entrada, entropía de salida y entropía de entrada condicionada por la salida como



La información mutua entre la entrada y la salida del canal la denotamos por y es una medida de lo que el conocimiento de la entrada reduce la incertidumbre sobre la salida y viveversa

Esta información mutua depende de la distribución de probabilidad de la entrada . Para una determinada distribución de entrada, alcanza un máximo, este máximo es precisamente lo que se conoce como la capacidad del canal


Definición para canales continuos
La definición de capacidad para canales continuos es un poco diferente y exige utilizar el Teorema del muestreo y algunos otros conceptos de teoría de la señal, además de los conceptos puramente estadísticos vistos en el apartado anterior.

Ampliando los estudios del físico Harry Nyquist, compañero en los Laboratorios Bell, Claude Shannon demostró en 1949 que la capacidad teórica máxima de un canal de comunicaciones limitado en banda con ruido AWGN (ruido blanco aditivo gausiano) responde a la ecuación:
bits/s (bps)
La ecuación anterior muestra que la capacidad de un canal está limitada por su ancho de banda (B) y por su relación señal/ruido (SNR). En términos de eficiencia espectral resulta:
bps/Hz
es decir, la eficiencia espectral máxima depende de la calidad del canal (de su nivel de ruido).
Fuente: http://es.wikipedia.org/wiki/Capacidad_de_canal

LZW (Lempel-Ziv-Welch) es un algoritmo de compresión sin pérdida desarrollado por Terry Welch en 1984 como una versión mejorada del algoritmo LZ78 desarrollado por Abraham Lempel y Jacob Ziv.
La mayoría de los métodos de compresión se basan en un análisis inicial del texto para identificar cadenas repetidas para armar un diccionario de equivalencias, asignando códigos breves a estas cadenas. En una segunda etapa, se convierte el texto utilizando los códigos equivalentes para las cadenas repetidas. Esto requiere dos etapas, una de análisis y una segunda de conversión y también requiere que el diccionario se encuentre junto con el texto codificado, incrementando el tamaño del archivo de salida.
Codificacion Fuente Lempel-Ziv
• Las estadísticas de fuente a menudo no son conocidas
• La mayoría de las fuentes no son independientes

Las letras del alfabeto tienen un alto grado de correlación
P.ej., después de la I va la E, después de la G va la H, etc.
• Se pueden codificar “bloques” de letras, sin embargo, se requeriría un código muy largo y complejo.
• Algoritmo Lempel-Ziv
“Código universal” - funciona sin conocimiento de estadísticas de fuente
Analiza sintácticamente el archivo de entrada en frases unívocas
Codifica frases empleando palabras código de longitud fija
Codificación de longitud variable a fija
 
Algoritmo De Lempel-Ziv
• Analizar el archivo de entrada en frases que aún no han aparecido
Entrar frases en un diccionario
Numerar su ubicación
• Observe que cada frase nueva debe ser una frase vieja seguida por un ‘0’ o un ‘1’.
Puede codificar la nueva frase utilizando la ubicación del diccionario de la frase anterior seguida por el ‘0’ o el ‘1’

Notas Acerca De Lempel-Ziv
• El decodificador sólo puede decodificar unívocamente la secuencia enviada
• El algoritmo no es eficiente para secuencias cortas (datos de entrada)
• El rendimiento del código se aproxima a la entropía de fuente para secuencias largas
• El tamaño del diccionario debe elegirse con antelación para que se pueda establecer la longitud de la palabra código
• Lempel-Ziv se usa frecuentemente para codificar archivos de texto/binarios
Comprimir/descomprimir bajo unix
Mismo software de compresión para PC y MAC

Asignando a cada símbolo su propio rango de probabilidad único, es posible codificar un solo símbolo mediante un valor dentro de su rango. Usando esta aproximación, los símbolos adicionales se pueden codificar restringiendo el rango de probabilidad del símbolo actual con el rango del nuevo símbolo que se codifica. El siguiente pseudo código ilustra cómo se pueden agregar símbolos adicionales a una secuencia codificada restringiendo los límites del rango de probabilidad de la secuencia.

limite_inferior = 0
limite_superior = 1
mientras haya símbolos que codificar
rango_actual = limite_superior - limite_inferior
limite_superior = limite_inferior + (rango_actual × limite_superior_del_nuev
limite_inferior = limite_inferior + (rango_actual × limite_inferior_del_nuev
fin mientras

Cualquier valor entre los límites inferior y superior calculados con el algoritmo puede codificar la secuencia de la entrada completa.

Ejemplo:
Codificar la secuencia "ace" con las probabilidades mostradas en la tabla 1.

Comenzamos con limite_inferior = 0 y limite_superior = 1.

Codifición de la 'a'
rango_actual = 1 - 0 = 1
limite_superior = 0 + (1 × 0,3) = 0,3
limite_inferior = 0 + (1 × 0,0) = 0,0

codificación de la 'c'
rango_actual = 0,3 - 0,0 = 0,3
limite_superior = 0,0 + (0,3 × 0,70) = 0,210
limite_inferior = 0,0 + (0,3 × 0,45) = 0,135

codificación de la 'e'
rango_actual = 0,210 - 0,135 = 0,075
limite_superior = 0,135 + (0,075 × 1,00) = 0,210
limite_inferior = 0,135 + (0,075 × 0,80) = 0,195

La secuencia "ace" se puede codificar mediante cualquier valor dentro del rango [0,195, 0,210).
Obviamente, los requisitos de precisión aumentan a medida que se codifican más símbolos. Codificar secuencias de longitud ilimitada requiere tener precisión infinita en los límites de los rangos. En la sección implementación se discute cómo se aborda la necesidad de la precisión infinita.

Codificación aritmética es un método para compresión de datos lossless. Normalmente, una cadena de caracteres tales como las palabras “hola allí” se representa usando un número fijo de pedacitos por carácter, como en ASCII código. Como Codificación de Huffman, la codificación aritmética es una forma de variable-length codificación de la entropía ese convierte una secuencia en otra representación que represente los caracteres con frecuencia usados que usan pocos pedacitos y los caracteres infrecuentemente usados que usan más pedacitos, con la meta de usar pocos pedacitos en total. En comparación con otras técnicas de codificación de la entropía que separen el mensaje de la entrada en sus símbolos componentes y substituyan cada símbolo por una palabra de código, la codificación aritmética codifica el mensaje entero en un solo número, una fracción n donde (0.0 ≤ n < 1.0).

Dado un alfabeto con los símbolos S0, S1 ... Sn, donde cada símbolo tiene una probabilidad de la ocurrencia de p0,p1... pn tales que Σpi = 1, la codificación óptima para Si requiere -(pi × log2(pi)) bits, un número de bits que a menudo es fraccionario. Puesto que Σpi = 1, se puede representar cada probabilidad, pi, como un intervalo de valores entre 0 y 1 que no se solapa con los demás, usando la función de distribución de probabilidad.
Por ejemplo, supongamos que tenemos un alfabeto 'a', 'b', 'c', 'd', y 'e' con probabilidades de la ocurrencia del 0.3, 0.15, 0.25, 0.1 y 0.2, respectivamente. Podemos elegir las asignaciones del rango de cada símbolo basado en su probabilidad como:

Símbolo Probabilidad Gama
Símbolo Probabilidad Gama
a 0.3 [0.00, 0.30)
b 0.15 [0.30, 0.45)
c 0.25 [0.45, 0.70)
d 0.1 [0.70, 0.80)
e 0.2 [0.80, 1.00)
TABLA 1. Rangos de los símbolos


Fuente: http://www.worldlingo.com/ma/enwiki/es/Arithmetic_coding

EL BIT

La información está discretizada en paquetes irreductibles. Su unidad clásica es el bit (por binary digit), o información almacenable en un sistema clásico con tan sólo dos estados 0 y 1. Cada bit puede ser guardado físicamente; en los ordenadores clásicos, un bit se registra como un estado de carga de un condensador (0 = condensador descargado; 1 = condensador cargado). Son estados macroscópicamente diferenciados, robustos y estables. Su lectura no les afecta, y pueden ser clonados o replicados sin problemas.

El uso del bit como unidad fue introducido por Shannon en el trabajo que se considera como la Carta Magna de la era de la información. Shannon murió el pasado 24 de febrero. Pasa a la historia como pionero de la revolución digital. La repercusión científica, económica, cultural y social de su obra crece con el tiempo, y sin ella el mundo actual sería inconcebible.

Creador de la codificación, nos enseñó a cómo combatir la corrupción mediante la redundancia. Así el corte de un CD con una tijera a lo largo de un radio no afecta para nada la calidad de su audición. Shannon mostró cuán compresible puede ser un mensaje, o equivalentemente, qué redundancia tiene, todo ello medido a través de la entropía. Por ejemplo, como la entropía del idioma inglés es ≈1.2, su redundancia es ≈ 3/4. Esto no significa que podamos quitar al azar un 75% de los símbolos de un mensaje en inglés sin comprometer su comprensibilidad. Depende mucho de cómo se simplifique el texto. La redundancia práctica queda entre un 25 y un 50%.

Demostró también que, contra todo pronóstico, por un canal ruidoso pueden viajar mensajes con fidelidad tan alta como se desee sin necesidad de bajar sin límite el ritmo de transmisión, bastando que este se mantenga menor que la capacidad del canal.
Hallo Shannon cuánta redundancia debe incorporarse como mínimo a un mensaje para que, a pesar del ruido del canal de transmisión, sea comprensible a su llegada al otro extremo. En el lenguaje normal también usamos más letras de las necesarias; pero este exceso es precisamente el que nos permite la identificación instantánea de palabras con alguna errata, o ligeramente incompletas. Se conocen muchos códigos eficientes para limpiar la información corrupta. Los ha usado la NASA para la transmisión de imágenes en las misiones espaciales, y en la actualizad se usan por doquier, desde los lectores de CD’s hasta los discos duros de los ordenadores. Entre ellos, los códigos de Golay tienen peculiares propiedades combinatorias; sus grupos de automorfismos son los famosos grupos esporádicos de Mathieu. Precisamente, el descubrimiento de los códigos de Golay impulsó el estudio de los grupos esporádicos que desembocaría en la clasificación completa de los grupos simples finitos con el hallazgo por Griess en 1983 del grupo “monstruo”, con unos 1054 elementos.




SIMILITUDES Y DIFERENCIAS

La unidad de información cuántica es el qubit, o bit cuántico. Es la información almacenable en un sistema cuántico con dos estados: un spin 1/2, la polarización de un fotón, átomos con 2 estados relevantes, etc., son qubits. Aparte de los estados 0 y 1, los qubits poseen otros estados intermedios, que ni son 0 ni 1, sino ambos a la vez, flotando en una neblina entre estos dos valores.

Toda información clásica es codificable en binario. Con 8 bits tenemos de sobras para asignar un número en binario a cada signo del teclado y así digitalizar cualquier texto, por ejemplo el Quijote, representándolo por una cadena de bits o por una cadena de condensadores cargados/descargados. Midiendo estas cargas podemos reconstruir la obra de Cervantes.

Con qubits haríamos lo mismo, pero con un cuidado extremo a la hora de leer. Porque si por ejemplo los estados base de los qubits con que salvamos el Quijote son “spin para arriba”, “spin para abajo”, pero luego a la hora de leer nos equivocamos y medimos “spin para la derecha”, “spin para la izquierda”, los resultados obtenidos serán aleatorios, el Quijote sería irreconocible, y lo que es peor, no habrá manera de deshacer el entuerto, siendo preciso codificar de nuevo la genial novela. Los bits son robustos, pero los qubits son sumamente frágiles ante cualquier intento de inspección. La obtención de información sobre un sistema cuántico generalmente lo perturba.

Otra distinción importante está en el proceso de copiado. Cualquier estado clásico de un sistema es copiable; estamos hartos de verlo (copias de una fotografía, de un fichero digital, etc.). Supongamos, sin embargo, que queremos copiar un estado cuántico cuya preparación ignoramos. Estamos perdidos, pues con el único ejemplar que nos dan ningún conjunto de medidas (salvo aquellas, desconocidas, que dejan el estado incólume) puede revelarnos toda la información necesaria para determinar el estado y así poderlo reproducir. Esta imposibilidad de clonación cuántica (¡no existen fotocopiadoras cuánticas!) tiene virtudes esenciales para proteger la información.

Hay diferencias más profundas y con mayor impacto tecnológico. Mientras la capacidad de memoria de un procesador clásico es linealmente proporcional a su tamaño, el principio de superposición lineal de estados hace que la de un procesador cuántico crezca exponencialmente con su número de qubits. Luego es de esperar que un ordenador que opere sobre qubits realice en principio hazañas impensables para un ordenador clásico.

El enredo ofrece la posibilidad de esconder la información difuminándola de modo que ninguna medición local pueda revelarla. Un libro clásico se lee página tras página, línea tras línea, palabra tras palabra; si el libro fuera cuántico, lo más probable es que la información conseguida con ese tipo de lectura fuera escasa, al residir en correlaciones entre todas sus páginas. Podríamos arrancar una página del libro cuántico sin afectar a su comprensión.
El enredo es el mayor responsable de las ventajas casi mágicas de la comunicación y computación cuánticas; en él se fundamentan algunos protocolos cuánticos de aplicación en tele portación y en criptografía, y nuevas estrategias en la incipiente teoría de juegos cuánticos.

La compresión es un caso particular de la codificación, cuya característica principal es que el código resultante tiene menor tamaño que el original.

La compresión de datos consiste en la reducción del volumen de información tratable (procesar, transmitir o grabar). En principio, con la compresión se pretende transportar la misma información, pero empleando la menor cantidad de espacio.

El espacio que ocupa una información codificada (datos, señal digital, etc.) sin compresión es el cociente entre la frecuencia de muestreo y la resolución. Por tanto, cuantos más bits se empleen mayor será el tamaño del archivo. No obstante, la resolución viene impuesta por el sistema digital con que se trabaja y no se puede alterar el número de bits a voluntad; por ello, se utiliza la compresión, para transmitir la misma cantidad de información que ocuparía una gran resolución en un número inferior de bits.

La compresión de datos se basa fundamentalmente en buscar repeticiones en series de datos para después almacenar solo el dato junto al número de veces que se repite.


http://es.wikipedia.org/wiki/Compresi%C3%B3n_de_datos

ENTROPIA

El concepto básico de entropía en teoría de la información tiene mucho que ver con la incertidumbre que existe en cualquier experimento o señal aleatoria. Es también la cantidad de "ruido" o "desorden" que contiene o libera un sistema. De esta forma, podremos hablar de la cantidad de información que lleva una señal.

http://es.wikipedia.org/wiki/Entrop%C3%ADa_%28informaci%C3%B3n%29


ENTROPIA CONDICIONAL
La entropía condicional es una extensión del concepto de entropía de la información a procesos donde intervienen varias variables aleatorias no necesariamente independientes.

http://es.wikipedia.org/wiki/Entrop%C3%ADa_condicional



ENTROPIA CONJUNTA

La información o incerteza de dos fuentes “deberia” ser aditiva si estas son dependientes y acotada inferiormente por el maximo de ambas.

http://webcache.googleusercontent.com/search?q=cache:xT2W8TXdGNkJ:neurociencia.df.uba.ar/snc/doc/snc5.ppt+entropia+conjunta&cd=28&hl=es&ct=clnk&gl=mx




KULLBACK-LEIBLER

En teoría de la probabilidad la divergencia de Kullback-Leibler es un indicador de la similitud entre dos funciones de distribución. Dentro de la teoría de la información también se la conoce como divergencia de la información, ganancia de la información o entropía relativa.


http://es.wikipedia.org/wiki/Divergencia_de_Kullback-Leibler

INFORMACIÓN
La información contenida en un mensaje es proporcional a la cantidad de bits que se requieren como mínimo para representar al mensaje.
El concepto de información puede entenderse más fácilmente si consideramos un ejemplo.
Supongamos que estamos leyendo un mensaje y hemos leído "string of ch", la probabilidad de que el mensaje continúe con "aracters" es muy alta por lo tanto cuando realmente leemos "aracters" del archivo la cantidad de información que recibimos es muy baja pues estábamos en condiciones de predecir que era lo que iba a ocurrir. La ocurrencia de mensajes de alta probabilidad de aparición aporta menos información que la ocurrencia de mensajes menos probables. Si luego de "string of ch" leemos "imichurri" la cantidad de información que recibimos es mucho mayor.

• PRINCIPIOS DE LA MEDICIÓN DE INFORMACIÓN
De acuerdo a estas consideraciones probabilísticas es posible establecer un primer principio de la medición de información. Este establece que mientras más probable sea un mensaje menos información proporcionará. Esto puede expresarse de la siguiente manera:
I(xi) > I(xk) si y sólo si p(xi) < p(xk)
donde
I(xi) : cantidad de información proporcionada por xi p(xi) : probabilidad de xi
De acuerdo a este principio, es la probabilidad que tiene un mensaje de ser enviado y no su contenido, lo que determina su valor informativo. El contenido sólo es importante en la medida que afecta la probabilidad. La cantidad de información que proporciona un mensaje varía de un contexto a otro, porque la probabilidad de enviar un mensaje varía de un contexto a otro.
Un segundo principio que guarda relación con las elecciones sucesivas establece que si son seleccionados los mensajes X e Y, la cantidad de información proporcionada por ambos mensajes será igual a la cantidad de información proporcionada por X más la cantidad de información proporcionada por Y, dado que X ya ha sido seleccionada. Esto puede ser expresado así:
I(xi e yj) = f p(xi) + f p(yj/xi)
donde
I(xi e yj) : cantidad de información proporcionada por los mensajes xi e yj
f : función
p(xi) : probabilidad de xi
p(yj/xi) : probabilidad de yj dado que xi ha sido seleccionado.

UNIDAD DE INFORMACIÓN
Una vez que hemos seleccionado el mensaje expresado en un lenguaje determinado es posible transcribirlo a un código de tipo binario. Este consta de sólo dos tipos de señales que indican Si o No, y que generalmente se codifican como 1 o 0. La cantidad de información proporcionada por cada elección entre dos alternativas posibles constituye la unidad básica de información, y se denomina dígito binario, o abreviadamente bit.
La elección existente al tener un bit de información puede ser esquematizada de la siguiente manera:

En la elección (b) tanto la línea superior como la inferior, es decir ambas posibilidades, pueden ser elegidas con la misma probabilidad de r/2.
Si existen N posibilidades, todas igualmente probables, la cantidad de información será igual a Log2N. Es, entonces, el Log2N la función matemática que nos indicará la cantidad de bits de información de una situación determinada. Esto puede esquematizarse de la siguiente manera:

La figura nos muestra una situación con 8 posibilidades, cada una con una misma probabilidad de 1/8. Para poder determinar una posibilidad específica de estas 8, la elección requiere como mínimo 3 etapas, cada una de las cuales arroja un bit de información. El primer bit corresponde a la elección entre las primeras cuatro o segundas cuatro posibilidades. El segundo bit corresponde al primer o segundo par de las 4 posibilidades ya elegidas. El último bit determina el primer o segundo miembro del par y especifica la posibilidad elegida. Como vemos, el primero de bits que se requieren en esta situación para determinar una posibilidad específica es de 3, lo que corresponde al Log28.






Veamos ahora algunos ejemplos de lo recién expuesto:
Elecciones
Signo 1º 2º 3º
A 1 1 1
B 1 1 0
C 1 0 1
D 1 0 0
E 0 1 1
F 0 1 0
G 0 0 1
H 0 0 0
Esta figura nos muestra un alfabeto compuesto por sólo 8 signos. Pensemos que una fuente de información selecciona un signo y de alguna manera se lo señala al receptor. La pregunta sería entonces, ¿cuánta Información deberá conocer el receptor para identificar correctamente el signo escogido?
Asumamos que a partir de elecciones anteriores sabemos que cada uno de los 8 signos tiene la misma probabilidad de ser seleccionado. La incertidumbre, entonces, se ha repartido uniformemente sobre nuestro "alfabeto", o lo que es lo mismo, las probabilidades a priori de los signos son iguales; en este caso 1/8.
Las señales que llegan al receptor representan instrucciones para seleccionar alternativas. La primera instrucción responde a la pregunta ¿está en la primera mitad del alfabeto, si o no? (en la figura, si = 1 y no = O). La respuesta nos proporciona un bit de información y reduce el rango de incertidumbre exactamente a la mitad. Luego, una segunda instrucción divide cada mitad nuevamente en la mitad y, una tercera instrucción, otra vez en la mitad. En este caso, bastan tres simples instrucciones Si-No (1-0) para identificar un signo cualquiera de un total de ocho. La letra F, por ejemplo, podría ser identificada de la siguiente manera: 010. La respuesta a nuestra pregunta es entonces, ¡el receptor deberá obtener tres bits de información para identificar correctamente el signo escogido!
El típico juego de las "Veinte Preguntas" ilustra también algunas de las ideas mencionadas. Este juego consiste en que una persona piensa en un objeto mientras el resto de los jugadores intenta adivinar de que objeto se trata, haciendo no más de veinte preguntas que sólo pueden ser respondidas Si o No. De acuerdo a la Teoría de la Información, cada pregunta y su respuesta pueden proporcionar desde ninguna información hasta un bit de información (Log22), dependiendo de si las probabilidades de obtener resultados Si o No son muy desiguales o casi iguales, respectivamente. Para obtener la mayor cantidad de información posible los jugadores deberán hacer preguntas que dividan el conjunto de posibles objetos en dos grupos igualmente probables. Por ejemplo, si mediante preguntas previas se ha establecido que se trata de una ciudad de Chile, una buena pregunta sería "¿Está al sur del río Maipo?". Así se dividen las ciudades posibles en dos grupos aproximadamente iguales. La segunda pregunta podría ser "¿Está al sur del río Bio-Bio?". Y así sucesivamente hasta determinar de que ciudad se trata. Si fuera posible hacer preguntas que tuvieran la propiedad de subdividir las posibilidades existentes en dos grupos relativamente iguales, seria posible identificar mediante veinte preguntas un objeto entre aproximadamente un millón de posibilidades. Esta cifra corresponde a los 20 bits que se requieren para identificarla (Log2 1.000.000).

Cherry C., On human Communication. MIT Press, U.S.A., 1966.

PROBABILIDAD

• EXPERIMENTO Y ENSAYO
Un experimento aleatorio es un proceso que tiene las siguientes propiedades:
1. El proceso se efectúa de acuerdo a un conjunto bien definido de reglas.
2. Es de naturaleza tal que se repite o puede concebirse la repetición del mismo.
3. El resultado de cada ejecución depende de "la casualidad" y por lo tanto, no se puede predecir un resultado único.
Una sola ejecución del experimento se llama ensayo
• ESPACIO MUESTRA Y EVENTO
Al conjunto de todos los posibles resultados de un experimento se llama espacio muestra o espacio muestral del experimento, y se denota por S. Cada uno de los resultados del experimento se llama elemento o punto de S. Se dice que un espacio muestra es finito o infinito, cuando el conjunto S tiene un número finito o infinito de elementos, respectivamente.
En muchos problemas prácticos no estamos tan interesados en los resultados individuales del experimento sino en el hecho de que un resultado se encuentre contenido en un cierto conjunto de resultados. Es claro que cada conjunto de este tipo es un subconjunto del espacio muestra S, Este subconjunto se llama evento o suceso.
• EVENTOS MUTUAMENTE EXCLUYENTES
Dos eventos A y B que no ocurren simultáneamente o que no tienen elementos en común; es decir, si A  B =  , entonces A y B son eventos mutuamente exclusivos o mutuamente excluyentes.


• EVENTOS COMPLEMENTARIOS
Dos eventos A y B son complementarios si A  B = S y A  B =  . En caso de que se cumplan estas dos propiedades a B se le denota por AC (B es el complemento de A) o a A por BC (A es el complemento de B).
Ejemplo 23: Sea el experimento de sacar dos fusibles, ambos a la vez, de una caja que contiene 5 fusibles (supongamos que están marcados con las letras a, b, c, d, y e). Supongamos además que 3 están defectuosos (supongamos que los defectuosos son b, c, y d). El espacio muestra es el conjunto de las formas en que se pueden sacar dos fusibles de los cinco.
S = {ab, ac, ad, ae, bc, bd, be, cd, ce, de}

Algunos eventos son:
1. El evento A en que ninguno de los dos fusibles sean defectusos.
2. El evento B, en que uno de los dos fusibles es defectuoso.
3. El evento C, en que uno o más fusibles son defectuosos.
4. El evento D, en que los dos fusibles son defectuosos.
Escritos en notación de conjuntos tenemos:
A = {ae}
B = {ab, ac, ad, be, ce, de}
C = {ab, ac, ad, bc, bd, be, cd, ce, de}
D = {bc, bd, cd}
Los eventos A y B; A y D; B y D; A y C son mutuamente exclusivos, porque A  B =  , A  D =  ; B  D =  .y A  C =  .
Los eventos A y C son además complementarios, o sea, A  C =  y A  C = S.

http://colposfesz.galeon.com/est501/probabi/teo/cap307/cap307.htm

ESTADÍSTICA:
1. ¿QUÉ ES LA ESTADÍSTICA?

La Estadística es una ciencia que estudia las características de un conjunto de casos para hallar en ellos regularidades en el comportamiento, que sirven para describir el conjunto y para efectuar predicciones.

La Estadística tiene por objeto recolectar, organizar, resumir, presentar y analizar datos relativos a un conjunto de objetos, personas, procesos, etc. A través de la cuantificación y el ordenamiento de los datos intenta explicar los fenómenos observados, por lo que resulta una herramienta de suma utilidad para la toma de decisiones.

1. CONCEPTOS BÁSICOS:
En cualquier trabajo en el que se aplique, la estadística debe hacer referencia a un conjunto de entidades, conocido como población.

• POBLACIÓN O UNIVERSO:
Es el total del conjunto de elementos u objetos de los cuales se quiere obtener información. Aquí el término población tiene un significado mucho más amplio que el usual, ya que puede referirse a personas, cosas, actos, áreas geográficas e incluso al tiempo.
La población debe estar perfectamente definida en el tiempo y en el espacio, de modo que ante la presencia de un potencial integrante de la misma, se pueda decidir si forma parte o no de la población bajo estudio. Por lo tanto, al definir una población, se debe cuidar que el conjunto de elementos que la integran quede perfectamente delimitado. Si, por ejemplo, estamos analizando las escuelas primarias, debemos especificar cuáles y cuándo: escuelas primarias de la Capital Federal, año 1992.

El tamaño de una población viene dado por la cantidad de elementos que la componen.

• UNIDAD DE ANÁLISIS
Es el objeto del cual se desea obtener información. Muchas veces nos referimos a las unidades de análisis con el nombre de elementos. En estadística, un elemento o unidad de análisis puede ser algo con existencia real, como un automóvil o una casa, o algo más abstracto como la temperatura o un intervalo de tiempo. Dada esta definición, puede redefinirse población como el conjunto de unidades de análisis.

• MUESTRA
Es un subconjunto de unidades de análisis de una población dada, destinado a suministrar información sobre la población. Para que este subconjunto de unidades de análisis sea de utilidad estadística, deben reunirse ciertos requisitos en la selección de los elementos.
Las causas por la cual se seleccionan muestras son muchas. Puede ocurrir que la población que se defina tenga tamaño infinito, y en consecuencia, no fuera posible observar a todos sus elementos. En otras ocasiones, el costo de la observación exhaustiva puede ser muy elevado, el tiempo de recolección de la información muy extenso, o más aún, la observación de los elementos puede ser destructiva. Por ejemplo, si quisiéramos hacer un estudio de la calidad de una partida de fósforos, no podríamos probarlos a todos pues los destruiríamos.

• VARIABLE
Es la cualidad o cantidad medible que se estudia de las unidades de análisis y que varían de una unidad a otra. Por ejemplo: edad, ingreso de un individuo, sexo, cantidad de lluvia caída, etc.

• NIVEL DE MEDICIÓN:
Las variables pueden ser medidas con mayor o menor grado de precisión según la escala de medida utilizada para su observación. Podemos distinguir los siguientes niveles de medición de una variable:

• Nominal: sólo permite clasificar a las unidades de análisis en categorías. Por ejemplo: sexo –varón y mujer -.

• Ordinal: además de clasificar a los elementos en distintas categorías, permite establecer una relación de orden de las mismas. Por ejemplo: clase social –baja, media y alta-.

• Intervalar: permite clasificar, ordenar y medir la distancia entre las diferentes categorías. Por ejemplo: edad.

Las variables se clasifican en dos grupos de acuerdo al nivel de medición utilizado para su observación:

• Variables cualitativas: son las variables medidas en escala nominal u ordinal, ya que la característica que miden de la unidad de análisis es una cualidad.

• Variables cuantitativas: son las variables medidas en escala intervalar, puesto que lo que miden es una cantidad.


2. MÉTODOS DE RECOLECCIÓN DE DATOS

La forma de obtener la información original de las unidades de análisis que componen el universo por investigar puede ser efectuada a través de un censo, una encuesta o un registro administrativo.

• CENSO
Es un método de recolección de datos mediante el cual la información se obtiene relevando la totalidad de los elementos que componen la población o universo bajo estudio. Un censo debe cumplir las condiciones de universalidad (censar a todos los elementos de la población) y simultaneidad (realizarse en un momento determinado). Un censo es equivalente a una fotografía de la población bajo estudio.

El término censo no sólo se aplica a aquellos relevamientos que comprenden todas las unidades de todo un país y que se realizan con una frecuencia de recolección quinquenal o decenal, como es el caso de los censos de población, económicos, agropecuarios, etc., sino también a todo relevamiento, cualquiera sea su cobertura geográfica, número de unidades de información, o frecuencia de su recolección, siempre que incluya todas las unidades que componen el universo que se investiga.
• ENCUESTA
Es un método de recolección mediante el cual la información se obtiene relevando sólo un subconjunto o muestra de elementos del universo en estudio, que permite obtener información sobre el mismo.

Para que la información obtenida con la encuesta sea generalizable a la población, la muestra utilizada debe ser representativa de la población de la que proviene. Para lograrlo, se utilizan métodos de selección de unidades especialmente diseñados con este fin.

Su uso ha ido en rápido aumento, en la medida en que las instituciones productoras de información disponen de personal capacitado para efectuar su organización, diseño y análisis, debido a su menor costo y a que en determinadas circunstancias la información resulta más exacta debido a que los errores ajenos al muestreo (errores en la recolección y en el procesamiento) pueden ser reducidos a través de una mejor capacitación de los empadronadores y la utilización de métodos de captación de información más objetivos.
• REGISTRO ADMINISTRATIVO

Existen oficinas públicas que llevan registros administrativos para sus propios fines. Por ejemplo, los Registros Civiles que registran los nacimientos, los casamientos, las defunciones, etc.; los Ministerios de Educación que llevan registros de matriculación de alumnos, deserción escolar, etc.; la Aduana que registra las importaciones y exportaciones, etc.

Esta información puede ser utilizada con fines estadísticos y se obtiene tal como está disponible. Los fines administrativos no siempre coinciden totalmente con los fines estadísticos.

Por ejemplo, para un estudio sobre determinada enfermedad se puede recurrir a los registros disponibles en hospitales, sanatorios, etc. Estos registros habrán sido diseñados para dar respuesta a ciertos requerimientos administrativos y seguramente la información que contienen no coincidirá exactamente con los requerimientos estadísticos.

Los registros constituyen la forma más económica de obtener información estadística de una población.


3. AGRUPAMIENTO DE DATOS

Existen métodos para resumir los datos medidos u observados.
Cuando se trata de variables cualitativas donde las categorías están determinadas, lo único que hay que hacer es contabilizar el número de casos pertenecientes a cada categoría y normalizar en relación al número total de casos, calculando una proporción, un porcentaje o una razón.
En cambio, cuando se trata de variables cuantitativas, el resumen de los datos consiste en organizar tablas que sintetizan los datos originales y se denominan distribuciones de frecuencia.
FRECUENCIA: es el número de veces que se presenta cada valor de la variable.
TABLA DE FRECUENCIAS: es una tabla que presenta en forma ordenada los distintos valores de una variable y sus correspondientes frecuencias.



Por ejemplo: consideremos la variable “número de aulas por escuela”, medida en las escuelas de una localidad.

Número de aulas por escuela
(1)
Frecuencia

(2)
8 7
9 7
10 12
11 11
12 15
13 10
14 5
67


REPRESENTACIÓN GRÁFICA: en general la representación gráfica de una tabla de frecuencias permite percibir con mayor claridad algunas características de la masa de datos que se investiga. Por ello, a través de gráficos, resulta bastante más fácil transmitir conclusiones a personas no habituadas a la interpretación de tablas de frecuencias.

Para representar gráficamente una distribución de frecuencias se utiliza un par de ejes de coordenadas. En el eje de las abscisas se representará la variable estudiada y en el eje de las ordenadas, las correspondientes frecuencias.

El siguiente es un gráfico de frecuencias confeccionado con los datos del ejemplo anterior.








4. PARÁMETROS ESTADÍSTICOS

Al obtener de una población la distribución de frecuencias de una variable lo que se persigue es reducir o condensar en pocas cifras el conjunto de observaciones relativas a dicha variable.

Este proceso de reducción puede continuarse hasta su grado máximo, es decir, hasta sustituir todos los valores observados por uno solo, que se llama promedio.

Existen numerosas formas de calcular promedios. La más conocida es la media aritmética, pero además existen otras como la mediana y la moda o el modo.
• MEDIA ARITMÉTICA:
es el número que se obtiene al dividir la suma de todas las observaciones por la cantidad de observaciones sumadas.

A la media aritmética la simbolizamos con X.


Por ejemplo, si tomamos las edades de un grupo de 9 personas:

16 - 17 - 19 - 20 - 22 - 22 - 23 - 28 - 29

X = (16+17+19+20+22+22+23+28+29)/9 = 21,8 años.

• MEDIANA:
Si todos los valores observados de la variable se ordenan en sentido creciente (o decreciente), la mediana es el valor de la variable que ocupa el lugar central, es decir, el que deja a un lado y a otro el mismo número de observaciones.

La mediana se representa con el símbolo Mna.

En el ejemplo anterior, las edades ya están ordenadas de menor a mayor. La mediana será:

16 - 17 - 19 - 20 - 22 - 22 - 23 - 28 - 29

Mna= 22 años
• MODA O MODO:
Es el valor de la variable que más veces se repite, o sea, el valor que presenta mayor frecuencia.
Es útil como medida de tendencia central, sólo en aquellos casos en que un valor de la variable es mucho más frecuente que el resto. Se basa en la idea de “lo que es moda” o en el “comportamiento de la mayoría” para tomar a cierto valor como representativo del comportamiento de los datos.
www.indec.gov.ar/proyectos/censo2001/maestros/.../masinfo.doc

RESEÑA HISTÓRICA Y OBJETIVOS DE LA TEORÍA DE INFORMACIÓN
La teoría de la información fue desarrollada inicialmente, en 1948, por el Ingeniero electrónico estadounidense Claude E. Shannon, en su artículo, A Mathematical Theory of Communication (Teoría matemática de la comunicación) (Shanon y weaver 1949). esta teoría es central a todos los empeños de la ciencia cognitiva porque permite concebir la información de una forma independiente del contenido; es entonces, que Shannon se preocupo por la transmisión de la información y la cantidad que lograría transmitir un sistema artificial como el teléfono, y es allí en donde se dirige un nuevo termino y es digito binario o como ahora lo conocemos BIT. Sin embargo se creó la información, como representación de una materia concreta. Por tal motivo la insuficiencia de una base teórica para la tecnología de la comunicación surgió del acrecentamiento del obstáculo y de la masificación de las vías de comunicación, tales como el teléfono, las redes de teletipo y los sistemas de comunicación por radio.
Específicamente, si nos centramos en la teoría del procesamiento de la información, para autores como Lachman y Butterfield, el procesamiento de información considera que unas pocas operaciones simbólicas, relativamente básicas, tales como codificar, comparar, localizar, almacenar, pueden, en último extremo, dar cuenta de la inteligencia humana y la capacidad para crear conocimiento, innovaciones y tal vez expectativas respecto al futuro. La concepción del humano como un procesador de información se basa en la analogía entre la mente humana y el funcionamiento de una computadora. En otras palabras, se adoptan los programas informáticos como metáfora del funcionamiento cognitivo humano es por eso que La teoría de la información también abarca todas las restantes formas de concesión y almacenamiento de información, incluyendo la televisión y los impulsos eléctricos que se transmiten en las computadoras y en la grabación óptica de datos e imágenes. junto con la teoría de la computación, la teoría de la información se fundamento al concebir la mente humana como otro medio de procesamiento de información como veremos mas adelante en este articulo, ahora dirijámonos mas explícitamente a la teoría de la información.




• OBJETIVO:
Esencialmente la teoría de la información permite conocer los límites fundamentales de las variables que gobiernan la transmisión de información en un sistema de comunicaciones, como por ejemplo la máxima velocidad de transmision de informacion confiable que se puede alcanzar en un sistema con ruido, el precio que hay que pagar por una transmisión confiable, compromisos de codificacion y transmision de información, etc.

http://www.foroswebgratis.com/mensaje-objetivo_general_la_teoria_de_la_informacion-145629-1918629-1-5432991.htm