TEORIA DE LA INFORMACION

Asignando a cada símbolo su propio rango de probabilidad único, es posible codificar un solo símbolo mediante un valor dentro de su rango. Usando esta aproximación, los símbolos adicionales se pueden codificar restringiendo el rango de probabilidad del símbolo actual con el rango del nuevo símbolo que se codifica. El siguiente pseudo código ilustra cómo se pueden agregar símbolos adicionales a una secuencia codificada restringiendo los límites del rango de probabilidad de la secuencia.

limite_inferior = 0
limite_superior = 1
mientras haya símbolos que codificar
rango_actual = limite_superior - limite_inferior
limite_superior = limite_inferior + (rango_actual × limite_superior_del_nuev
limite_inferior = limite_inferior + (rango_actual × limite_inferior_del_nuev
fin mientras

Cualquier valor entre los límites inferior y superior calculados con el algoritmo puede codificar la secuencia de la entrada completa.

Ejemplo:
Codificar la secuencia "ace" con las probabilidades mostradas en la tabla 1.

Comenzamos con limite_inferior = 0 y limite_superior = 1.

Codifición de la 'a'
rango_actual = 1 - 0 = 1
limite_superior = 0 + (1 × 0,3) = 0,3
limite_inferior = 0 + (1 × 0,0) = 0,0

codificación de la 'c'
rango_actual = 0,3 - 0,0 = 0,3
limite_superior = 0,0 + (0,3 × 0,70) = 0,210
limite_inferior = 0,0 + (0,3 × 0,45) = 0,135

codificación de la 'e'
rango_actual = 0,210 - 0,135 = 0,075
limite_superior = 0,135 + (0,075 × 1,00) = 0,210
limite_inferior = 0,135 + (0,075 × 0,80) = 0,195

La secuencia "ace" se puede codificar mediante cualquier valor dentro del rango [0,195, 0,210).
Obviamente, los requisitos de precisión aumentan a medida que se codifican más símbolos. Codificar secuencias de longitud ilimitada requiere tener precisión infinita en los límites de los rangos. En la sección implementación se discute cómo se aborda la necesidad de la precisión infinita.