Pensándolo bien...

Shannon formuló en 1948, año de auténtica reserva, lo que se dio en denominar, “teoría de la información” que proporcionó un marco matemático riguroso para cuantificar la cantidad de información necesaria para enviar y recibir un mensaje. Su concreción consistió en determinar el grado de imprecisión asociado al mensaje emitido.

Veamos con un ejemplo la precisión de la idea. Disponemos de una moneda que tiene dos caras iguales y la lanzamos al aire un par de veces, ¿cuánta información nos comunica el lanzamiento? La respuesta solo puede ser una: nada, ya que antes del lanzamiento ya tenemos la seguridad de conocer el resultado con certeza, dado que solo tiene dos caras iguales. En cambio, si lanzamos un par de veces una moneda normal, con su cara y su cruz reglamentarias, el resultado ya no está previsto. Si utilizamos números binarios para codificar los resultados, adoptando 0 para cara y 1 para cruz, encontramos que hay cuatro resultados posibles: 00,11, 01 y 10. Reparemos que cada resultado ha requerido dos dígitos binarios para poder representarlo. En el primer escenario, teníamos certidumbre del resultado, por tanto, en el contenido del mensaje. En el segundo escenario, por el contrario, la probabilidad es de 1 en 4 (25%) de acertar la respuesta correcta y, no solo eso, sino que ahora precisamos dos bits para expresar el resultado sin ambigüedad. Podemos generalizar la situación diciendo que, cuando menos sepamos de un mensaje, más información se requiere para expresarlo. Shannon hizo esto, expresar matemáticamente de forma precisa el mínimo número de bits que requiere la comunicación de un mensaje. A este umbral se le denominó entropía de Shannon. Implícitamente conlleva, algo que también demostró Shannon, que es que, si el emisor del mensaje utiliza unos bits menos que el mínimo, el mensaje inevitablemente resultará distorsionado.

En el mundo de la educación, no reparamos, con frecuencia en los mecanismos de trasiego de la información. El marco que estableció Shannon partía de un hecho cotidiano, muy frecuentemente saboreado en las aulas, cual es que la información se maximiza cuando algo nos sorprende. Eso es, justamente, lo que debiera acontecer en cada instante en las aulas, concretando que el aprendizaje es un itinerario de máximos de información.

La conexión del concepto introducido por Shannon con la entropía es inmediata. Como es bien sabido el vapor de agua tiene una entropía mayor que el agua sólida que forma el hielo, que es una estructura cristalina, rígida, mientras que el vapor de agua tiene muchas formas de disponer las moléculas que lo constituyen. El estado cristalino es más ordenado que el gas, y el líquido, claro. Análogamente, un mensaje construido al azar tendrá una entropía de Shannon elevada, dado que hay muchas opciones para disponer la información, y no hay más que compararla con el patrón que tenga la menor entropía. Esta analogía se plasma en la forma de calcularla, que al igual que en el ámbito de la Física en que la entropía es una función logarítmica de los posibles estados y en el ámbito de la teoría de la información la función logarítmica se aplica a los posibles resultados del evento. Forma elegante, simplicidad exuberante, que lleva a que la entropía es como el número de preguntas necesarias para responder con un sí o un no, que por término medio permiten confirmar un mensaje. Cuantas menos preguntas haya que responder sobre el contenido del mensaje, más incertidumbre habrá para determinar la respuesta.

Si lo pensamos bien, la formulación de las preguntas es clave. Por ejemplo, si imaginamos que el universo está constituido por las letras del alfabeto español, 27 letras y pretendemos adivinar la primera letra de una palabra desconocida, podemos hacerlo generando una letra al azar, lo que nos llevaría a un número determinado de preguntas para localizar cual es. Podemos, alternativamente seguir alguna estrategia más refinada, como es la búsqueda dicotómica, muy útil cuando los elementos están ordenados, pues disminuye exponencialmente el número de iteraciones necesarias, que es log₂ n +1. En nuestro caso, con 27 elementos, sería 5,75, pero si se tratara de 50.000.000 de elementos, bastaría con 26,575 comparaciones. ¡Espectacular! Podemos escoger la estrategia de analizar las opciones que nos da la frecuencia de aparición de una letra tras una dada, que en cada lengua tendrá una frecuencia determinada. En suma, las estrategias diferentes nos llevarán a unos patrones que reducen la incertidumbre y permitirán usar cantidades de información pequeñas para comunicar. Shannon soslayó esta dificultad apelando al número mínimo absoluto de bits, o preguntas de respuesta sí o no, necesarias para expresar un mensaje. Es un principio fundamental que establece el grado en que podemos comprimir un mensaje sin que sufra deterioro.

Una aplicación de la propuesta de Shannon se plasma en las tecnologías de compresión de información, tan usual en nuestros tiempos, en especial en el trasiego de imágenes. De forma similar a lo comentado con las letras del alfabeto, ocurre con los colores, que responden a patrones estadísticos. Se han formulado modelos probabilísticos de patrones de color para deducir el color de un pixel en función de los anteriores o próximos. La técnica consiste en asignar ponderaciones a los patrones (debidamente calculadas) y tomar el logaritmo del peso para todas las formas de ordenación posibles en las que aparecen. Este valor establecerá el límite de compresión máximo, que será el valor de compresión que se puede lograr antes de iniciarse la pérdida de información de su contenido. Los algoritmos se comparan con este límite. En función de lo cercano que esté el resultado con ese límite se estará al límite de lo posible a conseguir.

Cuanto menor estructura tenga un mensaje, mayor cantidad de información se requiere. El elemento de comparación es la medida de la entropía de Shannon. La calidad de una comunicación es establece en función de ella. La ignorancia cabalga sobre todo ello.