¿Calcular Entropía?

[Hamburguers]

Bueno pues eso, ayer estaba navegando un poquito por internet y encontré un tema curioso, era la entropía.
Y vi que los archivos tenían un grado de entropía determinado y era según lo heterogéneos que eran los caracteres entre sí. (Que alguien me corrija si no es así)
Bueno a lo que quiero llegar es: He visto códigos para Python y C++
¿Pero se puede calcular el grado de entropía online? Si no se pudiera, ¿Hay algún tutorial bien explicado para Python? Si hay algún tutorial bueno para  Python (a ser posible en castellano) que alguien me lo pase por favor.

[srWhiteSkull]

Te recomiendo este artículo, lo lees y ya me dices :
https://medium.com/udacity/shannon-entropy-information-gain-and-picking-balls-from-buckets-5810d35d54b4

Basicamente la entropía es el nivel de desorden ¿el desorden de qué? de cualquier cosa, entonces necesitas saber para calcularla como sería lo que vayas a ordenar si estuviera ordenado, en ese caso sería 0 (no hay entropía) y luego de ahí pues ya comienzas a sumar según el estado de esa "cosa".

Para hacer un programa así tendrías que definir perfectamente lo que es "algo" ordenado y definir que entiende el programado por como ese "algo" está desordenado y darle un valor.

Si tú nivel de programación es bajo y tú nivel matemático también es mejor que dediques el tiempo a aprender programación o matemáticas, comenzado desde abajo.