MATEMATICAS.NET

Entropía

Anuncios

Desorden

Consideremos un sistema formado por elementos , cada uno de los cuales puede adoptar un estado de posibles. Sea el número de elementos que se encuentra en el estado i-ésimo. La probabilidad de que un elemento elegido al azar se encuentre en dicho estado es (esto se consigue sin más que aplicar la regla de Laplace). Definimos la entropía como el valor

Pero… ¿por qué precisamente la función logaritmo? La justificación de esto la leí hace poco en el texto “Orden y Caos en sistemas complejos” cuyos autores son Ricard V. Solé y Susanna C. Manrubia (Ediciones UPC) y la transcribo aquí.
“En particular, se trata de emplear criterios de información para medir la entropía. De esta manera, si es un espacio muestral asociado a un determinado experimento aleatorio, podemos considerar una partición de dicho espacio mediante sucesos . Es decir,

y

, para .

Cuanto más improbable sea un suceso más información nos dará. Por tanto, podemos suponer que la información de dicho suceso cumple la igualdad donde es una función creciente y la probabilidad de . Es decir, la información es inversamente proporcional a la probabilidad de ocurrencia. Hasta aquí todo parece bien..pero ¿qué función puede ser ?. Para justificar nuestra elección de vamos a partir de un espacio muestral finito y equiprobable. Es decir, los sucesos tienen todos la misma probabilidad

La realización de experiencias independientes de este experimento permite considerar que la probabilidad de un evento de la forma es igual al valor

La información que tiene el evento sigue siendo inversamente proporcional a su probabilidad, luego

Finalmente, la información del suceso
es igual a veces la información de un cualesquiera (no olvidemos que estamos en un modelo donde todos los eventos tienen la misma probablilidad). Esto nos lleva a la ecuación

Una función creciente que permite estas transformaciones es la función logaritmo neperiano . Así pues definimos la información de un suceso (o autoinformación) como

En un sistema la información promedio será la entropía:

Más información:

Wikipedia

“Orden y Caos en sistemas Complejos”, Ricard V. Solé, Susanna C. Manrubia, Edicions UPC

Anuncios