
Consideremos un sistema formado por
elementos
, cada uno de los cuales puede adoptar un estado
de
posibles. Sea
el número de elementos que se encuentra en el estado i-ésimo. La probabilidad
de que un elemento elegido al azar se encuentre en dicho estado es
(esto se consigue sin más que aplicar la regla de Laplace). Definimos la entropía
como el valor
Pero… ¿por qué precisamente la función logaritmo? La justificación de esto la leí hace poco en el texto “Orden y Caos en sistemas complejos” cuyos autores son Ricard V. Solé y Susanna C. Manrubia (Ediciones UPC) y la transcribo aquí.
“En particular, se trata de emplear criterios de información para medir la entropía. De esta manera, si es un espacio muestral asociado a un determinado experimento aleatorio, podemos considerar una partición de dicho espacio mediante sucesos
. Es decir,
y
, para
.
Cuanto más improbable sea un suceso más información nos dará. Por tanto, podemos suponer que la información
de dicho suceso cumple la igualdad
donde
es una función creciente y
la probabilidad de
. Es decir, la información es inversamente proporcional a la probabilidad de ocurrencia. Hasta aquí todo parece bien..pero ¿qué función puede ser
?. Para justificar nuestra elección de
vamos a partir de un espacio muestral finito y equiprobable. Es decir, los sucesos
tienen todos la misma probabilidad
La realización de experiencias independientes de este experimento permite considerar que la probabilidad de un evento de la forma
es igual al valor
La información que tiene el evento sigue siendo inversamente proporcional a su probabilidad, luego
Finalmente, la información del suceso
es igual a veces la información de un
cualesquiera (no olvidemos que estamos en un modelo donde todos los eventos tienen la misma probablilidad). Esto nos lleva a la ecuación
Una función creciente que permite estas transformaciones es la función logaritmo neperiano . Así pues definimos la información de un suceso (o autoinformación) como
En un sistema la información promedio será la entropía:
Más información:
“Orden y Caos en sistemas Complejos”, Ricard V. Solé, Susanna C. Manrubia, Edicions UPC
Hola Antonio,
Sería buena idea agregar que la entropía
es máxima cuando
. Entonces, por la segunda ley de la termodinámica, el sistema tiende a una distribución uniforme entre sus posibles estados.
La demostración de esto es una aplicación simple de multiplicadores de Lagrange para encontrar el máximo de
.
Saludos.