Entropía

Probabilidad 2 Minutes
Desorden
Desorden

Consideremos un sistema E formado por m elementos x, cada uno de los cuales puede adoptar un estado i de n posibles. Sea n_{i} el número de elementos que se encuentra en el estado i-ésimo. La probabilidad p_{i} de que un elemento elegido al azar se encuentre en dicho estado es p_{i}=\frac{n_{i}}{m} (esto se consigue sin más que aplicar la regla de Laplace). Definimos la entropía H como el valor
H = -\sum_{i=1}^{n} p_{i} \log(p_{i})
Pero… ¿por qué precisamente la función logaritmo? La justificación de esto la leí hace poco en el texto “Orden y Caos en sistemas complejos” cuyos autores son Ricard V. Solé y Susanna C. Manrubia (Ediciones UPC) y la transcribo aquí.
“En particular, se trata de emplear criterios de información para medir la entropía. De esta manera, si \Gamma es un espacio muestral asociado a un determinado experimento aleatorio, podemos considerar una partición de dicho espacio mediante sucesos A_{1}, A_{2}, \cdots, A_{n}. Es decir,
A_{1} \cup A_{2} \cup \cdots A_{n} = \Gamma

y

A_{j} \cap A_{k} = \emptyset, para j \neq k.

Cuanto más improbable sea un suceso A_{k} más información nos dará. Por tanto, podemos suponer que la información I de dicho suceso cumple la igualdad I(A_{k}) = f(\frac{1}{p_{k}}) donde f es una función creciente y p_{k} la probabilidad de A_{k}. Es decir, la información es inversamente proporcional a la probabilidad de ocurrencia. Hasta aquí todo parece bien..pero ¿qué función puede ser f?. Para justificar nuestra elección de f vamos a partir de un espacio muestral finito y equiprobable. Es decir, los sucesos A_{i} tienen todos la misma probabilidad
p(A_{i}) = \frac{1}{n}, i = 1,2, \cdots, n

La realización de m experiencias independientes de este experimento permite considerar que la probabilidad de un evento de la forma A_{i_{1}} A_{i_{2}} \cdots A_{i_{m}} es igual al valor

p(A_{i_{1}} A_{i_{2}} \dots A_{i_{m}}) = \frac{1}{n^{m}}

La información que tiene el evento A_{i_{1}} A_{i_{2}} \dots A_{i_{m}} sigue siendo inversamente proporcional a su probabilidad, luego
I(A_{i_{1}} A_{i_{2} }\cdots A_{i_{m}}) = n^{m}
Finalmente, la información del suceso A_{i_{1}} A_{i_{2}} \dots A_{i_{m}}
es igual a m veces la información de un A_{i_{k}} cualesquiera (no olvidemos que estamos en un modelo donde todos los eventos tienen la misma probablilidad). Esto nos lleva a la ecuación
I(A_{i_{1}} A_{i_{2} }\cdots A_{i_{m}}) = n^{m} =m I(A_{i_{k}} )= m n
Una función creciente que permite estas transformaciones es la función logaritmo neperiano f(x) = \log(x). Así pues definimos la información de un suceso (o autoinformación) como
I(A_{k}) =\log( \frac{1}{p_{k}}) = - log (p_{k})
En un sistema la información promedio será la entropía:
H = \sum_{i=1}^{n} -\log(p_{i})p_{i} =-\sum_{i=1}^{n} p_{i} \log(p_{i})

Más información:

Wikipedia

“Orden y Caos en sistemas Complejos”, Ricard V. Solé, Susanna C. Manrubia, Edicions UPC

Anuncios

Publicado por Mathematicae

Estudiante con vocación de profesor

Publicada

Un comentario sobre “Entropía”

  1. Hola Antonio,

    Sería buena idea agregar que la entropía H(p_1,\ldots,p_n) es máxima cuando p_1 = \cdots = p_n = \dfrac{1}{n}. Entonces, por la segunda ley de la termodinámica, el sistema tiende a una distribución uniforme entre sus posibles estados.

    La demostración de esto es una aplicación simple de multiplicadores de Lagrange para encontrar el máximo de H.

    Saludos.

    Responder

Responder a ricardos Cancelar respuesta

Introduce tus datos o haz clic en un icono para iniciar sesión:

Gravatar
Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. ( Cerrar sesión /  Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. ( Cerrar sesión /  Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. ( Cerrar sesión /  Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. ( Cerrar sesión /  Cambiar )

w
Cancelar

Conectando a %s