Probabilidad

Entropía

Mathematicae
Desorden
Desorden

Consideremos un sistema E formado por m elementos x, cada uno de los cuales puede adoptar un estado i de n posibles. Sea n_{i} el número de elementos que se encuentra en el estado i-ésimo. La probabilidad p_{i} de que un elemento elegido al azar se encuentre en dicho estado es p_{i}=\frac{n_{i}}{m} (esto se consigue sin más que aplicar la regla de Laplace). Definimos la entropía H como el valor
H = -\sum_{i=1}^{n} p_{i} \log(p_{i})
Pero… ¿por qué precisamente la función logaritmo? La justificación de esto la leí hace poco en el texto “Orden y Caos en sistemas complejos” cuyos autores son Ricard V. Solé y Susanna C. Manrubia (Ediciones UPC) y la transcribo aquí.
“En particular, se trata de emplear criterios de información para medir la entropía. De esta manera, si \Gamma es un espacio muestral asociado a un determinado experimento aleatorio, podemos considerar una partición de dicho espacio mediante sucesos A_{1}, A_{2}, \cdots, A_{n}. Es decir,
A_{1} \cup A_{2} \cup \cdots A_{n} = \Gamma

y

A_{j} \cap A_{k} = \emptyset, para j \neq k.

Cuanto más improbable sea un suceso A_{k} más información nos dará. Por tanto, podemos suponer que la información I de dicho suceso cumple la igualdad I(A_{k}) = f(\frac{1}{p_{k}}) donde f es una función creciente y p_{k} la probabilidad de A_{k}. Es decir, la información es inversamente proporcional a la probabilidad de ocurrencia. Hasta aquí todo parece bien..pero ¿qué función puede ser f?. Para justificar nuestra elección de f vamos a partir de un espacio muestral finito y equiprobable. Es decir, los sucesos A_{i} tienen todos la misma probabilidad
p(A_{i}) = \frac{1}{n}, i = 1,2, \cdots, n

La realización de m experiencias independientes de este experimento permite considerar que la probabilidad de un evento de la forma A_{i_{1}} A_{i_{2}} \cdots A_{i_{m}} es igual al valor

p(A_{i_{1}} A_{i_{2}} \dots A_{i_{m}}) = \frac{1}{n^{m}}

La información que tiene el evento A_{i_{1}} A_{i_{2}} \dots A_{i_{m}} sigue siendo inversamente proporcional a su probabilidad, luego
I(A_{i_{1}} A_{i_{2} }\cdots A_{i_{m}}) = n^{m}
Finalmente, la información del suceso A_{i_{1}} A_{i_{2}} \dots A_{i_{m}}
es igual a m veces la información de un A_{i_{k}} cualesquiera (no olvidemos que estamos en un modelo donde todos los eventos tienen la misma probablilidad). Esto nos lleva a la ecuación
I(A_{i_{1}} A_{i_{2} }\cdots A_{i_{m}}) = n^{m} =m I(A_{i_{k}} )= m n
Una función creciente que permite estas transformaciones es la función logaritmo neperiano f(x) = \log(x). Así pues definimos la información de un suceso (o autoinformación) como
I(A_{k}) =\log( \frac{1}{p_{k}}) = - log (p_{k})
En un sistema la información promedio será la entropía:
H = \sum_{i=1}^{n} -\log(p_{i})p_{i} =-\sum_{i=1}^{n} p_{i} \log(p_{i})

Más información:

Wikipedia

“Orden y Caos en sistemas Complejos”, Ricard V. Solé, Susanna C. Manrubia, Edicions UPC

Anuncios

Publicado por Mathematicae

Estudiante con vocación de profesor

1 comentario en “Entropía”

  1. Hola Antonio,

    Sería buena idea agregar que la entropía H(p_1,\ldots,p_n) es máxima cuando p_1 = \cdots = p_n = \dfrac{1}{n}. Entonces, por la segunda ley de la termodinámica, el sistema tiende a una distribución uniforme entre sus posibles estados.

    La demostración de esto es una aplicación simple de multiplicadores de Lagrange para encontrar el máximo de H.

    Saludos.

    Responder

Responder a ricardos Cancelar respuesta

Introduce tus datos o haz clic en un icono para iniciar sesión:

Gravatar
Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. ( Cerrar sesión /  Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. ( Cerrar sesión /  Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. ( Cerrar sesión /  Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. ( Cerrar sesión /  Cambiar )

w
Cancelar

Conectando a %s