Entropia condizionale

Nella teoria dell'informazione l'entropia condizionale è una misura della quantità di informazione necessaria per descrivere il valore di una variabile aleatoria $\mathrm{X}$ noto il valore di un'altra variabile aleatoria $Y$. Nella trasmissione attraverso un canale di comunicazione rappresenta la quantità rimanente di incertezza del valore all'ingresso al canale dopo che è stato osservato il valore di uscita. L'entropia di $X$ condizionata da $Y$ si definisce come $H(X|Y)$.

Definizione

Se $H(X|Y=y_k)$ è l'entropia della variabile $X$ condizionata dalla variabile $Y$ che assume un certo valore $y_k$, allora $H(X|Y)$ è il risultato della media pesata di $H(X|Y=y_k)$ su tutti i possibili valori $y_k$ che la $Y$ può assumere.

Dato un alfabeto di simboli in ingresso $X=\{x_0,x_1,...,x_{J-1}\}$, un alfabeto di simboli in uscita $Y=\{y_0,y_1,...y_{K-1}\}$ con probabilità $p(y_0),...,p(y_{K-1})$ l'entropia condizionale si definisce come:

$H(X|Y)$ $\equiv$ $\sum _{k=0}^{K-1}H(X|Y=y_k)p(y_k)$

$=\sum _{k=0}^{K-1}\sum _{j=0}^{J-1}p(x_j|y_k)p(y_k)lo{g}_2\left[\frac{1}{p(x_j|y_k)}\right]$

$=\sum _{k=0}^{K-1}\sum _{j=0}^{J-1}p(x_j,y_k)lo{g}_2\left[\frac{1}{p(x_j|y_k)}\right]$

dove nell'ultima espressione si è utilizzata la relazione tra probabilità congiunta e condizionata: $p(x_j,y_k)=p(x_j|y_k)p(y_k)$.

Bibliografia

• Template:Cita libro