Entropia congiunta

Entropie individuali (H(X),H(Y)), congiunte (H(X,Y)), ed entropie condizionali per una coppia di sottosistemi correlati X,Y con mutua informazione I(X; Y).

L'entropia congiunta è una misura dell'incertezza associata ad un insieme di variabili casuali.

Definizione

L'entropia congiunta di due variabili $X$ e $Y$ è definita come:

$H(X,Y)=-\sum _x\sum _{y}P(x,y){\log }_2[P(x,y)]$

dove $x$ e $y$ sono valori di $X$ and $Y$, rispettivamente, $P(x,y)$ è la probabilità che questi due valori valori vengano assunti contemporaneamente dalle variabili e vale:

$\underset{P(x,y)\to 0}{\lim }P(x,y){\log }_2[P(x,y)]=0$.

Per un numero di variabili maggiore di due $X_1,...,X_n$ la formula si estende a:

$H(X_1,...,X_n)=-\sum _{x_1}...\sum _{x_n}P(x_1,...,x_n){\log }_2[P(x_1,...,x_n)]$

in cui $x_1,...,x_n$ sono valori rispettivamente di $X_1,...,X_n$, $P(x_1,...,x_n)$ è la probabilità che questi valori vengano assunti contemporaneamente dalle variabili e vale:

$\underset{P(x_1,...,x_n)\to 0}{\lim }P(x_1,...,x_n){\log }_2[P(x_1,...,x_n)]=0$.

Proprietà

Maggiore o uguale delle entropie individuali

L'entropia congiunta di un insieme di variabili è maggiore o uguale rispetto a tutte le entropie individuali delle variabili nell'insieme

$H(X,Y)\ge \max [H(X),H(Y)]$

$H(X_1,...,X_n)\ge \max [H(X_1),...,H(X_n)]$

Minore o uguale alla somma delle entropie individuali

L'entropia congiunta di un insieme di variabili è minore o uguale alla somma delle entropie individuali delle variabili nell'insieme. Questo è un esempio di subadditività. Questa disuguaglianza diventa un'uguaglianza se e solo se $X$ e $Y$ sono statisticamente indipendenti.

$H(X,Y)\le H(X)+H(Y)$

$H(X_1,...,X_n)\le H(X_1)+...+H(X_n)$

Relazioni con altre misure di entropia

L'entropia congiunta è utilizzata nella definizione dell'entropia condizionale

$H(X|Y)=H(Y,X)-H(Y)$

e della mutua informazione

$I(X;Y)=H(X)+H(Y)-H(X,Y)$

Nell'informatica quantistica, l'entropia congiunta è generalizzata nell'entropia quantistica congiunta.