Informazione di Fisher

Template:F In statistica e teoria dell'informazione, l'informazione di Fisher è la varianza dello score (derivata logaritmica) associato a una data funzione di verosimiglianza. L'informazione di Fisher, che prende il nome dal celebre genetista e statistico Ronald Fisher, può essere interpretata come l'ammontare di informazione contenuta da una variabile casuale osservabile $X$, concernente un parametro non osservabile $\vartheta$, da cui dipende la distribuzione di probabilità di $\chi$.

Denotando l'informazione di Fisher con $ℐ(\vartheta )$, poiché il valore atteso dello score è nullo, la sua varianza è pari al suo momento del secondo ordine, così che:

$ℐ(\vartheta )=\text{E}\left[{(\frac{\partial }{\partial \vartheta }\ln f(X;\vartheta ))}^2\right],$

dove$f(X;\vartheta )$ denota la funzione di verosimiglianza. Una scrittura equivalente è:

$ℐ(\vartheta )=-\text{E}[\frac{{\partial }^2}{\partial {\vartheta }^2}\ln f(X;\vartheta )]$

ossia meno il valore atteso della derivata seconda della funzione di verosimiglianza rispetto a $\vartheta$; l'informazione di Fisher può dunque essere letta come una misura della curvatura della verosimiglianza in corrispondenza della stima di massima verosimiglianza per $\vartheta$. Una verosimiglianza "piatta", con una derivata seconda modesta, comporterà minore informazione, laddove una maggiore curvatura apporterà una maggiore quantità di informazione.

Proprietà

Additività

L'informazione di Fisher è additiva, nel senso che l'informazione relativa a due esperimenti indipendenti è la somma delle informazioni associate a ciascuno di essi:

${ℐ}_{X,Y}(\vartheta )={ℐ}_X(\vartheta )+{ℐ}_Y(\vartheta ).$

Il risultato discende immediatamente dal fatto che la varianza della somma di due variabili casuali indipendenti è la somma delle loro varianze. Ne consegue che l'informazione contenuta in un campione casuale di $n$ osservazioni indipendenti è uguale a $n$ volte l'informazione contenuta in una singola osservazione.

Informazione di Fisher e sufficienza

L'informazione di Fisher contenuta da una statistica sufficiente è la stessa contenuta nell'intero campione $X$ su cui la statistica è calcolata. Il risultato segue dal criterio di fattorizzazione per la sufficienza di una statistica: se $T(\cdot )$ è una statistica sufficiente per $\vartheta$, allora esistono due funzioni $g(\cdot )$, $h(\cdot )$ tali che:

$f(X;\vartheta )=g(T(X);\vartheta )h(X).$

L'uguaglianza dell'informazione di Fisher discende allora da:

$\frac{\partial }{\partial \vartheta }\ln f(X;\vartheta )=\frac{\partial }{\partial \vartheta }\ln g(T(X);\vartheta ),$

poiché $h(X)$ non dipende da $\vartheta$. In generale, se $T=t(X)$ è una statistica, allora:

${ℐ}_T(\vartheta )\le {ℐ}_X(\vartheta ),$

dove l'uguaglianza vige solo per statistiche sufficienti.

Informazione di Fisher ed efficienza

La disuguaglianza di Cramér-Rao stabilisce un collegamento tra informazione di Fisher e varianza di uno stimatore corretto; in particolare, dato uno stimatore corretto per il parametro $\vartheta$, $\hat{\vartheta }$:

$\text{Var}\left(\hat{\vartheta }\right)\ge \frac{1}{ℐ(\vartheta )}.$

Illustrazione

Si consideri il caso di un campione di $n$ osservazioni indipendenti, Bernoulliane, ciascuna con una probabilità di "successo" $\vartheta$. L'informazione di Fisher associata può essere calcolata come segue; sia $A$ il numero dei "successi", e $B$ il numero di "insuccessi", con ovviamente: $n=A+B$; allora:

$ℐ(\vartheta )=-\text{E}[\frac{{\partial }^2}{\partial {\vartheta }^2}\ln f(A;\vartheta )]=-\text{E}[\frac{{\partial }^2}{\partial {\vartheta }^2}\ln ({\vartheta }^A(1-\vartheta {)}^B\frac{(A+B)!}{A!B!})]=-\text{E}\left[\frac{{\partial }^2}{\partial {\vartheta }^2}(A\ln \vartheta +B\ln (1-\vartheta )+\ln \frac{(A+B)!}{A!B!})\right]=$

$=-\text{E}\left[\frac{\partial }{\partial \vartheta }(\frac{A}{\vartheta }-\frac{B}{1-\vartheta })\right]=\text{E}[\frac{A}{{\vartheta }^2}+\frac{B}{(1-\vartheta {)}^2}]=\frac{n\vartheta }{{\vartheta }^2}+\frac{n(1-\vartheta )}{(1-\vartheta {)}^2}=\frac{n}{\vartheta (1-\vartheta )}.$

Il risultato è in accordo con l'intuizione circa la natura del problema in esame, in quanto $ℐ(\vartheta )$ è in questo caso il reciproco della varianza della media delle $n$ osservazioni Bernoulliane.

Informazione di Fisher nel caso multivariato

Nel caso in cui vi sia un vettore di parametri $\mathit{\theta }={\left[\begin{array}{cccc}{\vartheta }_1& {\vartheta }_2& \cdots & {\vartheta }_d\end{array}\right]}^{\prime }\in {ℝ}^d$, l'informazione di Fisher è una matrice quadrata di dimensione $d$, con elemento $(m,n)$ definito da:

$ℐ(\vartheta {)}_{m,n}=\text{E}[\frac{\partial }{\partial {\vartheta }_m}\ln f(X;\mathit{\theta })\frac{\partial }{\partial {\vartheta }_n}\ln f(X;\mathit{\theta })].$

L'informazione di Fisher è in tal caso, inoltre, una matrice simmetrica, nonché definita positiva, e definisce una metrica sullo spazio dei parametri; queste ultime considerazioni rientrano nell'ambito di applicazione della geometria differenziale (si veda anche metrica dell'informazione di Fisher).

Illustrazione: variabile casuale normale multivariata

Considerando un vettore aleatorio $𝐱\sim 𝒩(\mu (\mathit{\theta }),\mathrm{\Sigma }(\mathit{\theta }))$ di dimensione $N$, la matrice informazione di Fisher associata ha per generico elemento di ordine $(m,n)$:

$ℐ(\mathit{\theta }{)}_{m,n}=\frac{\partial \mu }{\partial {\vartheta }_m}{\mathrm{\Sigma }}^{-1}\frac{\partial {\mu }^{\prime }}{\partial {\vartheta }_n}+\frac{1}{2}\mathrm{t}\mathrm{r}\left({\mathrm{\Sigma }}^{-1}\frac{\partial \mathrm{\Sigma }}{\partial {\vartheta }_m}{\mathrm{\Sigma }}^{-1}\frac{\partial \mathrm{\Sigma }}{\partial {\vartheta }_n}\right),$

dove:

• $\frac{\partial \mu }{\partial {\vartheta }_m}=\left[\begin{array}{ccccc}\frac{\partial {\mu }_1}{\partial {\vartheta }_m}& \frac{\partial {\mu }_2}{\partial {\vartheta }_m}& \cdots & \frac{\partial {\mu }_N}{\partial {\vartheta }_m}& \end{array}\right]$
• $\frac{\partial {\mu }^{\prime }}{\partial {\vartheta }_m}=\left(\frac{\partial \mu }{\partial {\vartheta }_m}\right)=\left[\begin{array}{c}\frac{\partial {\mu }_1}{\partial {\vartheta }_m}\\ \\ \frac{\partial {\mu }_2}{\partial {\vartheta }_m}\\ \\ ⋮\\ \\ \frac{\partial {\mu }_N}{\partial {\vartheta }_m}\end{array}\right]$
• $\frac{\partial \mathrm{\Sigma }}{\partial {\vartheta }_m}=\left[\begin{array}{cccc}\frac{\partial {\mathrm{\Sigma }}_{1,1}}{\partial {\vartheta }_m}& \frac{\partial {\mathrm{\Sigma }}_{1,2}}{\partial {\vartheta }_m}& \cdots & \frac{\partial {\mathrm{\Sigma }}_{1,N}}{\partial {\vartheta }_m}\\ \\ \frac{\partial {\mathrm{\Sigma }}_{2,1}}{\partial {\vartheta }_m}& \frac{\partial {\mathrm{\Sigma }}_{2,2}}{\partial {\vartheta }_m}& \cdots & \frac{\partial {\mathrm{\Sigma }}_{2,N}}{\partial {\vartheta }_m}\\ \\ ⋮& ⋮& \ddots & ⋮\\ \\ \frac{\partial {\mathrm{\Sigma }}_{N,1}}{\partial {\vartheta }_m}& \frac{\partial {\mathrm{\Sigma }}_{N,2}}{\partial {\vartheta }_m}& \cdots & \frac{\partial {\mathrm{\Sigma }}_{N,N}}{\partial {\vartheta }_m}\end{array}\right]$

e $\text{tr}(\cdot )$ denota l'operatore traccia della matrice.

Informazione osservata

Accanto all'informazione di Fisher, detta anche informazione attesa, si definisce l'informazione osservata, come l'opposto della derivata seconda della log-verosimiglianza calcolato in corrispondenza alla stima di massima verosimiglianza:

$𝒥(\hat{\vartheta })=-\frac{{\partial }^2}{\partial {\hat{\vartheta }}^2}\ln f(X;\hat{\vartheta }).$

A livello interpretativo si può dire che l'informazione attesa, che dipende dal parametro ma non dal campione, è una misura dell'informazione portata da un generico campione per il dato esperimento, mentre l'informazione osservata, che dipende solo dal campione, misura l'informazione portata dal campione osservato.

Sotto opportune ipotesi l'informazione osservata è uno stimatore consistente dell'informazione attesa.

Voci correlate

• Disuguaglianza di Cramér-Rao
• Efficienza (statistica)
• Funzione di verosimiglianza
• Metodo della massima verosimiglianza
• Sufficienza (statistica)

Collegamenti esterni

• Template:Collegamenti esterni