Sufficienza (statistica)

In statistica, la sufficienza di un'analisi statistica (intesa come funzione di un campione di osservazioni) definisce formalmente la capacità di tale funzione di rappresentare in maniera sintetica l'informazione contenuta nel campione. Una funzione che presenti tale caratteristica è definita, a partire dal lavoro di Ronald Fisher, una statistica sufficiente.

Definizione formale

Una definizione formale del concetto di sufficienza è la seguente:

Data una variabile casuale $X$, di parametro incognito $\vartheta$, e una statistica $T(\cdot )$, $T(X)$ è sufficiente per $\vartheta$ se la distribuzione di probabilità condizionata della $X$ data $T(X)$ non dipende da $\vartheta$.

La definizione sopra rappresenta una formalizzazione dell'idea che una statistica sufficiente sintetizzi tutta l'informazione sulla popolazione contenuta in un campione - variabile casuale $X$. Nella prassi risulta ad ogni modo più agevole lavorare con il seguente criterio di fattorizzazione, originariamente proposto dallo stesso Fisher:

Sia $f(X;\vartheta )$ la densità di probabilità della variabile casuale $X$; $T(X)$ è una statistica sufficiente per $\vartheta$ se e solo se esistono due funzioni $g$, $h$ tali che:

$f(X;\vartheta )=g(T(X);\vartheta )h(X)$

Un modo per interpretare l'espressione sopra è immaginare di far variare $X$ in maniera tale che il valore della statistica $T(X)$ sia costante; che effetto avrebbe questo sull'inferenza circa il valore del parametro $\vartheta$? Se il criterio di fattorizzazione è soddisfatto, nessuno, dal momento che la dipendenza della funzione di verosimiglianza $f(X;\vartheta )$ da $\vartheta$ risulta invariato.

Esempi

• Se $X_1,\dots ,X_n$ sono variabili casuali bernoulliane indipendenti caratterizzate dal parametro $p=\text{E}[X_i],i=1,\dots ,n$, la variabile casuale somma:

$T(X)=X_1+\cdots +X_n$

è una statistica sufficiente per $p$.

Ciò può vedersi considerando la distribuzione di probabilità congiunta:

$\mathrm{Pr}(X=x)=P(X_1=x_1,X_2=x_2,\dots ,X_n=x_n).$

Poiché le osservazioni sono indipendenti, quanto sopra può scriversi come:

$p^{x_1}(1-p{)}^{1-x_1}{p}^{x_2}(1-p{)}^{1-x_2}\cdots p^{x_n}(1-p{)}^{1-x_n}$

Raccogliendo le potenze di $p$ e $1-p$ si ha:

$p^{\sum x_i}(1-p{)}^{n-\sum x_i}=p^{T(x)}(1-p{)}^{n-T(x)}$

che soddisfa il criterio di fattorizzazione, dove $h(X)$ è semplicemente la funzione costante 1. Si osservi che il parametro oggetto di stima (qui $p$) interagisce con $X$ solo tramite $T(X)$.

• Se $X_1,\dots ,X_n$ sono indipendenti e uniformemente distribuite sull'intervallo $[0,\vartheta ]$, la funzione:

$\max \{X_1,\dots ,X_n\}$

è una statistica sufficiente per $\vartheta$.

Ciò può vedersi considerando la distribuzione di probabilità congiunta:

$\mathrm{Pr}(X=x)=P(X_1=x_1,X_2=x_2,\dots ,X_n=x_n).$

Poiché le osservazioni sono indipendenti, quanto sopra può scriversi come:

$\frac{H(\theta -x_1)}{\theta }\cdot \frac{H(\theta -x_2)}{\theta }\cdot \cdots \cdot \frac{H(\theta -x_n)}{\theta }$

dove $H(X)$ è la Funzione gradino di Heaviside. Ciò si può scrivere come:

$\frac{H(\theta -\max (x_i))}{{\theta }^n}$

così che il criterio di fattorizzazione è ancora soddisfatto; anche in questo caso $h(X)=1$.

Teorema di Rao-Blackwell

Poiché la distribuzione condizionata di $X$ data $T(X)$ non dipende da $\vartheta$, ciò vale anche per il valore atteso condizionato di $g(X)$ data $T(X)$, dove $g(\cdot )$ è una funzione che soddisfa condizioni di regolarità che assicurano l'esistenza del valore atteso. Conseguentemente, tale valore atteso condizionato è esso stesso una statistica, e può essere utilizzato ai fini della stima. Se $g(X)$ è un qualsiasi tipo di stimatore per $\vartheta$, tipicamente il valore atteso condizionato $\text{E}[g(X)|T(X)]$ è uno stimatore migliore. Un modo per rendere questa affermazione più precisa è dato dal teorema di Rao-Blackwell. È spesso possibile costruire uno stimatore di prima approssimazione $g(X)$, e quindi computarne il valore atteso condizionato, ottenendo uno stimatore che è, sotto diversi punti di vista, ottimale.

Voci correlate

• Stimatore
• Correttezza (statistica)
• Efficienza (statistica)
• Consistenza (statistica)
• Completezza (statistica)
• Teorema di Rao-Blackwell