Disuguaglianza di Cramér-Rao

In statistica, la disuguaglianza di Cramér-Rao, che prende il nome da Harald Cramér e Calyampudi Radhakrishna Rao, afferma che il reciproco della matrice informazione di Fisher $ℐ (ϑ)$ per un parametro $ϑ$ costituisce un limite inferiore alla varianza di uno stimatore corretto per il parametro (denotato $\hat{ϑ}$ ):

var (\hat{ϑ}) \geq \frac{1}{ℐ (ϑ)} = \frac{1}{n E [{(\frac{\partial}{\partial ϑ} \ln f (X; ϑ))}^{2}]}

In alcuni casi, non esiste uno stimatore corretto che consegue il limite inferiore così stabilito.

Non è infrequente trovare riferimenti alla disuguaglianza di Cramér-Rao come al limite inferiore di Cramér-Rao.

Si ritiene che il matematico francese Maurice René Fréchet sia stato il primo a scoprire e dimostrare questa disuguaglianza.^[1]

Condizioni di regolarità

La disuguaglianza di Cramér-Rao si fonda su due deboli condizioni di regolarità che caratterizzano la funzione di densità $f (x; ϑ)$ , e lo stimatore adottato, $T (X)$ . Tali condizioni richiedono che:

L'informazione di Fisher sia sempre definita; ciò equivale a richiedere che, per ogni $x$ tale che $f (x; ϑ) > 0$ ,

\frac{\partial}{\partial ϑ} \ln f (x; ϑ) < \infty

Le operazioni di integrazione rispetto a $x$ e di derivazione rispetto a $ϑ$ possano essere scambiate all'interno del valore atteso dello stimatore $T (X)$ , ossia:

\frac{\partial}{\partial ϑ} [\int T (x) f (x; ϑ) d x] = \int T (x) [\frac{\partial}{\partial ϑ} f (x; ϑ)] d x

ogniqualvolta il secondo membro della relazione sopra è finito.

Laddove la seconda condizione di regolarità è estesa al secondo ordine di derivazione, è possibile esprimere la disuguaglianza tramite una forma alternativa dell'informazione di Fisher, così che il limite inferiore di Cramér-Rao è dato da:

var (\hat{ϑ}) \geq \frac{1}{ℐ (ϑ)} = \frac{1}{- E [\frac{\partial^{2}}{\partial ϑ^{2}} \ln f (X; ϑ)]}

In alcuni casi, può risultare più semplice applicare la disuguaglianza nella forma testé espressa.

Si osservi che uno stimatore non corretto potrà avere una varianza o uno scarto quadratico medio inferiore al limite di Cramér-Rao; questo perché la disuguaglianza è riferita esclusivamente a stimatori corretti.

Dimostrazione

La dimostrazione della disuguaglianza di Cramér-Rao passa attraverso la verifica di un risultato più generale; per un qualsiasi stimatore (statistica di un campione $X$ ) $T = t (X)$ , il cui valore atteso è denotato da $ψ (ϑ)$ , e per ogni $ϑ$ :

var (t (X)) \geq \frac{{[ψ^{'} (ϑ)]}^{2}}{ℐ (ϑ)}

La disuguglianza di Cramér-Rao discende direttamente da quest'ultima relazione, come caso particolare.

Sia dunque $X$ una variabile casuale, avente funzione di densità $f (x; ϑ)$ . $T = t (X)$ è una statistica utilizzata come estimatore del parametro $ϑ$ . Sia inoltre $V$ il suo score, o derivata logaritmica rispetto a $ϑ$ :

V = \frac{\partial}{\partial ϑ} \ln f (X; ϑ)

Il valore atteso $E (V)$ è nullo. Ciò a sua volta implica che $cov (V, T) = E (V T) - E (V) E (T) = E (V T)$ . Espandendo quest'ultima espressione, si ha:

cov (V, T) = E (T \frac{\partial}{\partial ϑ} \ln f (X; ϑ))

Svolgendo la derivata tramite la regola della catena:

$\frac{\partial}{\partial x} \ln g (x) = \frac{1}{g (x)} \frac{\partial g}{\partial x}$

e conoscendo la definizione di speranza matematica:

E (T \frac{\partial}{\partial ϑ} \ln f (X; ϑ)) = \int t (x) [\frac{\partial}{\partial ϑ} f (x; ϑ)] d x = \frac{\partial}{\partial ϑ} [\int t (x) f (x; ϑ) d x] = ψ^{'} (ϑ)

dal momento che gli operatori di derivazione e integrazione commutano.

Tramite la disuguaglianza di Cauchy-Schwarz si ha inoltre:

\sqrt{var (T) var (V)} \geq ∣ cov (V, T) ∣ = ψ^{'} (ϑ)

dunque:

var (T) \geq \frac{{[ψ^{'} (ϑ)]}^{2}}{var (V)} = \frac{{[ψ^{'} (ϑ)]}^{2}}{ℐ (ϑ)} = {[\frac{\partial}{\partial ϑ} E (T)]}^{2} \frac{1}{ℐ (ϑ)}

come volevasi dimostrare. Ora, se $T$ è uno stimatore corretto per $ϑ$ , $E (T) = ϑ$ , e $ψ^{'} (ϑ) = 1$ ; dunque la relazione sopra diviene:

var (T) \geq \frac{1}{ℐ (ϑ)}

ossia la disuguaglianza di Cramér-Rao.

Estensione a più parametri

Al fine di estendere la disuguaglianza di Cramér-Rao al caso di un vettore di parametri, si definisca il vettore colonna:

θ = [ϑ_{1}, ϑ_{2}, \dots, ϑ_{d}] \in ℝ^{d}

e sia ad esso associata una funzione di densità $f (x; θ)$ che soddisfi le condizioni di regolarità elemento per elemento.

L'informazione di Fisher $ℐ (θ)$ è allora una matrice di dimensioni $d \times d$ , il cui generico elemento $(m, k)$ è definito da:

ℐ_{m, k} = E [\frac{\partial}{\partial ϑ_{m}} \ln f (x; θ) \frac{\partial}{\partial ϑ_{k}} \ln f (x; θ)]

La disuguaglianza di Cramér-Rao è dunque formulata come:

{cov}_{θ} (𝑻 (X)) \geq \frac{\partial ψ (θ)}{\partial θ^{T}} ℐ {(θ)}^{- 1} \frac{\partial ψ (θ)}{\partial θ}

dove:

$𝑻 (X) = {[\begin{matrix} T_{1} (X) & T_{2} (X) & \dots & T_{d} (X) \end{matrix}]}^{'}$
$ψ = E [𝑻 (X)] = {[\begin{matrix} ψ_{1} (θ) & ψ_{2} (θ) & \dots & ψ_{d} (θ) \end{matrix}]}^{'}$
$\frac{\partial ψ (θ)}{\partial θ^{'}} = [\begin{matrix} ψ_{1} (θ) \\ ψ_{2} (θ) \\ ⋮ \\ ψ_{d} (θ) \end{matrix}] [\begin{matrix} \frac{\partial}{\partial ϑ_{1}} & \frac{\partial}{\partial ϑ_{2}} & \dots & \frac{\partial}{\partial ϑ_{d}} \end{matrix}] = [\begin{matrix} \frac{\partial ψ_{1} (θ)}{\partial ϑ_{1}} & \frac{\partial ψ_{1} (θ)}{\partial ϑ_{2}} & \dots & \frac{\partial ψ_{1} (θ)}{\partial ϑ_{d}} \\ \frac{\partial ψ_{2} (θ)}{\partial ϑ_{1}} & \frac{\partial ψ_{2} (θ)}{\partial ϑ_{2}} & \dots & \frac{\partial ψ_{2} (θ)}{\partial ϑ_{d}} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ \frac{\partial ψ_{d} (θ)}{\partial ϑ_{1}} & \frac{\partial ψ_{d} (θ)}{\partial ϑ_{2}} & \dots & \frac{\partial ψ_{d} (θ)}{\partial ϑ_{d}} \end{matrix}]$
$\frac{\partial ψ (θ)}{\partial θ} = [\begin{matrix} \frac{\partial}{\partial ϑ_{1}} \\ \frac{\partial}{\partial ϑ_{2}} \\ ⋮ \\ \frac{\partial}{\partial ϑ_{d}} \end{matrix}] [\begin{matrix} ψ_{1} (θ) & ψ_{2} (θ) & \dots & ψ_{d} (θ) \end{matrix}] = [\begin{matrix} \frac{\partial ψ_{1} (θ)}{\partial ϑ_{1}} & \frac{\partial ψ_{2} (θ)}{\partial ϑ_{1}} & \dots & \frac{\partial ψ_{d} (θ)}{\partial ϑ_{1}} \\ \frac{\partial ψ_{1} (θ)}{\partial ϑ_{2}} & \frac{\partial ψ_{2} (θ)}{\partial ϑ_{2}} & \dots & \frac{\partial ψ_{d} (θ)}{\partial ϑ_{2}} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ \frac{\partial ψ_{1} (θ)}{\partial ϑ_{d}} & \frac{\partial ψ_{2} (θ)}{\partial ϑ_{d}} & \dots & \frac{\partial ψ_{d} (θ)}{\partial ϑ_{d}} \end{matrix}]$

e ${cov}_{θ} (𝑻 (X))$ è una matrice semidefinita positiva, ossia tale per cui $x^{'} {cov}_{θ} (𝑻 (X)) x \geq 0 \forall x \in ℝ^{d}, x \neq 𝟎$ .

Se $𝑻 (X) = {[\begin{matrix} T_{1} (X) & T_{2} (X) & \dots & T_{d} (X) \end{matrix}]}^{'}$ è uno stimatore corretto, e dunque $ψ (θ) = θ$ , la disuguaglianza di Cramér-Rao è:

{cov}_{θ} (𝑻 (X)) \geq ℐ (θ)^{- 1}

La disuguaglianza stessa è da intendersi nel senso che la differenza tra il primo e il secondo membro è ancora una matrice semidefinita positiva.

Disuguaglianza di Cramér-Rao ed efficienza

La disuguaglianza di Cramér-Rao è strettamente legata al concetto di efficienza di uno stimatore. In particolare, è possibile definire una misura di efficienza per uno stimatore $T (X)$ per il parametro (o vettore di parametri) $ϑ$ , come:

e (T) = \frac{\frac{1}{ℐ (ϑ)}}{var (T)}

ossia la minima varianza possibile per uno stimatore corretto, basata sulla disuguaglianza di Cramér-Rao, rapportata all'effettiva varianza. In base alla disuguaglianza di Cramér-Rao, ovviamente $e (T) \leq 1$ .

Illustrazione del risultato

Si illustra il significato della disuguaglianza di Cramér-Rao tramite un esempio basato sulla variabile casuale normale multivariata. Sia un vettore aleatorio $𝐱 \in ℝ^{d}$ , tale che:

𝐱 \sim N (μ (θ), Σ (θ)), μ (θ) \in ℝ^{d}, Σ (θ) \in ℝ^{d \times d}

dove $N (\cdot)$ denota la distribuzione normale; la funzione di densità multivariata associata è:

f_{𝐗} (𝐱; θ) = \frac{1}{\sqrt{(2 π)^{d} | Σ |}} \exp {- \frac{1}{2} (𝐱 - μ)^{'} Σ^{- 1} (𝐱 - μ)}

La matrice informazione di Fisher ha generico elemento $(m, k)$ :

ℐ (θ)_{m, k} = \frac{\partial μ^{'}}{\partial ϑ_{m}} Σ^{- 1} \frac{\partial μ}{\partial μ_{k}} + \frac{1}{2} tr (Σ^{- 1} \frac{\partial Σ}{\partial ϑ_{m}} Σ^{- 1} \frac{\partial Σ}{\partial ϑ_{k}})

dove $tr (\cdot)$ denota l'operatore traccia di una matrice.

Si consideri caso di un vettore aleatorio gaussiano come sopra, di dimensione $n$ , con media nulla ed elementi indipendenti aventi ciascuno varianza $σ^{2}$ :

x \sim N (𝟎, σ^{2} I)

La matrice informazione di Fisher è allora $1 \times 1$ :

ℐ (σ^{2}) = \frac{1}{2} tr (Σ^{- 1} \frac{\partial Σ}{\partial ϑ_{m}} Σ^{- 1} \frac{\partial Σ}{\partial ϑ_{k}}) = \frac{1}{2 σ^{2}} tr (I) = \frac{n}{2 σ^{2}}

Dunque il limite inferiore di Cramér-Rao per la varianza di uno stimatore $T_{σ^{2}}$ per $σ^{2}$ è dato da:

var (T_{σ^{2}}) \geq \frac{2 σ^{2}}{n}

Giova osservare che tale limite è pari alla varianza teorica dello stimatore di massima verosimiglianza per il parametro $σ^{2}$ nelle ipotesi presentate.

Note

↑ Wiebe R. Pestman, Mathematical Statistics: An Introduction, Walter de Gruyter, 1998, ISBN 3-11-015357-2, p. 118.

Bibliografia

D.C. Boes, F.A. Graybill, A.M. Mood (1988), Introduzione alla Statistica, McGraw-Hill Libri Italia, ISBN 88-386-0661-7, un testo di riferimento per i fondamenti della statistica matematica; la disuguaglianza di Cramér-Rao è trattata nei capitoli sui metodi di ricerca degli stimatori.
Alexander Craig Aitken e Harold Silverstone, "On the Estimation of Statistical Parameters", in Proceedings of the Royal Society of Edinburgh, 1942, vol. 61, pp. 186-194, dove gli autori sviluppano idee di Ronald Fisher descrivendo un caso particolare di quella che sarebbe diventate la Disuguaglianza di Cramèr-Rao

Voci correlate

Template:Portale

[1] Wiebe R. Pestman, Mathematical Statistics: An Introduction, Walter de Gruyter, 1998, ISBN 3-11-015357-2, p. 118.

[1]

Disuguaglianza di Cramér-Rao

Indice

Condizioni di regolarità

Dimostrazione

Estensione a più parametri

Disuguaglianza di Cramér-Rao ed efficienza

Illustrazione del risultato

Note

Bibliografia

Voci correlate

Menu di navigazione

Disuguaglianza di Cramér-Rao

Condizioni di regolarità

Dimostrazione

Estensione a più parametri

Disuguaglianza di Cramér-Rao ed efficienza

Illustrazione del risultato

Note

Bibliografia

Voci correlate

Menu di navigazione

Ricerca