Legge dei grandi numeri

Legge dei grandi numeri

La legge dei grandi numeri, detta anche teorema di Bernoulli (in quanto la sua prima formulazione è dovuta a Jakob Bernoulli), descrive il comportamento della media di una sequenza di $n$ prove di una variabile casuale, indipendenti e caratterizzate dalla stessa distribuzione di probabilità ($n$ misure della stessa grandezza, $n$ lanci della stessa moneta, ecc.), al tendere a infinito della numerosità $n$ della sequenza stessa.

Secondo la legge dei grandi numeri è ragionevolmente sicuro che la media, che determiniamo a partire da un numero sufficiente di campioni, sia sufficientemente vicina alla media vera, ovvero quella calcolabile teoricamente. Che cosa significhi "ragionevolmente sicuri" dipende da quanto vogliamo essere precisi nel nostro test: con dieci prove, avremmo una stima grossolana, con cento, ne otterremmo una molto più precisa, con mille, ancora di più, e così via: il valore di $n$ che siamo disposti ad accettare come sufficiente dipende dal grado di casualità che riteniamo necessario per il dato in questione.

In termini generici, per la legge dei grandi numeri si può dire:

• che la media della sequenza è un'approssimazione, che migliora al crescere di $n,$ della media della distribuzione, e
• che, viceversa, si può prevedere che sequenze siffatte mostreranno una media tanto più spesso e tanto più precisamente prossima alla media della distribuzione quanto più grande sarà $n$.

Un caso particolare di applicazione della legge dei grandi numeri è la previsione probabilistica della proporzione di successi in una successione di $n$ realizzazioni indipendenti di un evento $E,$ ossia la frequenza di $E$ nelle $n$ misurazioni: per $n$ che tende a infinito, la proporzione di successi converge alla probabilità di $E$.

Unita a questa si ha un'altra nozione interessante, ossia la legge dei piccoli numeri, che va al di là del concetto di equiprobabilità e considera la dimensione del campione rispetto ai possibili eventi e conseguenti esiti. In particolare, a seguito di esperimenti ripetuti considerando un campione più piccolo, è molto più semplice allontanarsi dal valore atteso, banalmente perché avendo meno valori da considerare vi è più probabilità che essa si approssimi a un certo valore, sottostimando il numero di campioni per stime accurate. Essa fu teorizzata da Kahneman.

Legge forte dei grandi numeri

Se, data una successione di variabili casuali $X_1,X_2,\dots ,X_n,\dots$ indipendenti e identicamente distribuite con media (finita) $\mu$, si considera la media campionaria

${\overline{X}}_n=\frac{X_1+X_2+\cdots +X_n}{n}$

la legge (forte) dei grandi numeri afferma che

$\mathrm{P}(\underset{n\to \mathrm{\infty }}{\lim }{\overline{X}}_n=\mu )=1,$

ossia lo stimatore media campionaria converge quasi certamente al valore atteso comune delle $X_i$.

Legge debole dei grandi numeri

Se, data una successione di variabili casuali $X_1,X_2,\dots ,X_n,\dots$ aventi la stessa media $\mu$, la stessa varianza finita e indipendenti, si considera la media campionaria

${\overline{X}}_n=\frac{X_1+X_2+\cdots +X_n}{n}$

la legge (debole) dei grandi numeri afferma che per ogni $\epsilon >0$:

$\underset{n\to \mathrm{\infty }}{\lim }\mathrm{P}(|{\overline{X}}_n-\mu |<\epsilon )=1.$

ossia la media campionaria converge in probabilità al valore atteso comune alle $X_i$.

Con maggior rigore

Sia $\{({\mathrm{\Omega }}_i,{𝒜}_i,{\mathrm{P}}_i){\}}_{i\in \mathbb{N}}$ una successione di spazi di probabilità. Si consideri lo spazio prodotto $(\mathrm{\Omega },𝒜,\mathrm{P})$ e in esso una successione bernoulliana di eventi (stocasticamente indipendenti e con probabilità costante $p$) $\{E_k{\}}_{k\in \mathbb{N}}\subseteq 𝒜$. Assegnato un elemento $\omega \in \mathrm{\Omega }$ si definisce la frequenza di successo in $n$ prove ${\varphi }_n(\omega )=\frac{N_n}{n}$, dove ${\varphi }_n:\mathrm{\Omega }\to ℝ$ e $N_n=\mathrm{\#}\{i:\omega \in E_i{\}}_{i=1}^n$ indica il numero di successi ottenuti in $n$ prove.

Dimostrazione della legge debole dei grandi numeri

Nelle condizioni sopra enunciate, si vuole dimostrare che:

$\mathrm{\forall }\epsilon \in {ℝ}_0^{+},\underset{n\to \mathrm{\infty }}{\lim }\mathrm{P}\{\omega \in \mathrm{\Omega }:|{\varphi }_n(\omega )-p|>\epsilon \}=0$.

Fissato $\epsilon$, si consideri la disuguaglianza di Bienaymé-Čebyšëv:

$\mathrm{P}\{\omega \in \mathrm{\Omega }:|{\varphi }_n(\omega )-\mathrm{E}({\varphi }_n)|>\epsilon \}\le \frac{\mathrm{var}({\varphi }_n)}{{\epsilon }^2}$ ;

poiché $N_n$ è distribuito in modo binomiale, il suo valore atteso è

$\mathrm{E}(N_n)=np,$

e la sua varianza è

$\mathrm{var}(N_n)=np(1-p);$

abbiamo allora che il valore atteso e la varianza di ${\varphi }_n$ sono, rispettivamente:

$\mathrm{E}({\varphi }_n)=\mathrm{E}\left(\frac{N_n}{n}\right)=\frac{\mathrm{E}(N_n)}{n}=p,$

$\mathrm{var}({\varphi }_n)=\mathrm{var}\left(\frac{N_n}{n}\right)=\frac{\mathrm{var}(N_n)}{n^2}=\frac{p(1-p)}{n}.$

Sostituendo nella disuguaglianza, si ottiene:

$\mathrm{P}\{\omega \in \mathrm{\Omega }:|{\varphi }_n(\omega )-p|>\epsilon \}\le \frac{p(1-p)}{n{\epsilon }^2},$

e, passando al limite per $n\to +\mathrm{\infty }$,

$\underset{n\to \mathrm{\infty }}{\lim }\mathrm{P}\{\omega \in \mathrm{\Omega }:|{\varphi }_n(\omega )-p|>\epsilon \}\le 0.$

Ma la probabilità non può essere negativa:

$\mathrm{P}:𝒜\to [0,1],$

da cui la tesi.

Osservazioni

La legge debole dei grandi numeri non assicura che, comunque scelto $\epsilon >0$, quasi certamente a partire da un certo $n_{\epsilon }$ il valore $|{\varphi }_n-p|$ si mantenga minore o uguale a $\epsilon$, ossia che l'insieme

$\{\omega \in \mathrm{\Omega }:\mathrm{\exists }{n}_{\epsilon }:\mathrm{\forall }n>n_{\epsilon },|{\varphi }_n(\omega )-p|>\epsilon \}$

sia $\mathrm{P}$-trascurabile. Infatti, esplicitando la definizione di limite, si trova:

$\mathrm{\forall }\epsilon >0,\mathrm{\forall }\eta >0,\mathrm{\exists }{n}_{\epsilon ,\eta }:\mathrm{\forall }n\ge n_{\epsilon ,\eta },\mathrm{P}\{\omega \in \mathrm{\Omega }:|{\varphi }_n(\omega )-p|>\epsilon \}\le \eta ,$

ma niente sembra assicurare che $n_{\epsilon ,\eta }$ non diverga per $\eta \to 0$.

Dimostrazione della legge forte dei grandi numeri

Ciò è invece assicurato, nelle medesime condizioni, dalla proposizione:

$\mathrm{P}\{\omega \in \mathrm{\Omega }:\underset{n\to \mathrm{\infty }}{\lim }{\varphi }_n(\omega )=p\}=1,$

che, in effetti, implica sia

$\mathrm{\forall }\epsilon \in {ℝ}_0^{+},\mathrm{P}\{\omega \in \mathrm{\Omega }:\mathrm{\exists }{n}_{\epsilon }:\mathrm{\forall }n>n_{\epsilon },|{\varphi }_n(\omega )-p|>\epsilon \}=0$

sia la legge debole dei grandi numeri.

Dimostrazione delle due implicazioni

La legge forte può essere formulata, esplicitando la definizione di limite e passando al complementare, come:

$\mathrm{P}\{\omega \in \mathrm{\Omega }:\mathrm{\exists }\epsilon \in {ℝ}_0^{+}:\mathrm{\forall }{n}_{\epsilon }\in \mathbb{N},\mathrm{\exists }n>n_{\epsilon }:|{\varphi }_n(\omega )-p|>\epsilon \}=0$

che a sua volta è equivalente, trasformando il quantificatore esistenziale in un'unione, a:

$\mathrm{P}(\bigcup _{\epsilon \in {ℝ}_0^{+}}\{\omega \in \mathrm{\Omega }:\mathrm{\forall }{n}_{\epsilon }\in \mathbb{N},\mathrm{\exists }n>n_{\epsilon }:|{\varphi }_n(\omega )-p|>\epsilon \})=0$

e per monotonia di $\mathrm{P}$

$\mathrm{\forall }\epsilon \in {ℝ}_0^{+},\mathrm{P}\{\omega \in \mathrm{\Omega }:\mathrm{\exists }{n}_{\epsilon }\in \mathbb{N}:\mathrm{\forall }n>n_{\epsilon },|{\varphi }_n(\omega )-p|>\epsilon \}\le$

$\le \mathrm{P}(\bigcup _{\epsilon \in {ℝ}_0^{+}}\{\omega \in \mathrm{\Omega }:\mathrm{\forall }{n}_{\epsilon }\in \mathbb{N},\mathrm{\exists }n>n_{\epsilon }:|{\varphi }_n(\omega )-p|>\epsilon \})$

da cui, per confronto, la prima implicazione. Trasformando anche gli altri due quantificatori in operazioni insiemistiche, si ha:

$0=\mathrm{P}\{\omega \in \mathrm{\Omega }:\mathrm{\exists }{n}_{\epsilon }\in \mathbb{N}:\mathrm{\forall }n>n_{\epsilon },|{\varphi }_n(\omega )-p|>\epsilon \}=$

$=\mathrm{P}(\bigcap _{n_{\epsilon }\in \mathbb{N}}\bigcup _{n>n_{\epsilon }}\{\omega \in \mathrm{\Omega }:|{\varphi }_n(\omega )-p|>\epsilon \})=$

ma, si è in presenza dell'intersezione di una successione non crescente di insiemi, dunque per monotonia di $\mathrm{P}$, si ha:

$=\underset{n_{\epsilon }\to \mathrm{\infty }}{\lim }\mathrm{P}(\bigcup _{n>n_{\epsilon }}\{\omega \in \mathrm{\Omega }:|{\varphi }_n(\omega )-p|>\epsilon \})\ge$

e ancora:

$\ge \underset{n\to \mathrm{\infty }}{\lim }\{\omega \in \mathrm{\Omega }:|{\varphi }_n(\omega )-p|>\epsilon \}$

da cui anche la seconda implicazione, ricordando che questo è valido per ogni $\epsilon$.

Dimostrazione della legge forte

Si è già visto che l'asserto è equivalente a:

$\mathrm{P}(\bigcup _{\epsilon \in {ℝ}_0^{+}}\{\omega \in \mathrm{\Omega }:\mathrm{\forall }{n}_{\epsilon }\in \mathbb{N},\mathrm{\exists }n>n_{\epsilon }:|{\varphi }_n(\omega )-p|>\epsilon \})=0$

Discretizzando, come consueto nel caso dei limiti, si ha:

$\mathrm{P}(\bigcup _{k\in {\mathbb{N}}_0}\{\omega \in \mathrm{\Omega }:\mathrm{\forall }{n}_k\in \mathbb{N},\mathrm{\exists }n>n_k:|{\varphi }_n(\omega )-p|>\frac{1}{k}\})=0$

Per subadditività

$\mathrm{P}(\bigcup _{k\in {\mathbb{N}}_0}\{\omega \in \mathrm{\Omega }:\mathrm{\forall }{n}_k\in \mathbb{N},\mathrm{\exists }n>n_k:|{\varphi }_n(\omega )-p|>\frac{1}{k}\})\le$

$\le \sum _{k\in {\mathbb{N}}_0}\mathrm{P}\{\omega \in \mathrm{\Omega }:\mathrm{\forall }{n}_k\in \mathbb{N},\mathrm{\exists }n>n_{\epsilon }:|{\varphi }_n(\omega )-p|>\frac{1}{k}\}$

Dunque, se quest'ultima espressione sarà nulla, si sarà dimostrata la legge forte. Essendo $\mathrm{P}$ non negativa, si dovrà avere:

$\mathrm{\forall }k\in {\mathbb{N}}_0,\mathrm{P}(\underset{n\to \mathrm{\infty }}{\mathrm{lim\; sup}}\{\omega \in \mathrm{\Omega }:|{\varphi }_n(\omega )-p|>\frac{1}{k}\})=0$

si vuole mostrare che questo è vero considerando la sottosuccessione ${\varphi }_{n^2}$. Si vuole applicare il lemma di Borel-Cantelli, pertanto si verifica che converga l'espressione

$\sum _{n=1}^{\mathrm{\infty }}\mathrm{P}\{\omega \in \mathrm{\Omega }:|{\varphi }_{n^2}(\omega )-p|>\frac{1}{k}\}$

Per la disuguaglianza di Bienaymé-Čebyšëv si trova:

$\mathrm{\forall }k,\mathrm{\forall }n,\mathrm{P}\{\omega \in \mathrm{\Omega }:|{\varphi }_{n^2}(\omega )-p|>\frac{1}{k}\}\le \text{var}({\varphi }_{n^2})k^2=k^2\frac{p(1-p)}{n^2}$

da cui:

$\sum _{n=1}^{\mathrm{\infty }}\mathrm{P}\{\omega \in \mathrm{\Omega }:|{\varphi }_{n^2}(\omega )-p|>\frac{1}{k}\}\le p(1-p)k^2\sum _{n=1}^{\mathrm{\infty }}\frac{1}{n^2}$

Ma questa serie è notoriamente convergente. Pertanto,

$\mathrm{\forall }k\in {\mathbb{N}}_0,\mathrm{P}(\underset{n\to \mathrm{\infty }}{\mathrm{lim\; sup}}\{\omega \in \mathrm{\Omega }:|{\varphi }_{n^2}(\omega )-p|>\frac{1}{k}\})=0$

Si noti ora che ogni numero naturale n è compreso tra due quadrati consecutivi:

$\mathrm{\forall }n\in \mathbb{N},\mathrm{\exists }q\in \mathbb{N}:q^2\le n<(q+1{)}^2$

da cui

$\frac{N_n}{(q+1{)}^2}\le {\varphi }_n\le \frac{N_n}{q^2}$

si noti ora che $n-q^2$ è la massima differenza possibile tra $N_{q^2}$ e $N_n$, da cui:

$N_{q^2}\le N_n\le N_{q^2}+(n-q^2)$

pertanto:

$\frac{N_{q^2}}{(q+1{)}^2}\le \frac{N_n}{(q+1{)}^2}\le {\varphi }_n\le \frac{N_n}{q^2}\le \frac{N_{q^2}+(n-q^2)}{q^2}$

ora però si ha $n-q^2\le (q+1{)}^2-q^2$, dunque:

$\frac{N_{q^2}}{q^2}\frac{q^2}{(q+1{)}^2}\le {\varphi }_n\le \frac{N_{q^2}}{q^2}+\frac{(q+1{)}^2-q^2}{q^2}$

passando al limite ($n\to \mathrm{\infty }\Rightarrow q\to \mathrm{\infty }$) e applicando il risultato ottenuto per ${\varphi }_{n^2}$, si ottiene che, quasi certamente:

$p\cdot 1=p\underset{q\to \mathrm{\infty }}{\lim }\frac{q^2}{(q+1{)}^2}\le \underset{n\to \mathrm{\infty }}{\lim }{\varphi }_n\le p+\underset{q\to \mathrm{\infty }}{\lim }\frac{q^2+2q+1-q^2}{q^2}=p+0$

il che conclude la dimostrazione.

Voci correlate

• Campionamento statistico
• Distribuzione di Bernoulli
• Probabilità
• Statistica
• Quasi certamente
• Teorema della scimmia instancabile
• Paradosso di Cantor

Collegamenti esterni

• Template:Collegamenti esterni