Minimi quadrati generalizzati

Il metodo dei minimi quadrati generalizzati di Aitken consente la stima di un modello lineare, sotto ipotesi più generali di quelle del modello classico di regressione lineare multivariata.

Perché ipotesi più generali?

Sulla base del criterio del rasoio di Occam, formulare ipotesi più generali pone un costo in termini di trattabilità di un modello perciò generalmente si preferisce non sacrificare la semplicità e l'eleganza del modello classico di regressione lineare, ponendo ipotesi più generali. In altri casi come nei seguenti esempi esistono fondati motivi che rendono necessario formulare ipotesi meno restrittive.

• Sull'assenza/presenza di correlazione nei disturbi: nell'ambito dell'analisi di serie storiche di dati è lecito attendersi che sussista una qualche relazione tra osservazioni effettuate in istanti successivi; per esempio: l'evoluzione della natalità in una data area geografica, l'andamento nel tempo di un segnale elettrico o dei rendimenti di un titolo azionario;
• Sulla omoschedasticità/eteroschedasticità dei disturbi: laddove si campionino unità statistiche intrinsecamente eterogenee è lecito attendersi che la varianza del disturbo possa variare da osservazione a osservazione; per esempio: l'analisi dei consumi di un campione di famiglie o della produzione di un campione di imprese, lo studio dell'incidenza di una malattia geneticamente trasmissibile in un campione di regioni.

Limiti del modello classico di regressione lineare

Il modello classico di regressione lineare impone ipotesi relativamente restrittive sulla struttura della matrice varianze-covarianze dei disturbi $\epsilon$ del modello:

$y=X\beta +\epsilon$

In particolare, si assume che i disturbi abbiano valore atteso nullo: $\text{E}[\epsilon ]=0$, nonché si ipotizzano:

• Assenza di correlazione: $\text{E}[{\epsilon }_i{\epsilon }_j]=0\mathrm{\forall }j\ne i$;
• Omoschedasticità: $\text{E}[{\epsilon }_i^2]={\sigma }^2\mathrm{\forall }i$;

queste ipotesi possono essere scritte sinteticamente, in notazione matriciale, come:

$\text{E}[\epsilon {\epsilon }^{\prime }]={\sigma }^{2}I$

dove $I$ denota una matrice identità di opportuno ordine. Si consideri una struttura più generale, del tipo:

$\text{E}[\epsilon {\epsilon }^{\prime }]={\sigma }^2\mathrm{\Omega }$

dove $\mathrm{\Omega }$ è una matrice definita positiva simmetrica qualsiasi. Ciò significa ammettere la possibilità di correlazione dei disturbi ed eteroschedasticità. Si consideri quindi lo stimatore dei minimi quadrati ordinari (OLS, dall'inglese Ordinary Least Squares) derivato nel contesto del modello classico di regressione lineare:

${\hat{\beta }}_{OLS}=(X^{\prime }X{)}^{-1}{X}^{\prime }y$

Si vogliono valutare le proprietà statistiche di ${\hat{\beta }}_{OLS}$ sotto le ipotesi più generali testé esposte. Lo stimatore gode ancora della proprietà di correttezza:

$\text{E}\left[{\hat{\beta }}_{OLS}\right]=\text{E}[\beta +(X^{\prime }X{)}^{-1}{X}^{\prime }\epsilon ]=\beta$

Quanto alla matrice varianze-covarianze di ${\hat{\beta }}_{OLS}$, si ha:

$\mathrm{\Sigma }=\text{E}\left[({\hat{\beta }}_{OLS}-\beta )({\hat{\beta }}_{OLS}-\beta )\right]=(X^{\prime }X{)}^{-1}{X}^{\prime }\text{E}(\epsilon {\epsilon }^{\prime })X(X^{\prime }X{)}^{-1}=$

$={\sigma }^2(X^{\prime }X{)}^{-1}{X}^{\prime }\mathrm{\Omega }X(X^{\prime }X{)}^{-1}$

Si ricorda che la matrice varianze-covarianze di ${\hat{\beta }}_{OLS}$, sotto le ipotesi del modello classico di regressione lineare, è data da ${\mathrm{\Sigma }}_{OLS}={\sigma }^2(X^{\prime }X{)}^{-1}$. In generale, non è possibile stabilire se $\mathrm{\Sigma }$ sia maggiore o minore di ${\mathrm{\Sigma }}_{OLS}$ (ad esempio, nel senso del teorema di Gauss-Markov), in quanto ciò dipende da $\mathrm{\Omega }$, che in generale non è nota. È tuttavia lecito aspettarsi che lo stimatore ${\hat{\beta }}_{OLS}$ non sia, in questo caso, ottimale nel senso stabilito dal teorema di Gauss-Markov sotto le ipotesi del modello classico.

Stimatore dei minimi quadrati generalizzati

Sotto le ipotesi generali sopra enunciate è possibile dimostrare che lo stimatore ottimale è lo stimatore dei minimi quadrati generalizzati (o GLS, dall'inglese Generalised Least Squares) di Aitken:

${\hat{\beta }}_{GLS}=(X^{\prime }{\mathrm{\Omega }}^{-1}X{)}^{-1}{X}^{\prime }{\mathrm{\Omega }}^{-1}y$

Euristicamente si può affermare che, per effetto dei termini ${\mathrm{\Omega }}^{-1}$ nell'espressione sopra, lo stimatore assegna un peso maggiore alle osservazioni caratterizzate da una minore varianza che sono dunque da considerarsi più "affidabili".

Derivazione dello stimatore GLS

Lo stimatore ${\hat{\beta }}_{GLS}$ può essere interpretato come uno stimatore OLS basato su variabili trasformate. Si ipotizzi infatti che esista una matrice $L$ non singolare tale che:

${\mathrm{\Omega }}^{-1}=L^{\prime }L$

così che $\mathrm{\Omega }=L^{-1}(L^{\prime }{)}^{-1}$. Moltiplicando ambo i membri di $y=X\beta +\epsilon$ per $L$ si ha il modello nelle variabili trasformate:

$\tilde{y}=Ly=\tilde{X}\beta +\tilde{\epsilon }=L(X\beta +\epsilon )$

Si osserva immediatamente che:

$\text{E}[\tilde{\epsilon }]=0$

$\text{E}[\tilde{\epsilon }{\tilde{\epsilon }}^{\prime }]={\sigma }^{2}L\mathrm{\Omega }{L}^{\prime }={\sigma }^{2}L{L}^{-1}(L^{\prime }{)}^{-1}{L}^{\prime }={\sigma }^{2}I$

Il modello nelle variabili trasformate verifica dunque le ipotesi del modello lineare classico. Si fa dunque ricorso allo stimatore OLS:

$\hat{\beta }=({\tilde{X}}^{\prime }\tilde{X}{)}^{-1}{\tilde{X}}^{\prime }\tilde{y}=(X^{\prime }{L}^{\prime }LX{)}^{-1}{X}^{\prime }{L}^{\prime }Ly=(X^{\prime }{\mathrm{\Omega }}^{-1}X{)}^{-1}{X}^{\prime }{\mathrm{\Omega }}^{-1}y$

Quest'ultima espressione altro non è che lo stimatore GLS o dei minimi quadrati generalizzati.

Proprietà dello stimatore GLS

Lo stimatore ${\hat{\beta }}_{GLS}$ gode, così come ${\hat{\beta }}_{OLS}$, della proprietà di correttezza:

$\text{E}\left[{\hat{\beta }}_{GLS}\right]=\text{E}[\beta +(X^{\prime }{\mathrm{\Omega }}^{-1}X{)}^{-1}{X}^{\prime }{\mathrm{\Omega }}^{-1}\epsilon ]=\beta$

La sua matrice varianze-covarianze è inoltre data da:

$\text{E}\left[({\hat{\beta }}_{GLS}-\beta )({\hat{\beta }}_{GLS}-\beta )\right]=(X^{\prime }{\mathrm{\Omega }}^{-1}X{)}^{-1}{X}^{\prime }{\mathrm{\Omega }}^{-1}\text{E}(\epsilon {\epsilon }^{\prime }){\mathrm{\Omega }}^{-1}X(X^{\prime }{\mathrm{\Omega }}^{-1}X{)}^{-1}=$

$={\sigma }^2(X^{\prime }{\mathrm{\Omega }}^{-1}X{)}^{-1}$

Il teorema di Aitken stabilisce che lo stimatore ${\hat{\beta }}_{GLS}$ è, nella classe degli stimatori lineari per il modello di regressione generalizzato sulla base delle ipotesi sopra, quello caratterizzato dalla minima varianza in questo senso lo stimatore GLS è uno stimatore efficiente.

Utilizzo dello stimatore GLS

Nelle applicazioni in generale la matrice varianze-covarianze $\mathrm{\Omega }$ non è nota, per cui lo stimatore GLS non è direttamente utilizzabile, almeno nella forma in cui è presentato sopra.

La conoscenza del particolare fenomeno oggetto di studio può tuttavia suggerire al ricercatore indizi circa la struttura di $\mathrm{\Omega }$. Per esempio il ricercatore potrà aspettarsi soltanto eteroschedasticità o correlazione nei disturbi, o entrambe. Questa conoscenza del fenomeno, eventualmente unita a un'analisi delle cause dei disturbi, consente di individuare un opportuno stimatore della matrice varianze-covarianze, $\hat{\mathrm{\Omega }}$. In genere si ricerca uno stimatore che goda della proprietà di consistenza, ossia tale per cui:

${\text{plim}}_{N\to \mathrm{\infty }}\hat{\mathrm{\Omega }}=\mathrm{\Omega }$

dove $N$ indica il numero di osservazioni e $\text{plim}$ denota la convergenza in probabilità, e

$\underset{N\to \mathrm{\infty }}{\lim }\text{var}\left(\hat{\mathrm{\Omega }}\right)=0$

In tal caso, lo stimatore dei minimi quadrati generalizzati è detto, con voce inglese, stimatore dei Feasible Generalised Least Squares, ed è dato da:

${\hat{\beta }}_{FGLS}=(X^{\prime }{\hat{\mathrm{\Omega }}}^{-1}X{)}^{-1}{X}^{\prime }{\hat{\mathrm{\Omega }}}^{-1}y$

Le proprietà di ${\hat{\beta }}_{FGLS}$ sono analoghe a quelle di ${\hat{\beta }}_{OLS}$ e ${\hat{\beta }}_{GLS}$, tuttavia hanno natura asintotica.

Bibliografia

• Aitken, A.C. (1935), On Least Squares and Linear Combinations of Observations, Proceedings of the Royal Statistical Society 55, 42-48; il contributo originale di Aitken;
• Davidson, J. (2000), Econometric Theory, Blackwell, ISBN 0-631-21584-0, un testo specializzato in econometria, di livello master/dottorato; esamina rigorosamente gli aspetti algebrici del metodo di Aitken (in inglese);
• Greene, W.H. (2000), Econometric Analysis, Prentice-Hall, ISBN 0-13-013297-7, ancora un testo di econometria, propone il metodo dei minimi quadrati generalizzati nel contesto di un'analisi del modello di regressione lineare di più ampio respiro (in inglese).

Voci correlate

• Regressione lineare
• Correlazione (statistica)
• Correlazione spuria
• Econometria