Scomposizione della devianza

La scomposizione della devianza è un'operazione utilizzata in statistica per calcolare, tra le altre cose, il coefficiente di determinazione e la statistica test ANOVA. Data una variabile numerica $y$ si chiama devianza la somma degli scarti quadratici dalla media campionaria $\sum _i(y_i-\overline{y}{)}^2$; questa quantità si può scomporre in una parte "spiegata" da una o più variabili $x$ e una parte "residua"; la somma di queste due parti è costante e corrisponde alla devianza totale.

Devianza tra e entro gruppi

Quattro boxplot di una variabile numerica y distinta tra due gruppi. Negli esempi a sinistra la devianza tra gruppi è chiaramente maggiore a quella entro gruppi, perché i valori di y sono ben distinti tra gruppi diversi. Negli esempi a destra accade invece il contrario.

Quando si dispone di $k$ gruppi distinti di $n_j$ osservazioni ciascuno di una variabile numerica $y$, si può calcolare la devianza complessiva di $y$ ignorando la distinzione tra gruppi, e la si può scomporre in due quantità SSW (devianza entro gruppi, in inglese Sum of Squares Within) e SSB (devianza tra gruppi, in inglese Sum of Squares Between):

• la media campionaria di $y$ nel j-esimo gruppo si indica come ${\overline{y}}_j$;
• la devianza di $y$ entro il j-esimo gruppo si indica come $S{S}_j$;
• la media campionaria generale di $y$ si indica come $\overline{y}$, e la devianza totale di $y$ si indica come $SST$;
• $SSW=\sum _{j=1}^{k}S{S}_j$;
• $SSB=\sum _{j=1}^k{n}_j({\overline{y}}_j-\overline{y}{)}^2$;
• $SST=SSW+SSB$.

La devianza tra gruppi sarà maggiore di quella entro gruppi quando i valori di $y$ sono ben distinti tra gruppi diversi, e sarà invece bassa quando le medie locali ${\overline{y}}_j$ si assomigliano. Nel caso limite in cui esse siano tutte uguali, $SSB=0$. Questa scomposizione si può usare per creare il coefficiente ${\eta }^2=SSB/SST$, che indica la proporzione della devianza totale di $y$ che nasce dall'eterogeneità dei gruppi sui quali la variabile viene osservata. In virtù della relazione tra devianza e varianza, introducendo i propri denominatori alle equazioni sopra, si ricava la scomposizione della varianza, la quale ha il vantaggio di ricondurre le quantità empiriche sopra alle proprietà della variabile casuale $y$ e permette di condurre i test delle ipotesi che vanno sotto il nome di ANOVA (ANalisys Of VAriance).

Devianza spiegata e residua

In questi due esempi di regressione lineare semplice, la devianza spiegata è uguale, mentre quella residua è differente, perciò il valore R quadro varia anch'esso

Quando si dispone di due variabili numeriche $y$ e $x$, si può analizzare la relazione tra le due variabili con un modello lineare semplice, in questo modo, per misurare l'associazione tra le due variabili, si può scomporre la devianza totale di $y$ (la variabile usata come outcome nel modello lineare) in devianza residua SSR e spiegata SSM (Sum of Squares of Model):

• si indica con ${\hat{y}}_i$ il valore di $y_i$ previsto dal modello;
• $SSR=\sum _{i=1}^n(y_i-{\hat{y}}_i{)}^2$;
• $SSM=\sum _{i=1}^n({\hat{y}}_i-\overline{y}{)}^2$.

Il rapporto tra SSM e devianza totale di $y$ SST dà luogo al coefficiente di determinazione $R^2$, il quale è anche il quadrato del coefficiente di correlazione di Pearson $R$. Come si può notare dalle equazioni, $R^2$ è tanto maggiore quando i valori di $y$ risultano vicini a quelli previsti del modello, mentre diminuisce quando il modello prevede valori molto vicini tra loro nella scala della $y$.

Chiaramente, questo metodo è facilmente estendibile a un numero maggiore di variabili $x$ utilizzando una regressione multivariata, in tal caso il coefficiente $R^2$ perde il suo valore di indice di associazione tra variabili e si volge ad indicare la capacità del modello lineare di determinare appunto il valore di ciascuna $y$ osservata, o, in altre parole, la capacità del modello di "spiegare" appunto la variabilità di $y$; si definisce invece "residua" la devianza (e la rispettiva varianza) di $y$ che il modello non riesce a spiegare per mezzo dei predittori $x$.

Si può verificare facilmente che nel caso di una sola variabile esplicativa $x$ categorica, i gruppi definiti dalle categorie di quella variabile danno luogo alle equazioni $SSR=SSW$ e $SSM=SSB$, perciò ${\eta }^2=R^2$.