Visualizza wikitesto di Stima del massimo a posteriori

In [[statistica bayesiana]], una stima del '''massimo della probabilità a posteriori''', o brevemente '''massimo a posteriori''', MAP (da ''maximum a posteriori probability''), è una [[moda (statistica)|moda]] della [[distribuzione a posteriori]]. La stima del MAP può essere usata per ottenere una [[stimatore puntuale|stima puntuale]] di una quantità inosservata sulla base di dati empirici. È strettamente correlata al metodo di [[Ronald Fisher|Fisher]] di [[Metodo_della_massima_verosimiglianza|massima verosimiglianza]], ML (da ''maximum likelihood''), ma impiega un [[ottimizzazione (matematica)|obiettivo di massimizzazione]] incrementato che incorpora una [[distribuzione a priori]] sopra la quantità che si vuole stimare. La stima della MAP può perciò essere vista come una [[regolarizzazione (matematica)|regolarizzazione]] della stima di ML.

==Descrizione==
Assumiamo di voler stimare un parametro di popolazione <math>\theta</math> sulla base di osservazioni <math>x</math>. Sia <math>f</math> la [[Campionamento_statistico|distribuzione campionaria]] di <math>x</math>, in modo tale che <math>f(x|\theta)</math> è la probabilità di <math>x</math> quando il parametro della sottostante popolazione è <math>\theta</math>. Allora la funzione:

:<math>\theta \mapsto f(x | \theta) \!</math>

è nota come la [[funzione di verosimiglianza]] e la stima

:<math>\hat{\theta}_{\mathrm{ML}}(x) = \underset{\theta}{\operatorname{arg\,max}} \ f(x | \theta) \!</math>

è la stima di <math>\theta</math> di massima verosimiglianza.

Ora supponiamo che esista una distribuzione a priori <math>g</math> sopra <math>\theta</math>. Questo ci permette di trattare <math>\theta</math> come una [[variabile casuale]] come in [[statistica bayesiana]]. Quindi la [[distribuzione a posteriori]] di <math>\theta</math> è data come segue:

:<math>\theta \mapsto f(\theta | x) = \frac{f(x | \theta) \, g(\theta)}{\displaystyle\int_{\vartheta \in \Theta} f(x | \vartheta) \, g(\vartheta) \, d\vartheta} \!</math>

dove <math>g</math> è [[Funzione di densità di probabilità|funzione di densità]] di <math>\theta</math>, mentre <math>\Theta</math> è il dominio di <math>g</math>. Questa è un'applicazione diretta del [[teorema di Bayes]].

Il metodo di stima del MAP esegue quindi una stima di <math>\theta</math> come la [[moda (statistica)|moda]] della distribuzione a posteriori di questa variabile casuale:

:<math>\hat{\theta}_{\mathrm{MAP}}(x)
= \underset{\theta}{\operatorname{arg\,max}} \ \frac{f(x | \theta) \, g(\theta)}
  {\displaystyle\int_{\vartheta} f(x | \vartheta) \, g(\vartheta) \, d\vartheta}
= \underset{\theta}{\operatorname{arg\,max}} \ f(x | \theta) \, g(\theta).
\!</math>

Il denominatore della distribuzione a posteriori (la cosiddetta [[Funzione di partizione (matematica)|funzione di partizione]]) non dipende da <math>\theta</math> e perciò non gioca alcun ruolo nell'ottimizzazione. Si osservi che la stima del MAP è un limite di stimatori di Bayes sotto una sequenza di funzioni di perdita 0-1, ma non di per sé stesso uno [[stimatore di Bayes|stimatore bayesiano]], a meno che <math>\theta</math> sia [[variabile casuale discreta|discreta]]. {{Citazione necessaria}}

== Calcolo ==
Esistono vari modi per calcolare stime del MAP:
# Analiticamente, quando la moda della distribuzione a posteriori può essere fornita in [[forma chiusa]]. Questo è il caso quando vengono utilizzate [[distribuzione a priori coniugata|distribuzioni a priori coniugate]].
# Mediante [[Ottimizzazione_(matematica)|ottimizzazione]] [[Analisi_numerica|numerica]] come nel [[metodo del gradiente coniugato]] o nel [[metodo di ottimizzazione di Newton]]. Questi solitamente richiedono la conoscenza delle derivate prima e/o seconda, le quali devono essere determinate analiticamente o numericamente.
# Mediante modifica di un [[algoritmo di massimizzazione del valore atteso]]. Questo metodo non richiede la determinazione delle derivate della densità a posteriori.
# Mediante un [[metodo Monte Carlo]] usando la tecnica di [[simulated annealing]].

==Critiche==
Nonostante la stima del MAP sia un (processo di) limite di stimatori bayesiani (sotteso dalla funzione perdita (''loss function'') 0-1), in generale essa non è veramente rappresentativa dei metodi bayesiani. Questo perché le stime del MAP sono stime puntuali, mentre i metodi bayesiani sono caratterizzati dall'impiego di distribuzioni con lo scopo di riassumere i dati e generare inferenze. Infatti i metodi bayesiani tendono a riportare [[media (statistica)|media]] e [[Mediana (statistica)|mediana]] a posteriori, assieme agli [[Intervallo_di_confidenza_bayesiano|intervalli di confidenza bayesiani]]. Questo sia perché questi stimatori sono ottimali sotto funzioni di perdita di tipo errore quadratico ed errore lineare rispettivamente, i quali sono maggiormente rappresentativi delle tipiche [[Funzione_di_perdita|funzioni di perdita]], sia perché la distribuzione a posteriori può non avere una forma analitica semplice: in questo caso, la distribuzione può essere simulata usando tecniche di [[catena di Markov Monte Carlo]], mentre l'ottimizzazione per trovare la sua moda può essere difficoltosa o impossibile.

In molti tipi di modelli, come la [[mistura di distribuzioni]], la distribuzione a posteriori può essere [[Distribuzione_multimodale|multimodale]]. Il tal caso la raccomandazione solita è che si dovrebbe scegliere la moda più alta: questo non sempre è fattibile (l'[[ottimizzazione globale]] è un problema difficile), né in vari casi possibile (ad esempio quando sorgono problemi di [[Condizione_di_identificabilità|identificabilità]] ossia quando i valori di uno o più parametri di una distribuzione non sono inferibili da campionamenti ripetuti o viceversa quando la variazione di tali valori non produce distribuzioni distinte). Inoltre, la moda più alta può non caratterizzare la distribuzione a posteriori.

Infine, dissimilmente dagli stimatori di massima verosimiglianza, la stima del MAP non è invariante sotto riparametrizzazione. La commutazione da una parametrizzazione ad un'altra implica l'introduzione di uno jacobiano che influisce sulla posizione del massimo.

Come esempio della differenza tra gli stimatori bayesiani sopra menzionati (stimatori della media e della mediana) e l'uso di una stima del MAP, consideriamo un caso dove sussiste la necessità di classificare il dato in ingresso <math>x</math> come positivo o negativo (per esempio, un prestito come rischioso o sicuro). Supponiamo che ci siano tre possibili ipotesi circa il metodo corretto di classificazione <math>h_1</math>, <math>h_2</math> ed <math>h_3</math> con [[probabilità a posteriori]] rispettivamente 0.4, 0.3 e 0.3. Supponiamo che ottenuto un nuovo dato, <math>x</math>, <math>h_1</math> lo classifichi come positivo, mentre gli altri due come negativo. Usando la stima del MAP questo sceglierà come metodo di classificazione corretto <math>h_1</math>, classificando quindi <math>x</math> come positivo, mentre gli stimatori di Bayes medierebbero sopra tutte le ipotesi pesando i tre metodi e classificando quindi <math>x</math> come negativo.

==Esempio==
Supponiamo di avere una data sequenza <math>(x_1, \dots, x_n)</math> di [[Variabile_casuale|variabili casuali]] con distribuzioni individuali identiche (IID, ''Individual Identical Distribution'') <math>N(\mu,\sigma_v^2 )</math> e che sia data una distribuzione a priori di <math>\mu</math>, <math>N(\mu_0,\sigma_m^2 )</math>.  Desideriamo trovare la stima del MAP di <math>\mu</math>.

La funzione da massimizzare è data da

:<math>f(\mu) f(x | \mu)=\pi(\mu) L(\mu) =  \frac{1}{\sqrt{2 \pi} \sigma_m} \exp\left(-\frac{1}{2} \left(\frac{\mu-\mu_0}{\sigma_m}\right)^2\right) \prod_{j=1}^n \frac{1}{\sqrt{2 \pi} \sigma_v} \exp\left(-\frac{1}{2} \left(\frac{x_j - \mu}{\sigma_v}\right)^2\right),</math>

che equivale a minimizzare la seguente funzione di <math>\mu</math>:

:<math> \sum_{j=1}^n \left(\frac{x_j - \mu}{\sigma_v}\right)^2 + \left(\frac{\mu-\mu_0}{\sigma_m}\right)^2.</math>

Perciò, vediamo che lo '''stimatore del MAP''' per <math>\mu</math> è dato da

:<math>\hat{\mu}_{MAP} =     \frac{n \sigma_m^2}{n \sigma_m^2 + \sigma_v^2 } \left(\frac{1}{n} \sum_{j=1}^n x_j \right) + \frac{\sigma_v^2}{n \sigma_m^2 + \sigma_v^2 } \mu_0.</math>

che risulta essere una interpolazione lineare pesata tramite le loro rispettive covarianze della media a priori e della media del campione.

Il caso di <math>\sigma_m \to \infty</math> è chiamata una distribuzione a priori non informativa e conduce ad una [[distribuzione di probabilità a priori]] mal definita; in questo caso <math>\hat{\mu}_{MAP} \to \hat{\mu}_{ML}.</math>

== Bibliografia ==

* M. DeGroot, ''Optimal Statistical Decisions'', McGraw-Hill, (1970).
* Harold W. Sorenson, (1980) "Parameter Estimation: Principles and Problems", Marcel Dekker.

{{Statistica|inferenza}}

{{Portale|statistica}}

[[Categoria:Statistica bayesiana]]
[[Categoria:Inferenza statistica]]