Spazio dei parametri

Lo spazio dei parametri, indicato con Θ, è lo spazio di tutti i possibili valori dei parametri che definiscono un particolare modello matematico . A volte viene anche chiamato spazio dei pesi ed è spesso un sottoinsieme dello spazio euclideo di dimensione finita.

In statistica, gli spazi parametrici sono particolarmente utili per descrivere famiglie parametriche di distribuzioni di probabilità . Costituiscono inoltre la base per la stima dei parametri . Nel caso di stimatori estremi per modelli parametrici, una certa funzione obiettivo è massimizzata o minimizzata sullo spazio dei parametri. I teoremi di esistenza e coerenza di tali stimatori richiedono alcune ipotesi sulla topologia dello spazio dei parametri. Ad esempio, la compattezza dello spazio dei parametri, insieme alla continuità della funzione obiettivo, è sufficiente per l'esistenza di uno stimatore estremo.

A volte i parametri vengono analizzati per vedere come influenzano il loro modello statistico. In tale contesto, possono essere visti come argomenti di una funzione, nel qual caso il termine tecnico per lo spazio dei parametri è dominio di una funzione . Gli intervalli valoriali dei parametri possono formare gli assi di uno spazio e particolari risultati del modello possono essere rappresentati su questi assi per illustrare come diverse regioni dello spazio dei parametri producono diversi tipi di comportamento nel modello.

Esempi

• Un semplice modello di decaduta di salute dopo aver sviluppato un tumore polmonare potrebbe includere i due parametri sesso e fumatore [o fumatrice]/non fumatore [o non fumatrice]. In questo caso, lo spazio dei parametri sarebbe il seguente insieme con le 4 possibilità: $\{(Maschio,Fumatore),(Maschio,Nonfumatore),(Femmina,Fumatrice),(Femmina,Nonfumatrice)\}$.
• La mappa logistica $x_{n+1}=r{x}_n(1-x_n)$ ha un parametro, r, che può assumere qualsiasi valore positivo. Lo spazio dei parametri è quindi l'insieme dei numeri reali positivi. Per alcuni valori di r, questa funzione ruota attorno a pochi valori o si stabilizza su uno specifico. I valori a lungo termine possono essere graficati contro r in un diagramma di biforcazione per mostrare i differenti comportamenti della funzione al variare di r.
• In un modello a seno, definito come $y(t)=A\cdot \sin (\omega t+\varphi )$, i parametri sono ampiezza A > 0, frequenza angolare ω > 0, e fase φ ∈ S¹. Lo spazio dei parametri sarebbe quindi ${ℝ}^{+}\times {ℝ}^{+}\times S^1$.
• In dinamica complessa, lo spazio dei parametri corrisponde al piano complesso $ℂ=\{z=x+yi\mid x,y\in ℝ\}$, dove $i^2=-1$.

Il famoso insieme di Mandelbrot è un sottoinsieme di questo spazio dei parametri, consistente dei punti complessi danti un insieme limitato di numeri quando un particolare algoritmo iterativo è ripetutamente applicato da quel punto di partenza. I rimanenti punti che non sono nell'insieme, danno un insieme illimitato di numeri (tendenti all'infinito) quando quest'algoritmo è ripetutamente applicato dal detto punto di partenza.

• In apprendimento automatico, un iperparametro è usato per descrivere modelli. In apprendimento profondo, i parametri di una rete neurale profonda sono chiamati pesi. Stante la struttura a strati delle rete neurali profondi, il loro spazio dei pesi ha una struttura e una geometria complesse. Per esempio, nei percettroni multristrato, la stessa funzione viene mantenuta quando si permutano i nodi di un livello nascosto, che equivalgono a matrici di peso della rete permutanti. Questa proprietà è conosciuta come equivarianza alla permutazione degli spazi di peso profondi. lo studio study cerca l'ottimizzazione iperparametrica.