Funzione softmax

In matematica, una funzione softmax, o funzione esponenziale normalizzata, è una generalizzazione di una funzione logistica che mappa un vettore $K$-dimensionale $𝐳$ di valori reali arbitrari in un vettore $K$-dimensionale $\sigma (𝐳)$ di valori compresi in un intervallo $(0,1)$ la cui somma è $1$. La funzione è data da:

$\sigma :{ℝ}^K\to \{z\in {ℝ}^K|z_i>0,\sum _{i=1}^K{z}_i=1\}$

$\sigma (𝐳{)}_j=\frac{e^{z_j}}{\sum _{k=1}^K{e}^{z_k}}$    per $j=1,\dots ,K.$

La funzione softmax è anche il gradiente della funzione LogSumExp. La funzione softmax è usata in vari metodi di classificazione multi-classe, come la regressione logistica multinomiale, analisi discriminante lineare multiclasse, classificatori bayesiani e reti neurali artificiali.

Esempio

Si consideri un vettore in input $(1;2;3;4;1;2;3)$.

La funzione softmax produce il vettore $(0,024;0,064;0,175;0,475;0,024;0,064;0,175)$.

In tale risultato è possibile notare che:

• il valore massimo viene assegnato alla quarta posizione;
• tale valore è circa 20 volte maggiore di quello associato alla prima posizione.

Questa funzione mette in evidenza i valori più grandi e nasconde quelli significativamente più piccoli rispetto al valore massimo.

Reti neurali artificiali

La funzione softmax è spesso usata nello strato finale dei classificatori basati su reti neurali. Tali reti sono solitamente allenate in un regime di entropia incrociata, ottenendo una variante non lineare di regressione logistica multinomiale.

Dato che la funzione mappa un vettore e una specifica posizione $i$ ad un valore reale, per derivare bisogna tener conto della posizione:

$\frac{\partial }{\partial q_k}\sigma (\mathbf{\text{q}},i)=\dots =\sigma (\mathbf{\text{q}},i)({\delta }_{ik}-\sigma (\mathbf{\text{q}},k)).$

Apprendimento per rinforzo

Nel campo dell'apprendimento per rinforzo, una funzione softmax può essere usata per convertire valori in probabilità. Una delle funzioni solitamente usate è:

$P_t(a)=\frac{\exp (Q_t(a)/\tau )}{\sum _{i=1}^n\exp (Q_t(i)/\tau )}$

dove $Q_t(a)$ è la funzione Q e $\tau$ è un parametro chiamato "temperatura". L'uso di questa funzione è generalmente indicato in alternativa alla strategia $\epsilon$-greedy,

Normalizzazione softmax

Una normalizzazione sigmoidale (o normalizzazione softmax) serve a ridurre l'influenza di valori estremi o di outlier nei dati senza rimuoverli dal dataset. I dati sono trasformati in maniera non lineare usando una funzione sigmoidea.

La funzione sigmoidea logistica:

${x_i}^{\prime }\equiv \frac{1}{1+e^{-\frac{x_i-{\mu }_i}{{\sigma }_i}}}.$

La funzione tangente iperbolica:

${x_i}^{\prime }\equiv \frac{1-e^{-\frac{x_i-{\mu }_i}{{\sigma }_i}}}{1+e^{-\frac{x_i-{\mu }_i}{{\sigma }_i}}}.$

La funzione sigmoidea limita fra $0$ e $1$ l'intervallo dei valori normalizzati. La funzione è approssimativamente lineare vicino alla media ed ha una non-linearità liscia presso entrambi gli estremi.

La tangente iperbolica limita fra $-1$ e $1$ l'intervallo dei valori normalizzati. La funzione è approssimativamente lineare vicino alla media, ma è pendente la metà rispetto alla funzione sigmoidea. Come la sigmoidea, è non lineare, liscia e monotona in entrambi gli estremi.

Bibliografia

• Template:Cita libro
• Template:Cita libro