Regola delta

La regola delta (delta rule) è una regola di discesa del gradiente per aggiornare i pesi dei segnali di input che giungono ad un percettrone. Si tratta di un caso particolare del più generale algoritmo di retropropagazione.

Enunciato

Per un neurone $j$ con una funzione d'attivazione $g(x)$, la regola delta per l'$i$-esimo peso $w_{ji}$ è data da

$\mathrm{\Delta }{w}_{ji}=\alpha (t_j-y_j)g^{\prime }(h_j)x_i$,

dove

	$\alpha$ è una costante piccola chiamata tasso di apprendimento (learning rate)
	$g(x)$ è la funzione d'attivazione del neurone e $g^{\prime }$ la sua derivata
	$t_j$ è l'output desiderato
	$h_j$ è la somma pesata degli input al neurone
	$y_j$ è l'output vero
	$x_i$ è l'$i$-esimo input.

Valgono: $h_j=\sum x_i{w}_{ji}$ e $y_j=g(h_j)$.

La regola delta è spesso semplificata se la funzione d'attivazione è lineare come

$\mathrm{\Delta }{w}_{ji}=\alpha (t_j-y_j)x_i$

mentre la regola delta è simile alla regola di aggiornamento del percettrone, come si ricava la regola è diverso. Il percettrone usa la funzione gradino di Heaviside come funzione d'attivazione $g(h)$, il che significa che $g^{\prime }(h)$ non esiste in zero, e che è uguale a zero altrove, e ciò rende l'applicazione diretta della regola impossibile.

Derivazione della regola delta

La regola delta si ricava a partire dalla minimizzazione dell'errore sull'output della rete neurale tramite la discesa del gradiente. L'errore per una rete neurale con $j$ output può essere misurato come

$E=\sum _j\frac{1}{2}(t_j-y_j{)}^2$.

In questo caso, occorre muoversi nello "spazio dei pesi" del neurone (lo spazio di tutti i valori che possono assumere i pesi) in proporzione al gradiente della funzione d'errore rispetto a ogni peso. Per fare ciò, si calcola la derivata parziale dell'errore rispetto a ogni peso. Per l'$i$-esimo peso, la derivata è

$\frac{\partial E}{\partial w_{ji}}=\frac{\partial \left(\frac{1}{2}{(t_j-y_j)}^2\right)}{\partial w_{ji}}$.

dove è stata omessa la sommatoria siccome la derivata è relativa al $j$-esimo neurone.

Il calcolo procede con l'applicazione della regola della catena:

$=\frac{\partial \left(\frac{1}{2}{(t_j-y_j)}^2\right)}{\partial y_j}\frac{\partial y_j}{\partial w_{ji}}=-(t_j-y_j)\frac{\partial y_j}{\partial w_{ji}}$

mentre la derivata rimanente si calcola ancora con la regola della catena, ma derivando rispetto all'intero input di $j$, ovvero $h_j$:

$=-(t_j-y_j)\frac{\partial y_j}{\partial h_j}\frac{\partial h_j}{\partial w_{ji}}$

Si noti che l'output del $j$-esimo neurone, $y_j$, è semplicemente la funzione d'attivazione $g$ del neurone applicata al suo input $h_j$. Si può quindi scrivere la derivata di $y_j$ rispetto a $h_j$ semplicemente come la derivata prima di $g$:

$=-(t_j-y_j)g^{\prime }(h_j)\frac{\partial h_j}{\partial w_{ji}}$

A questo punto, si riscrive $h_j$ nell'ultimo termine come la somma su tutti i $k$ pesi di ogni peso $w_{jk}$ moltiplicati per il loro input corrispondente $x_k$:

$=-(t_j-y_j)g^{\prime }(h_j)\frac{\partial \left(\sum _i{x}_i{w}_{ji}\right)}{\partial w_{ji}}$

Poiché interessa solamente l'$i$-esimo peso, l'unico termine della sommatoria che è rilevante è $x_i{w}_{ji}$. Chiaramente,

$\frac{\partial x_i{w}_{ji}}{\partial w_{ji}}=x_i$,

portando all'equazione finale per il gradiente:

$\frac{\partial E}{\partial w_{ji}}=-(t_j-y_j)g^{\prime }(h_j)x_i$

Come evidenziato sopra, la discesa del gradiente dice che la variazione di ciascun peso deve essere proporzionale al gradiente La scelta di una costante di proporzionalità $\alpha$ e l'eliminazione del segno meno (siccome si cerca la direzione che diminuisce il gradiente), permettono di arrivare all'equazione cercata:

$\mathrm{\Delta }{w}_{ji}=\alpha (t_j-y_j)g^{\prime }(h_j)x_i$.

Bibliografia

• Tom Mitchell, Machine Learning, McGraw Hill, 1997.
• Ben Krose, Patrick van der Smagt, An Introduction to Neural Networks, The University of Amsterdam

Voci correlate

• Discesa del gradiente
• Least Mean Square
• Percettrone
• Rete neurale artificiale