Percettrone

Il percettrone (Template:Inglese) è un modello di rete neurale artificiale, il primo di questo genere, introdotto nel 1943 da Warren McCulloch e Walter Pitts

Descrizione

Nell'apprendimento automatico, il percettrone è un tipo di classificatore binario che mappa i suoi ingressi $x$ (un vettore di tipo reale) in un valore di output $f(x)$ (uno scalare di tipo reale) calcolato con

$f(x)=\chi (⟨w,x⟩+b)$

dove $w$ è un vettore di pesi con valori reali, l'operatore $⟨\cdot ,\cdot ⟩$ è il prodotto scalare (che calcola una somma pesata degli input), $b$ è il bias, un termine costante che non dipende da alcun valore in input e $\chi (y)$ è la funzione di output. Le scelte più comuni per la funzione $\chi (y)$ sono:

1. $\chi (y)=\mathrm{sign}(y)$
2. $\chi (y)=y\mathrm{\Theta }(y)$
3. $\chi (y)=y$

dove $\mathrm{\Theta }(y)$ è la funzione di Heaviside

Il primo caso corrisponde a un classificatore binario (lTemplate:'output può assumere solamente i valori $+1$ e $-1$); un caso particolarmente studiato è quello in cui sia gli input $x$ che lTemplate:'output $f(x)$ sono binari.

Il bias $b$ può essere pensato come un settaggio della funzione di attivazione (per esempio quando $\chi (y)$ è come nel caso 3), o come un livello base di attivazione per l'output del neurone (per esempio quando $\chi (y)$ è come nei casi 1 e 2). In quest'ultima situazione, il valore $-b$ rappresenta un valore di soglia che la somma pesata degli input deve superare affinché il dispositivo sia attivo (cioè che lTemplate:'output sia positivo).

Il percettrone può essere considerato come il più semplice modello di rete neurale feed-forward, in quanto gli input alimentano direttamente l'unità di output attraverso connessioni pesate. Nel caso in cui gli input e gli output sono dello stesso tipo, è possibile creare reti più complesse unendo più percettroni insieme, per esempio usando un gruppo (o strato) di percettroni come input per un secondo gruppo di percettroni, oppure facendo in modo che lTemplate:'input di ogni percettrone della rete sia dato dallTemplate:'output di ogni altro percettrone (rete fully-connected).

Storia

Il percettrone fu proposto da Frank Rosenblatt nel 1958 come un'entità con uno strato di ingresso ed uno di uscita ed una regola di apprendimento basata sulla minimizzazione dell'errore, la cosiddetta funzione di error back-propagation (retropropagazione dell'errore) che in base alla valutazione sull'uscita effettiva della rete rispetto ad un dato ingresso altera i pesi delle connessioni (sinapsi) come differenza tra l'uscita effettiva e quella desiderata.

L'entusiasmo fu enorme e nacque il settore della cibernetica, ma dopo che Marvin Minsky e Seymour Papert dimostrarono i limiti del percettrone e cioè la sua capacità di riconoscere dopo un opportuno addestramento solamente funzioni linearmente separabili (ad esempio la funzione logica XOR non può essere implementata da un percettrone) l'interesse scemò rapidamente.

Di fatto una rete a più livelli di percettroni poteva risolvere problemi più complessi, ma la crescente complessità computazionale dell'addestramento rendeva impraticabile questa strada. Solo nel decennio successivo si riprese a considerare l'utilità di questa entità operazionale.

Il problema dell'apprendimento

File:Perceptron 1.webm

Modificando il vettore dei pesi $w$, è possibile modulare lTemplate:'output di un percettrone, con lo scopo d'ottenere delle proprietà di apprendimento o di memorizzazione. Per esempio, si può cercare di istruire un percettrone in modo che, dato un input $x$, lTemplate:'output $f(x)$ sia quanto più vicino possibile a un dato valore $g(x)$ scelto a priori; le capacità computazionali di un singolo percettrone sono tuttavia limitate, e le prestazioni che è possibile ottenere dipendono fortemente sia dalla scelta degli input (che potrebbero per esempio essere limitati ad un sottoinsieme di tutti gli input possibili, oppure venire estratti a caso secondo una certa distribuzione di probabilità prefissata) che dalla scelta della funzione che si desidera implementare, $g(x)$. In misura minore, dipendono anche da come viene quantificata la distanza tra gli output effettivi e quelli attesi.

Una volta che si sia definito il problema dell'apprendimento, si può cercare di trovare l'assegnazione ottimale di pesi $\bar{w}$ per il problema dato.

Algoritmo di apprendimento standard

L'algoritmo di apprendimento standard è un algoritmo iterativo, definito come segue: ad ogni iterazione $t$, un vettore di input $x^t$ viene presentato al percettrone, che calcola lTemplate:'output $f(x^t)$ e lo confronta con il risultato desiderato $g(x^t)$; quindi, il vettore dei pesi $w^t$ viene aggiornato come segue:

$w^{t+1}=w^t+\alpha (g(x^t)-f(x^t))x^t$

dove $\alpha$ è una costante di apprendimento strettamente positiva che regola la velocità dell'apprendimento. Al passo successivo, il nuovo input $x^{t+1}$ verrà pesato secondo il nuovo vettore $w^{t+1}$, che verrà poi nuovamente modificato in $w^{t+2}$ e così via.

L'insieme $D_x$ da cui sono estratti i campioni $x$ presentati al percettrone durante il periodo dell'apprendimento è detto training set.

I pesi appropriati (w) vengono applicati agli input (x) che passati ad una funzione che produce l'output (y)

Nel caso in cui esistano:

• un certo vettore $\hat{w}t.c.\Vert \hat{w}\Vert =1$
• una certa costante $\gamma >0t.c.g(x^t)⟨x^t,\hat{w}⟩\ge \gamma \mathrm{\forall }t$
• una certa costante $Rt.c.\Vert x^t\Vert \le R\mathrm{\forall }t$

il training set è detto linearmente separabile (geometricamente, questa condizione descrive la situazione in cui esiste un iperpiano in grado di separare, nello spazio vettoriale degli input, quelli che richiedono un output positivo da quelli che richiedono un output negativo). In questo caso, Novikoff (1962) ha provato che l'algoritmo standard converge, nel senso che il numero di errori è limitato da $\frac{R^2}{{\gamma }^2}$, in un numero finito di passi. Non è invece garantito che l'algoritmo descritto converga se il training set non è linearmente separabile. Inoltre, altri algoritmi (per esempio l'algoritmo adatron), possono avere, in determinate situazioni, prestazioni migliori in termini di tempo di convergenza, di capacità di apprendimento, di generalizzazione, eccetera.

Bibliografia

• Rosenblatt, Frank (1958), The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain, Cornell Aeronautical Laboratory, Psychological Review, v65, No. 6, pp. 386–408. Template:Doi.
• Rosenblatt, Frank (1962), Principles of Neurodynamics. Washington, DC: Spartan Books.
• Minsky, M. L. and Papert, S. A. 1969. Perceptrons. Cambridge, MA: MIT Press.
• Template:RivistaVG
• Template:RivistaVG

Voci correlate

• Percettrone multistrato

Collegamenti esterni

• Template:Collegamenti esterni
• Template:Cita web
• Template:Cita web