AlexNet

AlexNet è un modello di rete neurale convoluzionale (CNN) profonda progettata dai dottorandi Alex Krizhevsky e Ilya Sutskever, sotto la supervisione di Geoffrey Hinton.

AlexNet rappresentò un significativo avanzamento nel riconoscimento automatico delle immagini. Nella ImageNet Large Scale Visual Recognition Challenge del 2012 AlexNet ottenne un errore top-5 del 15.3%, oltre 10.8 punti percentuali in meno del secondo classificato. La profondità del modello risultò essenziale per la qualità dei risultati, e il problema dell'elevato costo computazionale venne aggirato eseguendo l'addestramento del modello su due GPU in parallelo.

La descrizione e i risultati di AlexNet furono pubblicati nel 2012 in uno degli articoli di ricerca più influenti nella storia della visione artificiale, citato in oltre 130 000 pubblicazioni al 2023, aprendo la strada all'uso estensivo dell'apprendimento profondo nella visione artificiale.

Architettura

AlexNet ha otto livelli: i primi cinque livelli sono convoluzionali, alcuni facendo uso di max-pooling, mentre gli ultimi tre livelli sono completamente connessi. Ad eccezione dell'ultimo livello, il resto della rete era diviso in due copie, eseguite separatamente in due GPU. La rete usa la funzione di attivazione ReLU, che dimostrò migliori risultati rispetto a funzioni tradizionali come la funzione sigmoidea e la tangente iperbolica.

La struttura è la seguente:

$$(CNN\to RN\to MP{)}^2\to (CN{N}^3\to MP)\to (FC\to DO{)}^2\to Linear\to softmax$$

dove gli acronimi rappresentano:

• CNN = livello convoluzionale (con funzione di attivazione ReLU)
• RN = local response normalization
• MP = max-pooling
• FC = livello completamente connesso (con funzione di attivazione ReLU)
• Linear = livello completamente connesso, senza funzione di attivazione
• DO = dropout

Precursori

Un'implementazione di CNN accelerata tramite GPU, pubblicata da K. Chellapilla et al. nel 2006, mostrò tempi di esecuzione circa quattro volte più veloci rispetto ad esecuzione su CPU. Dan Cireșan et al. pubblicarono nel 2011 un articolo con i risultati della loro CNN, la cui velocità su GPU era 60 volte maggiore rispetto a quella su CPU, vinse quattro competizioni nel settore del riconoscimento delle immagini e avanzò lo stato dell'arte nel riconoscimento delle immagini. Gli autori di AlexNet citarono i risultati di Cireșan e menzionarono le similarità con AlexNet.

Di fatto, entrambi i modelli erano varianti dell'architettura introdotta da Yann LeCun et al. nel 1989, che applicarono la retropropagazione dell'errore all'addestramento di una variante di rete neurale convoluzionale precedentemente introdotta da Kunihiko Fukushima e nota come "neocognitron", successivamente estesa con l'uso di max-pooling, introdotto da J. Weng.