Percettrone

Il percettrone (in inglese perceptron) è un algoritmo di apprendimento supervisionato per classificatori binari introdotto nel 1958 da Frank Rosenblatt^[1] fra i primi modelli di reti neurali artificiali. Si tratta di un classificatore lineare che combina i vettori delle variabili di input con i propri coefficienti. Tali pesi vengono appresi attraverso aggiornamenti successivi, causati dalla misclassificazione di esempi di addestramento da parte della funzione lineare corrente.

Nell'apprendimento automatico, il percettrone è un tipo di classificatore lineare binario che mappa i suoi ingressi x {\displaystyle x} (un vettore di tipo reale) in un valore di output f ( x ) {\displaystyle f(x)} (uno scalare di tipo reale) calcolato con

f ( x ) = χ ( ⟨ w , x ⟩ + b ) {\displaystyle f(x)=\chi (\langle w,x\rangle +b)}

dove w {\displaystyle w} è un vettore di pesi con valori reali, l'operatore ⟨ ⋅ , ⋅ ⟩ {\displaystyle \langle \cdot ,\cdot \rangle } è il prodotto scalare (che calcola una somma pesata degli input), b {\displaystyle b} è il bias, un termine costante che non dipende da alcun valore in input e χ ( y ) {\displaystyle \chi (y)} è la funzione di output. Le scelte più comuni per la funzione χ ( y ) {\displaystyle \chi (y)} sono:

1. χ ( y ) = sign ⁡ ( y ) {\displaystyle \chi (y)=\operatorname {sign} (y)}
2. χ ( y ) = y Θ ( y ) {\displaystyle \chi (y)=y\,\Theta (y)}
3. χ ( y ) = y {\displaystyle \chi (y)=y}

dove Θ ( y ) {\displaystyle \Theta (y)} è la funzione di Heaviside

Il primo caso corrisponde a un classificatore binario (l'output può assumere solamente i valori + 1 {\displaystyle +1} e − 1 {\displaystyle -1} ); un caso particolarmente studiato è quello in cui sia gli input x {\displaystyle x} che l'output f ( x ) {\displaystyle f(x)} sono binari.

Il bias b {\displaystyle b} può essere pensato come un settaggio della funzione di attivazione (per esempio quando χ ( y ) {\displaystyle \chi (y)} è come nel caso 3), o come un livello base di attivazione per l'output del neurone (per esempio quando χ ( y ) {\displaystyle \chi (y)} è come nei casi 1 e 2). In quest'ultima situazione, il valore − b {\displaystyle -b} rappresenta un valore di soglia che la somma pesata degli input deve superare affinché il dispositivo sia attivo (cioè che l'output sia positivo).

Il percettrone può essere considerato come il più semplice modello di rete neurale feed-forward,^[2][3] in quanto gli input alimentano direttamente l'unità di output attraverso connessioni pesate. Nel caso in cui gli input e gli output sono dello stesso tipo, è possibile creare reti più complesse unendo più percettroni insieme, per esempio usando un gruppo (o strato) di percettroni come input per un secondo gruppo di percettroni, oppure facendo in modo che l'input di ogni percettrone della rete sia dato dall'output di ogni altro percettrone (rete fully-connected).

Sulla scorta dei primi modelli neurali artificiali ideati già dal 1943 da Warren McCulloch e Walter Pitts.^[4], il percettrone fu proposto da Frank Rosenblatt nel 1958 come un'entità con uno strato di ingresso ed uno di uscita ed una regola di apprendimento basata sulla minimizzazione dell'errore, la cosiddetta funzione di error back-propagation (retropropagazione dell'errore) che in base alla valutazione sull'uscita effettiva della rete rispetto ad un dato ingresso altera i pesi delle connessioni (sinapsi) come differenza tra l'uscita effettiva e quella desiderata.

L'entusiasmo fu enorme e nacque il settore della cibernetica, ma dopo che Marvin Minsky e Seymour Papert dimostrarono i limiti del percettrone e cioè la sua capacità di riconoscere dopo un opportuno addestramento solamente funzioni linearmente separabili (ad esempio la funzione logica XOR non può essere implementata da un percettrone) l'interesse scemò rapidamente.

Di fatto una rete a più livelli di percettroni poteva risolvere problemi più complessi, ma la crescente complessità computazionale dell'addestramento rendeva impraticabile questa strada. Solo nel decennio successivo si riprese a considerare l'utilità di questa entità operazionale.

Modificando il vettore dei pesi w {\displaystyle w} , è possibile modulare l'output di un percettrone, con lo scopo d'ottenere delle proprietà di apprendimento o di memorizzazione. Per esempio, si può cercare di istruire un percettrone in modo che, dato un input x {\displaystyle x} , l'output f ( x ) {\displaystyle f(x)} sia quanto più vicino possibile a un dato valore g ( x ) {\displaystyle g(x)} scelto a priori; le capacità computazionali di un singolo percettrone sono tuttavia limitate, e le prestazioni che è possibile ottenere dipendono fortemente sia dalla scelta degli input (che potrebbero per esempio essere limitati ad un sottoinsieme di tutti gli input possibili, oppure venire estratti a caso secondo una certa distribuzione di probabilità prefissata) che dalla scelta della funzione che si desidera implementare, g ( x ) {\displaystyle g(x)} . In misura minore, dipendono anche da come viene quantificata la distanza tra gli output effettivi e quelli attesi.

Una volta che si sia definito il problema dell'apprendimento, si può cercare di trovare l'assegnazione ottimale di pesi w ¯ {\displaystyle {\overline {w}}} per il problema dato.

L'algoritmo di apprendimento standard è un algoritmo iterativo, definito come segue: ad ogni iterazione t {\displaystyle t} , un vettore di input x t {\displaystyle x^{t}} viene presentato al percettrone, che calcola l'output f ( x t ) {\displaystyle f(x^{t})} e lo confronta con il risultato desiderato g ( x t ) {\displaystyle g(x^{t})} ; quindi, il vettore dei pesi w t {\displaystyle w^{t}} viene aggiornato come segue:

w t + 1 = w t + α ( g ( x t ) − f ( x t ) ) x t {\displaystyle w^{t+1}=w^{t}+\alpha \,(g(x^{t})-f(x^{t}))x^{t}}

dove α {\displaystyle \alpha } è una costante di apprendimento strettamente positiva che regola la velocità dell'apprendimento^[5]. Al passo successivo, il nuovo input x t + 1 {\displaystyle x^{t+1}} verrà pesato secondo il nuovo vettore w t + 1 {\displaystyle w^{t+1}} , che verrà poi nuovamente modificato in w t + 2 {\displaystyle w^{t+2}} e così via.

L'insieme D x {\displaystyle D_{x}} da cui sono estratti i campioni x {\displaystyle x} presentati al percettrone durante il periodo dell'apprendimento è detto training set.

Nel caso in cui esistano:

• un certo vettore w ^   t . c . ‖ w ^ ‖ = 1 {\displaystyle {\hat {w}}\ t.c.\lVert {\hat {w}}\rVert =1}
• una certa costante γ > 0   t . c . g ( x t ) ⟨ x t , w ^ ⟩ ≥ γ   ∀ t {\displaystyle \gamma >0\ t.c.g(x^{t})\langle x^{t},{\hat {w}}\rangle \geq \gamma \ \forall t}
• una certa costante R   t . c . ‖ x t ‖ ≤ R   ∀ t {\displaystyle R\ t.c.\lVert x^{t}\rVert \leq R\ \forall t}

il training set è detto linearmente separabile (geometricamente, questa condizione descrive la situazione in cui esiste un iperpiano in grado di separare, nello spazio vettoriale degli input, quelli che richiedono un output positivo da quelli che richiedono un output negativo). In questo caso, Novikoff (1962) ha provato che l'algoritmo standard converge, nel senso che il numero di errori è limitato da R 2 γ 2 {\displaystyle {\tfrac {R^{2}}{\gamma ^{2}}}} , in un numero finito di passi.^[6] Non è invece garantito che l'algoritmo descritto converga se il training set non è linearmente separabile. Inoltre, altri algoritmi (per esempio l'algoritmo adatron), possono avere, in determinate situazioni, prestazioni migliori in termini di tempo di convergenza, di capacità di apprendimento, di generalizzazione, eccetera.

Il problema della separabilità lineare può essere risolto ricorrendo alla variante basata su kernel.

• Rosenblatt, Frank (1958), The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain, Cornell Aeronautical Laboratory, Psychological Review, v65, No. 6, pp. 386–408. DOI: 10.1037/h0042519.
• Rosenblatt, Frank (1962), Principles of Neurodynamics. Washington, DC: Spartan Books.
• Minsky, M. L. and Papert, S. A. 1969. Perceptrons. Cambridge, MA: MIT Press.
• Reti neurali e Pattern Recognition - finalmente un cervello elettronico? (JPG), in MCmicrocomputer, n. 102, Roma, Technimedia, dicembre 1990, pp. 210-213, ISSN 1123-2714 (WC · ACNP).
• Reti neurali. Primi passi: il Perceptron (JPG), in MCmicrocomputer, n. 103, Roma, Technimedia, gennaio 1991, pp. 178-181, ISSN 1123-2714 (WC · ACNP).

• Percettrone basato su kernel
• Percettrone multistrato

• Perceptron, su Treccani.it – Enciclopedie on line, Istituto dell'Enciclopedia Italiana.
• Perceptron, in Dizionario delle scienze fisiche, Istituto dell'Enciclopedia Italiana, 1996.
• Mauro Cappelli, Percettrone, in Enciclopedia della scienza e della tecnica, Istituto dell'Enciclopedia Italiana, 2008.
• Gérard Dreyfus, Léon Personnaz e Gérard Toulouse, Perceptron, in Enciclopedia della scienza e della tecnica, Istituto dell'Enciclopedia Italiana, 2007.
• Perceptron, in Dizionario di medicina, Istituto dell'Enciclopedia Italiana, 2010.
• perceptróne, su sapere.it, De Agostini.
• (EN) B.J. Copeland, perceptrons, su Enciclopedia Britannica, Encyclopædia Britannica, Inc.
• Apprendimento del percettrone, su dii.unisi.it.
• Reti a percettrone, su automatica.ing.unibs.it. URL consultato il 14 dicembre 2006 (archiviato dall'url originale il 9 maggio 2006).

V · D · M Apprendimento automatico
Problemi	Teoria dell'apprendimento statistico · Classificazione · Regressione · Classificazione a singola classe · Ranking · Regole di associazione · Apprendimento non supervisionato · Apprendimento semi-supervisionato · Apprendimento supervisionato · Apprendimento auto-supervisionato · Apprendimento per rinforzo · Apprendimento profondo · Apprendimento online · Apprendimento incrementale · Apprendimento trasduttivo
Apprendimento non supervisionato	Clustering · Clustering gerarchico · K-means · Algoritmo EM · DBSCAN · Mean shift · Rete generativa avversaria (cGAN · VAE-GAN · cycleGAN)
Apprendimento supervisionato	Albero di decisione · Foresta casuale · Conditional random field CRF · Modello di Markov nascosto · Algoritmo k-nearest neighbors (k-NN) · Ragionamento basato su casi (CBR) · Classificatore bayesiano · Rete neurale artificiale · Regressione lineare · Regressione logistica · Modello grafico · Rete bayesiana · Macchine a vettori di supporto (SVM) · Processo gaussiano · Modello ensemble · Boosting · Bagging · Stacking · Voting · Cascading · Error correcting output code (ECOC)
Apprendimento per rinforzo	Q-learning · SARSA · TD
Riduzione della dimensionalità	Analisi fattoriale · Analisi della correlazione canonica (CCA) · Analisi delle componenti indipendenti (ICA) · Analisi discriminante lineare (LDA) · Analisi delle componenti principali (PCA) · Selezione delle caratteristiche · Estrazione di caratteristiche · t-distributed stochastic neighbor embedding (t-SNE)
Reti neurali artificiali	Percettrone · Percettrone basato su kernel · Rete neurale a funzioni base radiali (RBF net) · Rete neurale feed-forward · Rete di Hopfield · Percettrone multistrato · Rete neurale ricorrente (LSTM) · Macchina di Boltzmann ristretta · Mappa auto-organizzata · Rete neurale convoluzionale · Rete neurale a ritardo · Rete neurale spiking · Rete neurale grafica · Trasformatore
Software	Keras · Microsoft Cognitive Toolkit · Scikit-learn · TensorFlow · Theano · PyTorch · Weka
Altro	Algoritmo genetico · Particle Swarm Optimization · Caratteristica · Compromesso bias-varianza · Minimizzazione del rischio empirico

Controllo di autorità	LCCN (EN) sh85099714 · GND (DE) 4173941-3 · J9U (EN, HE) 987007536098005171 · NDL (EN, JA) 00569067