Ottimizzazione minima sequenziale

L'Ottimizzazione minima sequenziale (in inglese: Sequential minimal optimization, in sigla SMO) è un algoritmo per risolvere efficientemente il problema di ottimizzazione che emerge durante l'addestramento di una Macchine a vettori di supporto. Fu inventato da John Platt nel 1998 al laboratorio Microsoft Research di Redmond. L'Ottimizzazione minima sequenziale è implementata nella famosa libreria software libsvm.

Consideriamo il problema della classificazione binaria con un insieme di dati (dataset) ( x 1 , y 1 ) , . . . , ( x n , y n ) {\displaystyle (x_{1},y_{1}),...,(x_{n},y_{n})} , dove x i {\displaystyle x_{i}} è un vettore d'ingresso e y i ∈ { − 1 , + 1 } {\displaystyle y_{i}\in \{-1,+1\}} è la corrispondente etichetta binaria. Una macchina a vettori di supporto si addestra risolvendo un problema di programmazione quadratica vincolato. Tale problema si può esprimere in forma duale come segue:

max α ∑ i = 1 n α i − 1 2 ∑ i = 1 n ∑ j = 1 n y i y j K ( x i , x j ) α i α j , {\displaystyle \max _{\alpha }\sum _{i=1}^{n}\alpha _{i}-{\frac {1}{2}}\sum _{i=1}^{n}\sum _{j=1}^{n}y_{i}y_{j}K(x_{i},x_{j})\alpha _{i}\alpha _{j},}

vincolato a:

0 ≤ α i ≤ C ,  for  i = 1 , 2 , … , n , {\displaystyle 0\leq \alpha _{i}\leq C,\quad {\mbox{ for }}i=1,2,\ldots ,n,}

∑ i = 1 n y i α i = 0 {\displaystyle \sum _{i=1}^{n}y_{i}\alpha _{i}=0}

dove C è un iperparametro e K(x_i, x_j) è la funzione kernel, l'uno e l'altra stabilite dall'utente; le variabili α i {\displaystyle \alpha _{i}} sono moltiplicatori di Lagrange.

SMO è un algoritmo iterativo che risolve il problema appena descritto. La strategia di SMO consiste nel decomporre il problema in un insieme di sottoproblemi minimali, che possono poi essere risolti analiticamente. Per via della presenza dei vincoli lineari di uguaglianza che includono i moltiplicatori di Lagrange, α i {\displaystyle \alpha _{i}} , il problema minimo possibile contiene due moltiplicatori. Quindi per una data coppia di moltiplicatori α 1 {\displaystyle \alpha _{1}} e α 2 {\displaystyle \alpha _{2}} , i vincoli si riducono a:

0 ≤ α 1 , α 2 ≤ C , {\displaystyle 0\leq \alpha _{1},\alpha _{2}\leq C,}

y 1 α 1 + y 2 α 2 = k . {\displaystyle y_{1}\alpha _{1}+y_{2}\alpha _{2}=k.}

Questo problema ridotto si può risolvere analiticamente: occorre trovare il minimo di una funzione quadratica monodimensionale, cioè una parabola. k {\displaystyle k} è l'opposto della somma su tutti i termini rimanenti nel vincolo di uguaglianza, che in ogni iterazione è fissato.

L'algoritmo procede così:

1. Trovare un moltiplicatore di Lagrange α 1 {\displaystyle \alpha _{1}} che viola le condizioni di Karush–Kuhn–Tucker (KKT) per questo problema.
2. Trovare un secondo moltiplicatore α 2 {\displaystyle \alpha _{2}} e ottimizzare la coppia ( α 1 , α 2 ) {\displaystyle (\alpha _{1},\alpha _{2})} .
3. Ripetere i passi 1 e 2 fino a convergenza.

Quando tutti i moltiplicatori di Lagrange soddisfano le condizioni KKT (entro una tolleranza prestabilita), il problema è risolto.

Per questo algoritmo è garantita la convergenza; tuttavia, per accelerarla, vengono utilizzate euristiche per scegliere coppie favorevoli di moltiplicatori. Questo accorgimento è criticamente importante per insiemi di dati di grandi dimensioni n {\displaystyle n} , in quanto esistono n ( n − 1 ) {\displaystyle n(n-1)} scelte possibili di α i {\displaystyle \alpha _{i}} e α j {\displaystyle \alpha _{j}} .

• (EN) LIBSVM, su csie.ntu.edu.tw.