Direzione di discesa

Template:F In ottimizzazione, una direzione di discesa è un vettore $𝐩\in {ℝ}^n$ che, spostandosi nella direzione da esso indicata, permette di avvicinarsi a un minimo locale ${𝐱}^{*}$ della funzione obiettivo $f:{ℝ}^n\to ℝ$.

Definizione

Sia $f:{ℝ}^n\to ℝ$. Si dice che un vettore $𝐩\in {ℝ}^n$, $𝐩=0$ è una direzione di discesa per la funzione $f$ in $𝐱$ se esiste $\tilde{t}>0$ tale che $f(𝐱+t𝐩)<f(𝐱)$, $\mathrm{\forall }t\in (0,\tilde{t}]$. In modo analogo si definisce la direzione di salita di $f$.

Si supponga di dover calcolare ${𝐱}^{*}$ con un metodo iterativo. Si definisce una direzione di discesa ${𝐩}_k\in {ℝ}^n$ alla $k$-esima iterazione ogni direzione ${𝐩}_k$ per cui $⟨{𝐩}_k,\mathrm{\nabla }f({𝐱}_k)⟩<0$, dove $⟨,⟩$ rappresenta prodotto scalare. La motivazione per questo approccio è che piccoli spostamenti lungo ${𝐩}_k$ garantiscono che $f$ venga ridotto, in base al Teorema di Taylor.

In base a questa definizione, l'antigradiente (se non nullo) è sempre una direzione di discesa, visto che $⟨-\mathrm{\nabla }f({𝐱}_k),\mathrm{\nabla }f({𝐱}_k)⟩=-⟨\mathrm{\nabla }f({𝐱}_k),\mathrm{\nabla }f({𝐱}_k)⟩<0$.

Esistono diversi metodi per calcolare una direzione di discesa, ognuno con meriti specifici, tra cui la discesa del gradiente o il metodo del gradiente coniugato.