Visualizza wikitesto di Temporal difference learning

{{S|informatica|statistica}}
Il '''temporal difference''' ('''TD''') '''learning''', ovvero l''''apprendimento mediante differenza temporale''', indica una classe di metodi di [[apprendimento per rinforzo|reinforcement learning]] che basano il proprio apprendimento sul [[bootstrap (statistica)|bootstrap]] dalla stima corrente della [[funzione obiettivo]]: questi metodi campionano dall'ambiente, così come il [[Metodo Monte Carlo]], ma eseguono gli aggiornamenti della funzione di valore di stato basandosi sulle stime correnti, come avviene, invece, nella [[programmazione dinamica]].

A differenza dei metodi Monte Carlo che modificano le loro stime solo quando il risultato finale è noto, questi metodi di distanza temporale adattano le proprie previsioni in modo dinamico, così da avere previsioni sul futuro più accurate, prima ancora che il risultato finale sia a disposizione<ref name="RSutton-1988">{{Cita pubblicazione|autore=Richard Sutton|anno=1988|titolo=Learning to predict by the methods of temporal differences|url=https://archive.org/details/sim_machine-learning_1988-08_3_1/page/9|rivista=Machine Learning|volume=3|numero=1|pp=9-44|doi=10.1007/BF00115009}} (A revised version is available on [http://incompleteideas.net/sutton/publications.html Richard Sutton's publication page] {{Webarchive|url=https://web.archive.org/web/20170330002227/http://incompleteideas.net/sutton/publications.html|data=2017-03-30}})</ref>. Questa è, appunto, una forma di bootstrap, come si evince dal seguente esempio<ref name="RSutton-1988" />:

: <blockquote> "Supponi di voler prevedere il tempo per sabato e di avere un modello che prevede il tempo di sabato, avendo a disposizione il clima di ogni giorno della settimana. Di norma, aspetteresti fino a sabato e solo allora aggiusterai tutti i tuoi modelli. Tuttavia, quando è, ad esempio, venerdì, dovresti già avere una buona idea di come potrebbe essere il tempo sabato - e quindi essere in grado di cambiare, diciamo, il modello di sabato prima dell'arrivo di sabato". </blockquote>

I metodi di differenza temporale sono in stretta correlazione al modello di differenza temporale dell'apprendimento animale<ref name="WSchultz-1997">{{Cita pubblicazione|autore=Schultz, W, Dayan, P & Montague, PR.|anno=1997|titolo=A neural substrate of prediction and reward|rivista=Science|volume=275|numero=5306|pp=1593-1599|doi=10.1126/science.275.5306.1593|PMID=9054347}}</ref><ref name=":0">{{Cita pubblicazione|autore=Montague|nome=P. R.|data=1996-03-01|titolo=A framework for mesencephalic dopamine systems based on predictive Hebbian learning|rivista=The Journal of Neuroscience|volume=16|numero=5|pp=1936-1947|doi=10.1523/JNEUROSCI.16-05-01936.1996|url=http://papers.cnl.salk.edu/PDFs/A%20Framework%20for%20Mesencephalic%20Dopamine%20Systems%20Based%20on%20Predictive%20Hebbian%20Learning%201996-2938.pdf|PMID=8774460|autore2=Dayan|autore3=Sejnowski|nome2=P.|nome3=T. J.}}</ref><ref name=":1">{{Cita pubblicazione|autore=Montague|nome=P.R.|data=1993|titolo=Using aperiodic reinforcement for directed self-organization|rivista=Advances in Neural Information Processing Systems|volume=5|pp=969-976|url=http://www.gatsby.ucl.ac.uk/~dayan/papers/mdnps93.pdf|autore2=Dayan|autore3=Nowlan|nome2=P.|nome3=S.J.}}</ref><ref name=":2">{{Cita pubblicazione|autore=Montague|nome=P. R.|data=1994|titolo=The predictive brain: temporal coincidence and temporal order in synaptic learning mechanisms|rivista=Learning & Memory|volume=1|numero=1|pp=1-33|PMID=10467583|autore2=Sejnowski|nome2=T. J.}}</ref><ref name=":3">{{Cita pubblicazione|autore=Sejnowski|nome=T.J.|data=1995|titolo=Predictive hebbian learning|rivista=Proceedings of Eighth ACM Conference on Computational Learning Theory|volume=|pp=15-18|doi=10.1145/230000/225300/p15-sejnowski|url=http://delivery.acm.org/10.1145/230000/225300/p15-sejnowski.pdf?ip=45.3.85.181&id=225300&acc=ACTIVE%20SERVICE&key=B33240AC40EC9E30%2E80AE0C8B3B97B250%2E4D4702B0C3E38B35%2E4D4702B0C3E38B35&__acm__=1526580622_547fa2985566491c27b961d258081cf2|autore2=Dayan|autore3=Montague|nome2=P.|nome3=P.R.}}</ref>.

== Formulazione matematica ==
Il metodo tabulare TD(0), uno dei metodi TD più semplici, stima la funzione di valore di stato di un [[processo decisionale di Markov]] (MDP) a stati finiti in base a una policy (o politica) <math>\pi</math>. Sia <math>V^\pi</math>la funzione del valore di stato di un MDP che ha stati <math>(s_t)_{t\in\mathbb{N}}</math>, ricompense <math>(r_t)_{t\in\mathbb{N}}</math>e un fattore di sconto <math>\gamma</math>per la policy <math> \pi </math>:

:<math>V^\pi(s) = E_{\pi}\left\{\sum_{t=0}^\infty \gamma^tr_t\Bigg|  s_0=s\right\}
</math>

<math>V^\pi</math>soddisfa l'equazione di Hamilton-Jacobi-Bellman:<math display="inline">V^\pi(s)=E_{\pi}\{r_0 + \gamma V^\pi(s_1)|s_0=s\}</math>quindi <math>r_0 + \gamma V^\pi(s_1)</math> è uno stimatore non condizionato (a bias nullo) per <math>V^\pi(s)</math>. Questa osservazione giustifica il seguente [[algoritmo]] per stimare <math>V^\pi</math>. L'algoritmo inizializza una tabella <math>V(s)</math> con valori arbitrati, scegliendo un valore per ciascuno degli stati del [[processo markoviano]]: viene inoltre fissato un tasso di apprendimento <math>\alpha</math>positivo. A questo punto viene valutata la policy <math>\pi</math>, e una volta ottenuta la ricompensa <math>r</math>, viene aggiornata la funzione del valore di stato per il vecchio stato usando la seguente regola<ref>{{Cita libro|titolo=Reinforcement learning: An introduction|url=http://people.inf.elte.hu/lorincz/Files/RL_2006/SuttonBook.pdf|p=130|accesso=10 settembre 2019|urlarchivio=https://web.archive.org/web/20170712170739/http://people.inf.elte.hu/lorincz/Files/RL_2006/SuttonBook.pdf|dataarchivio=12 luglio 2017|urlmorto=sì}}</ref>:

: <math> V(s) \leftarrow V(s) + \alpha(\overbrace{r + \gamma V(s')}^{\text{The TD target}} - V(s) )</math>

dove <math>s</math>e <math>s'</math>indicano, rispettivamente, il vecchio e il nuovo stato.

== TD-Lambda ==
'''TD-Lambda''' è un algoritmo di apprendimento creato da Richard S. Sutton basato su un precedente lavoro sull'apprendimento delle differenze temporali di [[Arthur Samuel]]<ref name="RSutton-1998">{{Cita libro|autore=Richard Sutton|autore2=Andrew Barto|titolo=Reinforcement Learning|url=http://incompleteideas.net/sutton/book/the-book.html|anno=1998|editore=MIT Press|ISBN=978-0-585-02445-5|accesso=10 settembre 2019|urlarchivio=https://web.archive.org/web/20170330005640/http://incompleteideas.net/sutton/book/the-book.html|dataarchivio=30 marzo 2017|urlmorto=sì}}</ref>. Questo algoritmo è stato notoriamente applicato da Gerald Tesauro per creare TD-Gammon, un programma che ha imparato a giocare a [[backgammon]] al livello di giocatori esperti umani<ref name="CACM">{{Cita pubblicazione|autore=Tesauro|nome=Gerald|data=March 1995|titolo=Temporal Difference Learning and TD-Gammon|rivista=Communications of the ACM|volume=38|numero=3|pp=58-68|accesso=2010-02-08|doi=10.1145/203330.203343|id=|url=http://www.research.ibm.com/massive/tdl.html}}</ref>.

Il parametro <math>\lambda</math> può assumere valori compresi tra 0 e 1. Aumentando il valore di lambda, viene dato maggior peso alle ricompense che si ottengono in stati distanti da quello corrente.

== Note ==
<references />

== Voci correlate ==
* [[Q-learning]] 
* [[SARSA]]

== Collegamenti esterni ==
* [http://scholarpedia.org/article/Temporal_Difference_Learning Scholarpedia Differenza temporale Apprendimento] 
* [https://web.archive.org/web/20160305190732/http://webdocs.cs.ualberta.ca/~sutton/book/11/node2.html TD-Gammon] 
* [https://web.archive.org/web/20120206050550/http://rlai.cs.ualberta.ca/TDNets/index.html Gruppo di ricerca TD-Networks] 
* [https://web.archive.org/web/20120724150820/http://pitoko.net/tdgravity/ Connect Four TDGravity Applet] (+ versione per cellulare) - autoappreso con il metodo TD-Leaf (combinazione di TD-Lambda con ricerca di alberi poco profondi) 
* [http://chet-weger.herokuapp.com/learn_meta_ttt/ Autoapprendimento Meta-Tic-Tac-Toe] {{Webarchive|url=https://web.archive.org/web/20140319223951/http://chet-weger.herokuapp.com/learn_meta_ttt/ |date=19 marzo 2014 }} Esempio di applicazione web che mostra come l'apprendimento delle differenze temporali può essere utilizzato per apprendere costanti di valutazione dello stato per un AI minimax giocando a un semplice gioco da tavolo. 
* [https://web.archive.org/web/20131116084228/http://www.cs.colorado.edu/~grudic/teaching/CSCI4202/RL.pdf Reinforcement Learning Problem], documento che spiega come l'apprendimento delle differenze temporali può essere utilizzato per accelerare il [[Q-learning]] 
* [https://www.cal-r.org/index.php?id=TD-sim TD-Simulator] Simulatore di differenze temporali per il condizionamento classico

{{apprendimento automatico}}
{{portale|informatica|matematica|statistica}}

[[Categoria:Neuroscienze computazionali]]