Visualizza wikitesto di Tf-idf

{{S|applicazioni dell'informatica}}
La funzione di peso '''tf-idf''' (''term frequency–inverse document frequency'') è una funzione utilizzata in [[information retrieval]] per misurare l'importanza di un termine rispetto ad un documento o ad una collezione di documenti. Tale funzione aumenta proporzionalmente al numero di volte che il termine è contenuto nel documento, ma cresce in maniera inversamente proporzionale con la frequenza del termine nella collezione. L'idea alla base di questo comportamento è di dare più importanza ai termini che compaiono nel documento, ma che in generale sono poco frequenti. 

Un'indagine condotta nel 2015 ha mostrato che l'83% dei [[Sistema di raccomandazione|sistemi di raccomandazione]] basati sul testo nelle biblioteche digitali utilizza tf-idf.<ref>{{Cita pubblicazione|nome=Joeran|cognome=Beel|nome2=Bela|cognome2=Gipp|nome3=Stefan|cognome3=Langer|data=2016-11|titolo=Research-paper recommender systems: a literature survey|rivista=International Journal on Digital Libraries|volume=17|numero=4|pp=305-338|lingua=en|accesso=2023-07-08|doi=10.1007/s00799-015-0156-0|url=http://link.springer.com/10.1007/s00799-015-0156-0}}</ref>

== Studio delle frequenze ==

=== Frequenza di termine ===
Ipotizziamo di avere un insieme di documenti di testo in italiano e di volerli classificare in base a quale sia il documento più rilevante per l'interrogazione "la mucca marrone". Un modo semplice per iniziare è escludere i documenti che non contengono tutte e tre le parole "la", "mucca" e " marrone", ma ciò lascerebbe ancora molti documenti. Per distinguerli ulteriormente, potremmo contare il numero di volte in cui ogni termine ricorre in ogni documento; il numero di volte in cui un termine ricorre in un documento è chiamato frequenza di termine. Tuttavia, nel caso in cui la lunghezza dei documenti sia molto variabile, spesso vengono apportate delle correzioni. La prima forma di ponderazione dei termini è dovuta a Hans Peter Luhn (1957) e può essere riassunta come segue<ref>{{Cita pubblicazione|nome=H. P.|cognome=Luhn|data=1957-10|titolo=A Statistical Approach to Mechanized Encoding and Searching of Literary Information|rivista=IBM Journal of Research and Development|volume=1|numero=4|pp=309-317|accesso=2023-07-08|doi=10.1147/rd.14.0309|url=http://ieeexplore.ieee.org/document/5392697/}}</ref>:<blockquote>Il peso di un termine che ricorre in un documento è semplicemente proporzionale alla frequenza del termine.</blockquote>

=== Frequenza inversa del documento ===
Poiché il termine "la" è estremamente comune, la frequenza del termine tenderà a enfatizzare erroneamente i documenti che utilizzano più frequentemente la parola "la", senza dare sufficiente peso ai termini più significativi "mucca" e "marrone". Per questo motivo, viene incorporato un fattore inverso di frequenza dei documenti che diminuisce il peso dei termini che ricorrono molto frequentemente nell'insieme dei documenti e aumenta il peso dei termini che ricorrono raramente. Nel 1972, [[Karen Spärck Jones]] ha concepito un'interpretazione statistica della specificità dei termini chiamata ''Inverse Document Frequency'' (idf), che è diventata una pietra miliare della ponderazione dei termini<ref>{{Cita pubblicazione|nome=Karen|cognome=Sparck Jones|data=1972-01|titolo=A STATISTICAL INTERPRETATION OF TERM SPECIFICITY AND ITS APPLICATION IN RETRIEVAL|rivista=Journal of Documentation|volume=28|numero=1|pp=11-21|lingua=en|accesso=2023-07-08|doi=10.1108/eb026526|url=https://www.emerald.com/insight/content/doi/10.1108/eb026526/full/html}}</ref>:<blockquote>La specificità di un termine può essere quantificata come una funzione inversa del numero di documenti in cui compare.</blockquote>

==Formula matematica==
La funzione può essere scomposta in due fattori:
Il primo fattore della funzione è il numero dei termini presenti nel documento. In genere questo numero viene diviso per la lunghezza del documento stesso per evitare che siano privilegiati i documenti più lunghi.

:<math> \mathrm{tf_{i,j}} = \frac{n_{i,j}}{|d_j|},</math>

dove <math> n_{i,j}</math> è il numero di occorrenze del termine <math display="inline"> i </math> nel documento <math display="inline">j</math>, mentre il denominatore <math display="inline"> |d_j| </math> è semplicemente la dimensione, espressa in numero di termini, del documento <math>j</math>.

L'altro fattore della funzione indica l'importanza generale del termine <math>i</math> nella collezione:

:<math> \mathrm{idf_{i}} =  \log_{10} \frac{|D|}{|\{d: i \in d\}|},</math>

dove <math>|D|</math> è il numero di documenti nella collezione, mentre il denominatore è il numero di documenti che contengono il termine <math>i</math>.

Abbiamo quindi che:

:<math> \mathrm{(tf\mbox{-}idf)_{i,j}} = \mathrm{tf_{i,j}} \times  \mathrm{idf_{i}}.</math>

==Esempio==
Consideriamo un documento contenente 100 parole e nel quale il termine ''pluto'' compare 5 volte. Il fattore ''TF'' per il termine ''pluto'' è <math> \frac{5}{100} = 0,05 </math>. Assumiamo di avere ora 1 000 documenti nella collezione e ''pluto'' compare in 10 di questi. Quindi <math>IDF = \log_{10} \frac{1 000}{10} = 2</math>. Da questo possiamo calcolare il valore Tf-idf relativo alla parola ''pluto'' nel documento iniziale:  <math>\mbox{TF-IDF} = 0,05 \times 2 = 0,1 </math>.

== Note ==
<references />

==Voci correlate==
* [[Coseno di similitudine]]
* [[Information Retrieval]]

==Collegamenti esterni==
* {{cita web|http://nlp.stanford.edu/IR-book/pdf/irbookonlinereading.pdf|An introduction to information Retrieval}}

{{portale|informatica}}

[[Categoria:Recupero dell'informazione]]