Mean reciprocal rank
Il Mean Reciprocal Rank (MRR), rank reciproco medio, è un indice statistico per valutare un processo che produce una lista di possibili risposte ad una interrogazione (query), ordinate per probabilità di correttezza.
Definizione
Il reciproco del rank di una risposta ad una query è l'inverso della posizione (rank) della prima risposta corretta nella lista ordinata delle risposte. Il MRR è la media dei rank reciproci dei risultati per un insieme di query Q[1]:
La formula
Esempio
Per esempio supponiamo di avere le tre seguenti query per un sistema che cerca di tradurre parole inglesi nel loro plurale. In ogni caso il sistema riporta tre possibili risultati ordinati secondo la probabilità di essere corretti:
| Query | Risultati | Risposta corretta | Rank | Reciprocal rank |
|---|---|---|---|---|
| cat | catten, cati, cats | cats | 3 | 1/3 |
| torus | torii, tori, toruses | tori | 2 | 1/2 |
| virus | viruses, virii, viri | viruses | 1 | 1 |
Ora è possibile procedere al calcolo dell'MRR: (1/3 + 1/2 + 1)/3 = 11/18, cioè
MRR = 0.61
Questa definizione di base non specifica cosa fare se:
- nessuno fra i risultati è corretto, in questo caso si usa reciprocal rank 0;
- ci sono più risposte corrette nella lista, si consideri di usare la mean average precision (MAP).