Perplessità

In teoria dell'informazione, la perplessità è una misura dell'incertezza riguardo il valore di un campione tratto da una distribuzione di probabilità discreta.

È una misura di predicibilità legata all'entropia: maggiore la perplessità, meno probabile che un osservatore riesca a predire un valore estratto dalla distribuzione.

Il termine è stata proposto originariamente nel 1977 in un lavoro di F. Jelinek et al. sul riconoscimento vocale.

Essa è molto usata nell'apprendimento automatico e nella modellizzazione statistica.

Definizioni

La perplessità $PP$ di una distribuzione discreta $p$ è definita come segue:

$\mathrm{P}\mathrm{P}(p)\triangleq 2^{ℍ(p)}=2^{-\sum _{x}p(x){\log }_{2}p(x)}=\prod _{x}p(x{)}^{-p(x)}$

dove $ℍ(p)$ è l'entropia (in bit) della distribuzione e $x$ varia su tutti gli eventi, i valori che una variabile aleatoria $X$ con distribuzione $p$ può assumere.

Si noti che la base del logaritmo non è necessariamente $2$, essendone la perplessità indipendente a patto che entropia ed esponenziale usino una stessa base.

Dato un insieme di dati $𝒟$, con la relativa distribuzione empirica $p_{𝒟}$, si possono misurare le qualità predittive di $p$ su $𝒟$ mediante la seguente definizione della perplessità:

$\mathrm{P}\mathrm{P}(p_{𝒟},p)\triangleq 2^{{ℍ}_{ce}(p)}$

dove ${ℍ}_{ce}$ denota l'entropia incrociata delle due distribuzioni.

Riferimenti

• Jelinek, F.; Mercer, R. L.; Bahl, L. R.; Baker, J. K. (1977). "Perplexity—a measure of the difficulty of speech recognition tasks". The Journal of the Acoustical Society of America. 62 (S1): S63. bibcode:1977ASAJ...62Q..63J. doi:10.1121/1.2016299. ISSN 0001-4966.