C’est le logarithme de la probabilité qu’étant donné un document pertinent, il s’agisse du document $D_i$, sur la probabilité qu’étant donné un document non pertinent, il s’agisse de $D_i$.

Le Probability Ranking Principle affirme qu’il faut présenter les documents aux utilisateurs en ordre décroissant de probabilité de pertinence ($P(rel|D_i)$). Cependant, si les documents sont en ordre décroissant selon $\frac{P(D_i|rel)}{P(D_i|nrel)}$ ou $\log \frac{P(D_i|rel)}{P(D_i|nrel)}$, alors il sont aussi en ordre décroissant selon $P(rel|D_i)$.

Il faut calculer $df(t)$ pour chacun des termes. Nous avons $df(\textrm{La})/\vert V \vert=1.0$, $df(\textrm{vie})/\vert V \vert=1.0$, $df(\textrm{est})/\vert V \vert=1.0$, et $df(\textrm{belle})/\vert V \vert=1.0$.

On se rappelera que
$\begin{eqnarray*} \log \frac{P(D_i|rel)}{P(D_i|nrel)} & =& \sum_{t_j\in D_j} \log P(t_j|rel)+ \sum_{t_j\notin D_j} \log (1-P(t_j|rel)) \\ & & - \sum_{t_j\in D_j} \log P(t_j|nrel) - \sum_{t_j\notin D_j} \log (1-P(t_j|nrel)). \end{eqnarray*}$

Nous avons, pour les deux documents,
$\log \frac{P(D_i|rel)}{P(D_i|nrel)}= 4 \log 0.025 \approx -21$ (le logarithme est en base 2 ! Rappelez-vous que $\log_2 x= \log_a x/\log_a 2$).

Les deux documents sont strictement équivalents.

La solution est identique.

Nous avons $df(\textrm{La})/\vert V \vert=1.0$, $df(\textrm{vie})/\vert V \vert=1.0$, $df(\textrm{belle})/\vert V \vert=0.5$, et $df(\textrm{est})/\vert V \vert=0.5$.
Pour le premier document, nous avons :
$\log \frac{P(D_1|rel)}{P(D_1|nrel)} = \sum_{t_j\in D_1} \log P(t_j|rel)+ \sum_{t_j\notin D_1} \log (1-P(t_j|rel)) - \sum_{t_j\in D_1} \log P(t_j|nrel) - \sum_{t_j\notin D_1} \log (1-P(t_j|nrel)) =\log P(La|rel) + \log P(vie|rel) + \log (1- P(Belle|rel))+ \log (1- P(est|rel)) - \log P(La|nrel) - \log P(vie|nrel) - \log (1- P(Belle|nrel))- \log (1- P(est|nrel)) =\log 0.025 + \log 0.025 + \log (1- 0.025)+ \log (1- 0.025) - \log 1 - \log 1 - \log (1- 0.5)- \log (1- 0.5) =2 \log 0.025 + 2 \log (1- 0.025) - 2 \log 0.5 \approx -8.57$.
Pour le second document, nous avons :
$\log \frac{P(D_2|rel)}{P(D_2|nrel)} = \sum_{t_j\in D_2} \log P(t_j|rel)+ \sum_{t_j\notin D_2} \log (1-P(t_j|rel)) - \sum_{t_j\in D_2} \log P(t_j|nrel) - \sum_{t_j\notin D_2} \log (1-P(t_j|nrel)) = \log P(Belle |rel) + \log P(est |rel) + \log P(la|rel) + \log P(vie|rel) -\log P(Belle |nrel) - \log P(est |nrel) - \log P(la|nrel) - \log P(vie|nrel) = \log 0.025 + \log 0.025+ \log 0.025+ \log 0.025 -\log 0.5 - \log 0.5 - \log 1.0 - \log 1.0 = 4 \log 0.025 - 2 * \log 0.5 \approx -19.28 $.
Le premier document sera offert en premier.

L’utilisateur a jugé pertinent un seul document ($r=1$). Nous avons une nouvelle estimation pour $P(t_j|rel)$ basée sur la fraction des documents jugés pertinents où le terme apparaît :
$P(\textrm{la}|rel) = 1$, $P(\textrm{vie}|rel) = 1$, $P(\textrm{belle}|rel) = 0$, et $P(\textrm{est}|rel) = 0$.

Ensuite, on applique la formule $P(t_j|nrel) = \frac{df_j-r’}{n-r}$. Rappelons que $df(\textrm{La})=2$, $df(\textrm{vie})=2$, et $df(\textrm{belle})=1$. Pour la et vie, $r’=1$, et $r’=0$ pour les autres termes. Donc, $P(\textrm{la}|nrel) = \frac{2-1}{2-1}=1$, $P(\textrm{vie}|nrel) = \frac{2-1}{2-1}=1$, $P(\textrm{belle}|nrel) = \frac{1-0}{2-1}=1$, et $P(\textrm{est}|nrel) = \frac{1-0}{2-1}=1$.

Nous avons
$\log \frac{P(D_1|rel)}{P(D_1|nrel)} = \infty$ parce que $\log 0= \infty$ et que
$\sum_{t_j\in D_j} \log P(t_j|nrel)$ calcule le logarithme de zéro.

Le premier mot ne suit pas du tout une distribution de Poisson : dans une distribution de Poisson, la plupart des valeurs s’approchent de la moyenne avec une variance égale à la moyenne. Le premier mot est donc, potentiellement, plus intéressant que les deux autres en recherche d’informations.

On commence par compter les occurrences : La (1), vie (3), est (1), une (1) et sans (1). Nous avons les probabilités correspondantes par vraisemblance maximale : La (1/7), vie (3/7), est (1/7), une (1/7) et sans (1/7). La probabilité du bigramme « sans vie » est donc 1/7 fois 3/7, ou 3/49 ou environ 6 %.

Les occurrences sont : La (1), vie (3), est (1), une (1) et sans (1). Nous avons les probabilités correspondantes suivantes par vraisemblance maximale : La (1/7), vie (3/7), est (1/7), une (1/7) et sans (1/7).

Par lissage de Laplace, les probabilités sont : La (2/(7+5000)), vie (4/(7+5000)), est (2/(7+5000)), une (2/(7+5000)) et sans (2/(7+5000)).

Un total de $5000-5$ mots ont une fréquence de zéro (ils ne sont pas observés). Nous avons donc $n_0=5000-5$. Il y 4 mots avec une fréquence unitaire (La, est, une et sans). Nous avons donc $n_1=4$. Finalement, il n’y aucun mot qui apparaît deux fois ($n_2=0$) et un seul mot qui apparaît 3 fois ($n_3=1$). Ainsi, La, est, une et sans auront une probabilité nulle par lissage Good Turing puisque $n_2=0$, et vie aura aussi une probabilité nulle parce $n_4=0$.

Puisque $P(rel|D_i)+P(nrel|D_i)=1$, on cherche la valeur maximale de $\log x/(1-x)$. Si $x=0$ alors $\log x/(1-x)=-\infty$ alors que si $x=1$, $\log x/(1-x)=\infty$.

J’ai que $n_0=11$ et $n_1=1$. La probabilité de voir
un poisson donné, outre le poisson rouge, est $n_1/n_0=1/11$ alors que la probabilité de voir le poisson rouge est 0. Donc, je suis certain de voir un autre poisson que le poisson rouge.

Faux.

Nous avons $\frac{P(rel|D_i)}{P(nrel| D_i)} = \frac{P(D_i|rel)}{P(D_i|nrel)} \frac{P(rel)}{P(nrel)}$ et $P(rel)+P(nrel)=1$. Si $P(rel)=0.5$, alors $P(nrel)=0.5$ et $\frac{P(rel)}{P(nrel)}=1$. Donc, nous avons $\frac{P(rel|D_i)}{P(nrel| D_i)} = \frac{P(D_i|rel)}{P(D_i|nrel)} $. Ainsi $P(D_i|rel) + P(D_i|nrel) = (1+ \frac{P(rel|D_i)}{P(nrel| D_i)})P(D_i|nrel)$, mais puisque $ \frac{P(nrel| D_i)+P(rel|D_i)}{P(nrel| D_i)}P(D_i|nrel)=\frac{P(D_i|nrel)}{P(nrel| D_i)}$, le résultat est démontré.

Nous avons les suffixes suivants : « Jean aime les pommes », « aime les pommes », « les pommmes », et « pommes ».

J’ai $n_0=1, n_1=3, n_2=1$. Ainsi les fréquences de Good-Turing sont $ n_1/n_0 = 3, 2 n_2 /n_1 = 2/3, 3 n_3/n_2=0$.