Probabilistic Approaches and Bayesian Decision Rules in Classification

2. Nous étudions la règle de décision bayésienne. Précisez les ensembles de départ et

d’arrivée de la fonction de classement correspondant à cette règle.

3. Dans le cas général, rappelez la formule de Bayes.

4. Dans notre contexte d’apprentissage supervisé, comment s’appellent les probabilités

suivantes :

a) P(pluie)

b) P(BP/Pluie)

c) P(Soleil/BP)

5. Donnez la prédiction du temps par la règle de décision bayésienne quand le baromètre

annonce la pluie. Vous détaillerez votre réponse. Quelle est la fiabilité de cette

prédiction ?

Exercice 2 : Approches probabilistes

Soit une population  d'individus qui consiste en un échantillon composé d'ouvriers, de

médecins et d'employés des télécoms. On décrit les individus par un attribut logique

répondeur qui vaut vrai si l'individu possède un répondeur téléphonique et faux sinon. On

souhaite répartir les individus en trois classes ouvrier, médecin et télécom. On dispose des

informations suivantes :

classe k

P(k)

P(répondeur/k)

télécom médecin ouvrier

0.3

0.9

0.5

0.45

0.2

1

Notations :

 est la population, D est l'ensemble des descriptions, une observation est décrite par d (vecteur des

valeurs des attributs), et l'ensemble des classes est {1,...,c}. On rappelle qu’une fonction C: D 

{1,...,c} est appelée fonction de classement ou procédure de classification.

1

Sur cet exemple, nous avons supposé que l'ensemble  est probabilisé. P est la probabilité définie sur

la population . On peut alors définir les probabilités et notations suivantes :

 On note P(d) la probabilité qu'un élément de  ait d pour description.

 On note P(k) la probabilité qu'un élément de  soit de classe k.

 On note P(d/k) la probabilité qu'un élément de classe k ait d pour description.

 On note P(k/d) la probabilité qu'un élément ayant d pour description soit de classe k.

L’objectif est de déterminer une fonction de classement. Plusieurs règles de choix d’une telle

fonction existent, en voici trois :

 Règle majoritaire : ``attribuer à chaque description la classe majoritaire'',

 Règle du maximum de vraisemblance : ``si j'observe d, je choisis la classe pour

laquelle cette observation est la plus probable'', c'est-à-dire celle pour laquelle P(d/k)

est maximum.

 Règle de Bayes.

1. Exprimez, dans le cas général, la règle majoritaire et la règle du maximum de

vraisemblance sous forme de fonctions de classement notées respectivement Cmajoritaire

et Cvraisemblance. Vous utiliserez les notations introduites ci-dessus.

2. Quel est le défaut principal de la règle majoritaire ?

3. Décrire sur l’exemple donné chacune des deux fonctions Cmajoritaire, Cvraisemblance. Vous

préciserez les ensembles de départ et d’arrivée de chacune de ces fonctions de

classement.

4. Dans le cas général, rappelez la règle de Bayes, et la fonction de classement

correspondante (notée CBayes). Vous rappellerez également la formule de Bayes qui

permet de modifier une distribution a priori, en une distribution a posteriori tenant

compte des données d’apprentissage. Que suffit-il alors de maximiser ?

5. Dans quel cas la règle de Bayes se ramène-t-elle à la règle du maximum de

vraisemblance ?

6. Décrire sur l’exemple donné la fonction CBayes.

On peut définir la probabilité d'erreur d'une fonction de classement de la façon suivante : soit

C une fonction de classement, l'erreur E(d) (ou probabilité d'erreur) pour une description d est

la probabilité qu'un élément de la population  de description d soit mal classé par C, l'erreur

E(C) d'une fonction de classement est la moyenne pondérée des erreurs sur les descriptions d.

E(C)=



d  D

E(d)P(d).

7. Calculer les erreurs pour les trois procédures de classification trouvées précédemment.

2