Data Mining

Seance no. 7 : Quelques Remarques sur les Methodes de Classification Supervisée 28 Octobre 2013 Prof. Chiraz Ben Abdelkader ENSI

Naive Bayes: attributs numeriques

• Quand un attribut xi est numérique (réel), il a un nombre infini de

valeurs possibles, donc ça ne fait pas du sens de calculer la probabilités Pr(xi|y) pour chaque valeur de xi

• Dans la phase de construction du classeur, on calcule seulement sa moyenne m

i a partir des exemplaires

i et son écart s

Naive Bayes: attributs numeriques

• Dans la phase de testing du classeur :

 Etant donné x quelconque  Soit v la valeur actuelle de l'attribut xi  On suppose que xi a une distribution Normale, N(m  Pr( xi = v | y) =  Enfin on applique la formule de Naive Bayes comme d'habitude

voir formule dans les notes de cours no. 4, page 3

i) , donc

i,s

Exemple

• On considère encore une fois le problème “jouer tennis”, cette fois-ci

avec température et humidité étant des attributs numériques • A partir de l'ensemble des 14 exemplaires suivants, calculer la

probabilite: Pr(temperature = 71 | y=oui)

Naive Bayes: Estimateur de Laplace

• Lorsque Pr(xi|y) = 0 pour un ou plusieurs attributs, toute la formule dans argmax devient zero, ce qui rend tous les valeurs d'attributs inutiles

 Cela peut arriver seulement pour un attribut nominal (pourquoi?)  Cela signifie que n(xi,y) = 0

• Pour éviter ce cas, pendant la phase de construction du classeur, on

ajoute 1 a tous les compteurs n(xi,y)

Exemple

• On considère une autre version du problème jouer tennis ou tous les attributs sont nominaux

• A partir des 14 exemplaires dans le

tableau a droite, calculer la probabilité

 Pr(Ciel=couvert | y=non)

•

Arbres de decision: attributs numeriques

• La construction d'arbres de decision avec l'algorithme ID3 fonctionne

seulement avec des attributs nominaux

• Lorsque un ou plusieurs attributs sont numériques, on utilise d'autres

algorithmes, comme la C4.5 et C5.0

• On n'a pas eu le temps de discuter ces algorithmes, mais il suffit de

connaître qu'ils construisent des arbres ou chaque nœud associe avec un attribut numérique s'agit d'un test de la forme : xi <= v

 En plus, un attribut numérique peut être associé avec plusieurs

nœuds, chacun ayant avec une valeur différente de v