Data Mining Seance no. 7

i a partir des exemplaires

i et son écart s

Naive Bayes: attributs numeriques

• Dans la phase de testing du classeur :

 Etant donné x quelconque

 Soit v la valeur actuelle de l'attribut xi

 On suppose que xi a une distribution Normale, N(m

 Pr( xi = v | y) =

 Enfin on applique la formule de Naive Bayes comme d'habitude

voir formule dans les notes de cours no. 4, page 3

i) , donc

i,s

Exemple

• On considère encore une fois le problème “jouer tennis”, cette fois-ci

avec température et humidité étant des attributs numériques

• A partir de l'ensemble des 14 exemplaires suivants, calculer la

probabilite: Pr(temperature = 71 | y=oui)

Naive Bayes: Estimateur de Laplace

• Lorsque Pr(xi|y) = 0 pour un ou plusieurs attributs, toute la formule

dans argmax devient zero, ce qui rend tous les valeurs d'attributs

inutiles

 Cela peut arriver seulement pour un attribut nominal (pourquoi?)

 Cela signifie que n(xi,y) = 0

• Pour éviter ce cas, pendant la phase de construction du classeur, on

ajoute 1 a tous les compteurs n(xi,y)

Exemple

• On considère une autre version du

problème jouer tennis ou tous les

attributs sont nominaux

• A partir des 14 exemplaires dans le

tableau a droite, calculer la probabilité

 Pr(Ciel=couvert | y=non)

•

Arbres de decision: attributs numeriques

• La construction d'arbres de decision avec l'algorithme ID3 fonctionne

seulement avec des attributs nominaux

• Lorsque un ou plusieurs attributs sont numériques, on utilise d'autres

algorithmes, comme la C4.5 et C5.0

• On n'a pas eu le temps de discuter ces algorithmes, mais il suffit de

connaître qu'ils construisent des arbres ou chaque nœud associe avec

un attribut numérique s'agit d'un test de la forme : xi <= v

 En plus, un attribut numérique peut être associé avec plusieurs

nœuds, chacun ayant avec une valeur différente de v