Data Mining
Data Mining
Programming, Math, etc. · course
Voir tous les documents en intelligence artificielle et données
Fiche de révisionFiche de cours
Rédigée à partir de ce document, puis vérifiée avant publication.
Ce document présente une introduction à la classification de textes à l'aide de la méthode de Naïve Bayes. Destiné aux étudiants en informatique ou en sciences des données, il explique comment transformer des emails en vecteurs de caractéristiques, estimer les probabilités nécessaires, puis classifier un nouvel email comme spam ou non-spam.
Nous disposons d'un ensemble de 1000 emails, chacun étiqueté comme spam ou non-spam. La source de ces données est le SpamAssassin Public Corpus (http://spamassassin.apache.org/publiccorpus/). L'objectif est de construire un classificateur Naïve Bayes capable de détecter si un nouvel email est un spam ou non.
Exemples d'emails :
Pour appliquer la méthode de classification, il faut transformer chaque texte en un vecteur de P attributs x. La procédure est la suivante :
Dans cet exemple, le vocabulaire V contient 16 mots (racines) :
best, big, buck, buy, cost, expect, host, http, month, pay, portal, run, satisf, sell, web, www
Exemple de représentation binaire :
On suppose que tous les textes sont déjà transformés en vecteurs x de 16 attributs (correspondant aux mots du vocabulaire V). Le but est d'estimer les probabilités conditionnelles Pr[xi | y, X] pour chaque attribut xi et chaque classe y (spam ou non-spam).
Définitions :
Les probabilités conditionnelles sont calculées par :
Pr[xi = 1 | y, X] = n(mi, y) / n(y) où mi est le ième mot du vocabulaire V Pr[xi = 0 | y, X] = 1 - Pr[xi = 1 | y, X]
Ces probabilités sont utilisées pour construire le classificateur Naïve Bayes.
| i | mi | y = non-spam : n(mi,y) | y = non-spam : Pr[xi=1|y,X] | y = non-spam : Pr[xi=0|y,X] | y = spam : n(mi,y) | y = spam : Pr[xi=1|y,X] | y = spam : Pr[xi=0|y,X] |
|---|---|---|---|---|---|---|---|
| 1 | best | ||||||
| 2 | big | ||||||
| 3 | buck | ||||||
| 4 | buy | ||||||
| 5 | cost | ||||||
| 6 | expect | ||||||
| 7 | host | ||||||
| 8 | http | ||||||
| 9 | month | ||||||
| 10 | pay | ||||||
| 11 | portal | ||||||
| 12 | run | ||||||
| 13 | satisf | ||||||
| 14 | sell | ||||||
| 15 | web | ||||||
| 16 | www |
Considérons le nouvel email :
Looking forward to your call and I will introduce you to people like yourself who are currently making $10,000 plus per week!
Étapes :
y = argmax_{y ∈ Y} ( ∏_{i=1}^p Pr[xi | y, X] ) · Pr[y | X]
où :
| i | mi | xi | Pr[xi | y=non-spam, X] | Pr[xi | y=spam, X] |
|---|---|---|---|---|
| 1 | best | |||
| 2 | big | |||
| 3 | buck | |||
| 4 | buy | |||
| 5 | cost | |||
| 6 | expect | |||
| 7 | host | |||
| 8 | http | |||
| 9 | month | |||
| 10 | pay | |||
| 11 | portal | |||
| 12 | run | |||
| 13 | satisf | |||
| 14 | sell | |||
| 15 | web | |||
| 16 | www |
Le classificateur choisira la classe y qui maximise la probabilité calculée.