TD no. 2 : Classification de Textes avec Naïve Bayes
TD no. 2 : Classification de Textes avec Naïve Bayes
Data Mining, Classification, Naïve Bayes · lab
Voir tous les documents en intelligence artificielle et données
Fiche de révisionGuide de TP
Rédigée à partir de ce document, puis vérifiée avant publication.
Ce travaux dirigé (TD) présente une méthode de classification de textes basée sur l'algorithme de Naïve Bayes. L'objectif est d'apprendre à détecter automatiquement si un email est un spam ou non, en utilisant un ensemble d'emails annotés. Pour réaliser ce TD, il est nécessaire de disposer d'un corpus d'emails (ici le SpamAssassin Public Corpus) et de connaissances de base en traitement automatique du langage et en probabilités.
Le corpus contient 1000 emails, chacun étiqueté comme spam ou non-spam. L'objectif est de construire un classifieur Naïve Bayes capable de prédire la classe d'un nouvel email.
Exemples d'emails :
Email no. 1 (non-spam) :
Anyone knows how much it costs to host a web portal ?
Well, it depends on how many visitors you're expecting.
This can be anywhere from less than 10 bucks a month to a couple of $100.
You should checkout http://www.rackspace.com/ or perhaps Amazon EC2 if youre running something big..
Email no. 2 (spam) :
Best Buy Viagra Generic Online
Viagra 100mg x 60 Pills $125, Free Pills & Reorder Discount, Top Selling
100% Quality & Satisfaction guaranteed!
We accept VISA, Master & E-Check Payments, 90000+ Satisfied Customers!
http://medphysitcstech.ru
Pour appliquer Naïve Bayes, chaque texte doit être transformé en un vecteur d'attributs x de dimension P. Le processus comprend :
Le vocabulaire V utilisé ici est composé des 16 mots suivants :
best, big, buck, buy, cost, expect, host, http, month, pay, portal, run, satisf, sell, web, www
Par exemple, pour l'email no. 1, on extrait les racines et on construit le vecteur x1 correspondant à la présence ou non de chacun de ces mots. De même pour l'email no. 2, on obtient le vecteur x2.
On suppose que tous les emails sont déjà transformés en vecteurs x de 16 attributs binaires. Le but est d'estimer les probabilités conditionnelles Pr[xi | y, X] pour chaque mot i et chaque classe y (spam ou non-spam).
On note :
Les probabilités conditionnelles sont calculées par :
Pr[xi = 1 | y, X] = n(mi, y) / n(y)
Pr[xi = 0 | y, X] = 1 - Pr[xi = 1 | y, X]
Le tableau suivant (Table 1) doit être complété pour toutes les valeurs de i (de 1 à 16) et pour chaque classe y (non-spam et spam) :
| i | mi | y=non-spam n(mi,y) | y=non-spam n(y) | Pr[xi=0|y=non-spam,X] | Pr[xi=1|y=non-spam,X] | y=spam n(mi,y) | y=spam n(y) | Pr[xi=0|y=spam,X] | Pr[xi=1|y=spam,X] |
|---|---|---|---|---|---|---|---|---|---|
| 1 | best | ||||||||
| 2 | big | ||||||||
| 3 | buck | ||||||||
| 4 | buy | ||||||||
| 5 | cost | ||||||||
| 6 | expect | ||||||||
| 7 | host | ||||||||
| 8 | http | ||||||||
| 9 | month | ||||||||
| 10 | pay | ||||||||
| 11 | portal | ||||||||
| 12 | run | ||||||||
| 13 | satisf | ||||||||
| 14 | sell | ||||||||
| 15 | web | ||||||||
| 16 | www |
Compléter ce tableau permet d'obtenir toutes les probabilités nécessaires pour le classifieur.
Considérons l'email suivant :
Looking forward to your call and I will introduce you to people like yourself who are currently making $10,000 plus per week!
Étapes :
y = argmaxy ∈ Y ( ∏i=1..p Pr[xi | y, X] ) · Pr[y | X]
où Pr[y | X] est la probabilité a priori de la classe y.
| i | mi | Pr[xi | y=non-spam, X] | Pr[xi | y=spam, X] | xi (valeur dans le vecteur) |
|---|---|---|---|---|
| 1 | best | |||
| 2 | big | |||
| 3 | buck | |||
| 4 | buy | |||
| 5 | cost | |||
| 6 | expect | |||
| 7 | host | |||
| 8 | http | |||
| 9 | month | |||
| 10 | pay | |||
| 11 | portal | |||
| 12 | run | |||
| 13 | satisf | |||
| 14 | sell | |||
| 15 | web | |||
| 16 | www |
Le résultat de cette formule donne la classe la plus probable pour cet email.
Après avoir complété les tableaux et appliqué la formule Naïve Bayes, l'étudiant doit obtenir :