Data Mining
Data Mining
Programming, Math · course
Voir tous les documents en intelligence artificielle et données
Fiche de révisionFiche de cours
Rédigée à partir de ce document, puis vérifiée avant publication.
Ce document présente une introduction à la classification de textes par la méthode de Naïve Bayes, destinée aux étudiants en data mining ou apprentissage automatique. Il illustre la démarche à partir d'un corpus d'emails étiquetés spam ou non-spam, en détaillant la préparation des données, la représentation des textes, la construction du modèle et la classification d’un nouvel email.
Le but est de construire un classifieur Naïve Bayes capable de détecter si un email est un spam ou non. Le corpus utilisé contient 1000 emails, chacun marqué comme spam ou non-spam, provenant du SpamAssassin Public Corpus (http://spamassassin.apache.org/publiccorpus/).
Exemples d'emails :
Anyone knows how much it costs to host a web portal ?
Well, it depends on how many visitors you're expecting.
This can be anywhere from less than 10 bucks a month to a couple of $100.
You should checkout http://www.rackspace.com/ or perhaps Amazon EC2 if youre running something big..
Best Buy Viagra Generic Online
Viagra 100mg x 60 Pills $125, Free Pills & Reorder Discount, Top Selling
100% Quality & Satisfaction guaranteed!
We accept VISA, Master & E-Check Payments, 90000+ Satisfied Customers!
http://medphysitcstech.ru
Pour appliquer Naïve Bayes, les textes doivent être transformés en vecteurs d'attributs. La démarche est la suivante :
Le vocabulaire V, supposé déjà construit, contient 16 racines de mots :
best, big, buck, buy, cost, expect, host, http, month, pay, portal, run, satisf, sell, web, www
Exemple de représentation (non explicitée dans le document) :
Chaque texte est représenté par un vecteur x de 16 attributs (mots). Le classifieur estime les probabilités conditionnelles Pr[xi | y, X] pour chaque mot i et chaque classe y (spam ou non-spam).
On définit :
Les probabilités conditionnelles sont calculées par :
Pr[xi = 1 | y, X] = n(mi, y) / n(y)
Pr[xi = 0 | y, X] = 1 - Pr[xi = 1 | y, X]
où mi est le ième mot dans le vocabulaire V.
Un tableau (non reproduit intégralement ici) permet de compléter ces probabilités pour chaque mot et chaque classe.
Considérons l'email suivant :
Looking forward to your call and I will introduce you to people like yourself who are currently making $10,000 plus per week!
Étapes :
y = argmaxy ∈ Y (∏i=1..p Pr[xi | y, X]) · Pr[y | X]
où Y = {spam, non-spam} et Pr[y | X] est la probabilité a priori de la classe y.
Le calcul consiste à multiplier les probabilités conditionnelles des mots présents ou absents selon la classe, puis à choisir la classe qui maximise ce produit.