TD2 - Probabilités et Inférence Statistique
Classification de textes avec Naïve Bayes Ce document présente la méthode de classification de textes avec Naïve Bayes, en se basant sur un ensemble d'emails classés comme spam ou non-spam.
D'après le document TD2 - Probabilités et Inférence Statistique
Cet article a été rédigé automatiquement à partir du document source, puis vérifié avant publication.
Document source
Statistics and Probability · PDF · 2 pages · 2020
Afficher l'aperçu du document
Classification de textes avec Naïve Bayes
Ce document présente la méthode de classification de textes avec Naïve Bayes, en se basant sur un ensemble d'emails classés comme spam ou non-spam. Vous apprendrez à normaliser les textes, à représenter les données et à appliquer la méthode Naïve Bayes pour classifier de nouveaux emails, avec des exemples pratiques et des calculs de probabilités conditionnelles.
Le problème et les données
Nous disposons d'un ensemble de 1000 emails, chacun marqué comme étant spam ou non-spam, extrait du SpamAssassin Public Corpus. L'objectif est de construire un classeur Naïve Bayes qui nous aide à détecter si un nouvel email est du spam ou non.
Voici quelques exemplaires d'emails pour illustrer :
- Email no. 1 (classe = non-spam) :
Anyone knows how much it costs to host a web portal ?
Well, it depends on how many visitors you're expecting. This can be anywhere from less than 10 bucks a month to a couple of $100. You should checkout http://www.rackspace.com/ or perhaps Amazon EC2 if you're running something big. - Email no. 2 (classe = spam) :
Best Buy Viagra Generic Online
Viagra 100mg x 60 Pills $125, Free Pills & Reorder Discount, Top Selling 100% Quality & Satisfaction guaranteed! We accept VISA, Master & E-Check Payments, 90000+ Satisfied Customers! http://medphysitcstech.ru
Représentation des textes
Pour classifier les textes, nous devons les transformer en vecteurs de P attributs, x. Cela se fait en plusieurs étapes :
- Normaliser les textes :
- Extraction des racines de mots
- Suppression des mots non importants : prépositions, articles, pronoms
- Construction du vocabulaire V à partir de notre ensemble d’exemplaires.
- Appliquer le modèle sac de mots (version binaire) sur chaque texte normalisé, en se basant sur l’ensemble V construit.
Imaginons que le vocabulaire V a été déjà construit et qu’il s’agit des 16 mots suivants :
- best, big, buck, buy, cost, expect, host, http, month, pay, portal, run, satisf, sell, web, www
Nous allons appliquer la première et la troisième étape sur les deux exemplaires d'emails ci-dessus :
Représentation du 1er exemplaire : x1 =
Représentation du 2ème exemplaire : x2 =
Classification de textes avec méthode de Naïve Bayes
Construction du classeur Naïve Bayes
Nous supposons que les exemplaires textes sont déjà transformés en des vecteurs x de 16 attributs. Nous devons maintenant estimer toutes les probabilités conditionnelles Pr[xi| y,X] pour toutes les valeurs de l’attribut xi et de la classe y.
Nous notons :
- n(m,y) : nombre de textes exemplaires de la classe y contenant le mot m
- n(y) : nombre de textes exemplaires de la classe y
Nous avons :
Pr[xi = 1 | y,X] = n(mi,y) / n(y) où mi est l’ième mot dans V
Pr[xi = 0 | y,X] = 1 - Pr[xi = 1 | y,X]
Complétez le tableau ci-dessous pour déduire toutes les probabilités du classeur Naïve Bayes.
| y=non-spam | n(y) | n(mi,y) | Pr[xi=0|y,X] | Pr[xi=1|y,X] | y=spam | n(mi,y) | n(y) | Pr[xi=0|y,X] | Pr[xi=1|y,X] |
|---|---|---|---|---|---|---|---|---|---|
| 1 | 1 | ||||||||
| 2 | 2 | ||||||||
| 3 | 3 | ||||||||
| 4 | 4 | ||||||||
| 5 | 5 | ||||||||
| 6 | 6 | ||||||||
| 7 | 7 | ||||||||
| 8 | 8 | ||||||||
| 9 | 9 | ||||||||
| 10 | 10 | ||||||||
| 11 | 11 | ||||||||
| 12 | 12 | ||||||||
| 13 | 13 | ||||||||
| 14 | 14 | ||||||||
| 15 | 15 | ||||||||
| 16 | 16 |
Classification d’un nouvel email
Considérons l’email suivant :
Looking forward to your call and I will introduce you to people like yourself who are currently making $10,000 plus per week!
Normalisez ce texte puis transformez-le en un vecteur x, comme nous l'avons fait précédemment. Remplissez les valeurs de x dans le tableau ci-dessus.
Appliquez la formule Naïve Bayes :
y = argmaxy∈Y ( ∏i=1..p Pr[xi | y,X] ) . Pr[y | X]
Remplissez les probabilités dans le tableau ci-dessous en copiant les valeurs convenables du tableau précédent.
| Pr[xi | y=non-spam,X] | Pr[xi | y=spam,X] | xi | i |
|---|---|---|---|
| 1 | best | ||
| 2 | big | ||
| 3 | buck | ||
| 4 | buy | ||
| 5 | cost | ||
| 6 | expect | ||
| 7 | host | ||
| 8 | http | ||
| 9 | month | ||
| 10 | pay | ||
| 11 | portal | ||
| 12 | run | ||
| 13 | satisf | ||
| 14 | sell | ||
| 15 | web | ||
| 16 | www |
Points clés à retenir
Voici les points essentiels à retenir concernant la classification de textes avec Naïve Bayes :
- Naïve Bayes est une méthode efficace pour classifier des textes en utilisant des probabilités conditionnelles.
- La normalisation des textes est cruciale pour améliorer la précision de la classification.
- La représentation des textes sous forme de vecteurs permet d'appliquer des modèles de classification.
- Le calcul des probabilités conditionnelles est fondamental pour la prise de décision dans la classification.
Questions fréquentes
Qu'est-ce que la méthode Naïve Bayes ?
La méthode Naïve Bayes est un algorithme de classification basé sur le théorème de Bayes, qui utilise des probabilités conditionnelles pour prédire la classe d'un échantillon en fonction de ses attributs.
Comment normaliser un texte pour la classification ?
La normalisation d'un texte implique l'extraction des racines de mots et la suppression des mots non importants, tels que les prépositions, articles et pronoms, afin de réduire le bruit dans les données.
Comment construire un vocabulaire pour la classification de textes ?
Le vocabulaire est construit à partir d'un ensemble d'exemplaires en identifiant les mots significatifs qui seront utilisés pour représenter les textes sous forme de vecteurs.
Comment calculer les probabilités conditionnelles dans Naïve Bayes ?
Les probabilités conditionnelles sont calculées en comptant le nombre de textes exemplaires d'une classe contenant un mot donné, puis en divisant par le nombre total de textes de cette classe.
Quels sont les avantages de Naïve Bayes pour la classification de textes ?
Naïve Bayes est rapide, efficace et fonctionne bien même avec des ensembles de données de grande taille. Il est particulièrement adapté pour des tâches comme la détection de spam.
Commentaires
Aucun commentaire pour le moment. Posez la première question.