Probabilités et Inférence Statistique: TD2
Classification de textes avec Naïve Bayes Ce document présente la méthode de classification de textes avec Naïve Bayes, en utilisant un ensemble d'emails pour illustrer le processus. Les étudiants apprendront à normaliser les textes, à construire un vocabulaire et à appliquer la méthode de Naïve Bayes pour classer des emails en spam ou non-spam.
D'après le document Probabilités et Inférence Statistique: TD2
Cet article a été rédigé automatiquement à partir du document source, puis vérifié avant publication.
Document source
Statistics and Probability · PDF · 3 pages · 2020
Afficher l'aperçu du document
Classification de textes avec Naïve Bayes
Ce document présente la méthode de classification de textes avec Naïve Bayes, en utilisant un ensemble d'emails pour illustrer le processus. Les étudiants apprendront à normaliser les textes, à construire un vocabulaire et à appliquer la méthode de Naïve Bayes pour classer des emails en spam ou non-spam. Des exemples pratiques et des calculs de probabilités conditionnelles sont fournis pour faciliter la compréhension.
Le problème et les données
Nous disposons d'un ensemble de 1000 emails, chacun marqué comme étant spam ou non-spam, provenant du SpamAssassin Public Corpus. L'objectif est de construire un classeur Naïve Bayes qui aide à détecter si un nouvel email est du spam ou non. Voici quelques exemples d'emails :
- Exemplaire email no. 1 : (classe = non-spam)
Anyone knows how much it costs to host a web portal ?
Well, it depends on how many visitors you're expecting. This can be anywhere from less than 10 bucks a month to a couple of $100. You should checkout http://www.rackspace.com/ or perhaps Amazon EC2 if you're running something big.. - Exemplaire email no. 2 : (classe = spam)
Best Buy Viagra Generic Online
Viagra 100mg x 60 Pills $125, Free Pills & Reorder Discount, Top Selling 100% Quality & Satisfaction guaranteed!
We accept VISA, Master & E-Check Payments, 90000+ Satisfied Customers! http://medphysitcstech.ru
Représentation des textes
Pour classifier les textes, il est nécessaire de les transformer en vecteurs de P attributs, x. Les étapes à suivre sont :
- Normaliser les textes :
- Extraction des racines de mots
- Supprimer les mots non importants : prépositions, articles, pronoms
- Construction du vocabulaire V : à partir de notre ensemble d’exemplaires.
- Appliquer le modèle sac de mots : version binaire sur chaque texte normalisé, en se basant sur l’ensemble V construit.
Nous supposons que le vocabulaire V a été déjà construit et qu’il contient les 16 mots suivants :
- best, big, buck, buy, cost, expect, host, http, month, pay, portal, run, satisf, sell, web, www
Nous appliquons maintenant la première et la troisième étape sur les deux exemplaires d'emails ci-dessus :
Représentation du 1er exemplaire : x1 =
Représentation du 2ème exemplaire : x2 =
Classification de textes avec méthode de Naïve Bayes
Construction du classeur Naïve Bayes
Nous supposons que les exemplaires textes sont déjà transformés en vecteurs x de 16 attributs. Nous devons estimer toutes les probabilités conditionnelles Pr[xi| y,X], pour toutes les valeurs de l’attribut xi et de la classe y. Nous notons :
n(m,y): nombre de textes exemplaires de la classe y contenant le mot mn(y): nombre de textes exemplaires de la classe y
Nous nous rappelons que :
Pr[xi = 1 | y,X] = n(mi,y) / n(y) ou mi est l’ième mot dans V
Pr[xi = 0 | y,X] = 1 - Pr[xi = 1 | y,X]
Nous devons compléter le tableau ci-dessous pour déduire toutes les probabilités du classeur Naïve Bayes.
| y=non-spam | n(y) | n(mi,y) | Pr[xi=0|y,X] | Pr[xi=1|y,X] | y=spam | n(mi,y) | n(y) | Pr[xi=0|y,X] | Pr[xi=1|y,X] |
|---|---|---|---|---|---|---|---|---|---|
| 1 | best | 1 | best | ||||||
| 2 | big | 2 | big | ||||||
| 3 | buck | 3 | buck | ||||||
| 4 | buy | 4 | buy | ||||||
| 5 | cost | 5 | cost | ||||||
| 6 | expect | 6 | expect | ||||||
| 7 | host | 7 | host | ||||||
| 8 | http | 8 | http | ||||||
| 9 | month | 9 | month | ||||||
| 10 | pay | 10 | pay | ||||||
| 11 | portal | 11 | portal | ||||||
| 12 | run | 12 | run | ||||||
| 13 | satisf | 13 | satisf | ||||||
| 14 | sell | 14 | sell | ||||||
| 15 | web | 15 | web | ||||||
| 16 | www | 16 | www |
Classification d’un nouvel email
Nous considérons l’email suivant :
Looking forward to your call and I will introduce you to people like yourself who are currently making $10,000 plus per week!
Nous normalisons ce texte puis le transformons en un vecteur x, comme nous l'avons fait précédemment. Remplissons les valeurs de x dans le tableau ci-dessus.
Nous appliquons ensuite la formule Naïve Bayes :
y = argmaxy∈ Y ( ∏i=1..p Pr[xi | y,X] ) . Pr[y | X]
Nous remplissons les probabilités dans le tableau ci-dessous en copiant les valeurs appropriées du tableau précédent.
| Pr[xi | y=non-spam,X] | Pr[xi | y=spam,X] | xi | i |
|---|---|---|---|
| 1 | best | ||
| 2 | big | ||
| 3 | buck | ||
| 4 | buy | ||
| 5 | cost | ||
| 6 | expect | ||
| 7 | host | ||
| 8 | http | ||
| 9 | month | ||
| 10 | pay | ||
| 11 | portal | ||
| 12 | run | ||
| 13 | satisf | ||
| 14 | sell | ||
| 15 | web | ||
| 16 | www |
Points clés à retenir
Voici les points essentiels à retenir concernant la classification de textes avec Naïve Bayes :
- Naïve Bayes est une méthode efficace pour classer des textes en utilisant des probabilités conditionnelles.
- La normalisation des textes est cruciale pour améliorer la précision de la classification.
- Le vocabulaire construit à partir des textes d'exemple joue un rôle clé dans le processus de classification.
- La méthode sac de mots permet de représenter les textes sous forme de vecteurs d'attributs.
- La formule Naïve Bayes permet de prédire la classe d'un nouvel email en utilisant les probabilités calculées.
Questions fréquentes
Qu'est-ce que la méthode Naïve Bayes ?
La méthode Naïve Bayes est un algorithme de classification basé sur le théorème de Bayes, qui suppose que les attributs sont indépendants les uns des autres. Elle est souvent utilisée pour la classification de textes, comme le filtrage de spam.
Comment normaliser un texte pour la classification ?
La normalisation d'un texte implique l'extraction des racines des mots et la suppression des mots non importants tels que les prépositions, articles et pronoms. Cela permet de réduire la complexité des données et d'améliorer la précision de la classification.
Comment construire un vocabulaire pour la classification de textes ?
Le vocabulaire est construit à partir d'un ensemble d'exemplaires de textes. Il contient les mots ou racines de mots qui apparaissent dans ces textes. Ce vocabulaire est ensuite utilisé pour représenter chaque texte sous forme de vecteurs d'attributs.
Quelles sont les probabilités conditionnelles dans Naïve Bayes ?
Les probabilités conditionnelles dans Naïve Bayes sont calculées pour chaque mot dans le vocabulaire, en fonction de la classe à laquelle le texte appartient. Elles permettent d'estimer la probabilité qu'un mot apparaisse dans un texte donné, conditionnellement à sa classe.
Comment appliquer la formule Naïve Bayes pour classifier un nouvel email ?
Pour classifier un nouvel email, on normalise le texte, on le transforme en vecteur d'attributs, puis on applique la formule Naïve Bayes. On utilise les probabilités conditionnelles calculées précédemment pour déterminer la classe la plus probable pour cet email.
Commentaires
Aucun commentaire pour le moment. Posez la première question.