Data Mining
Data Mining
Programming, Math, etc. · exam
Fiche de révisionCorrigé
Rédigée à partir de ce document, puis vérifiée avant publication.
Ce document présente un travail dirigé (TD) sur la classification de textes à l'aide de la méthode de Naïve Bayes. Il vise à tester les compétences en traitement automatique du langage, en représentation vectorielle des textes, et en application d'un classifieur probabiliste pour distinguer des emails spam de non-spam.
Le but de ce TD est de démontrer l’utilisation de la méthode de Naïve Bayes pour la classification de textes. Cette méthode probabiliste permet de prédire la classe d’un texte (spam ou non-spam) à partir de ses caractéristiques textuelles.
On dispose d’un ensemble de 1000 emails, chacun étiqueté comme spam ou non-spam, provenant du SpamAssassin Public Corpus. L’objectif est de construire un classifieur Naïve Bayes capable de détecter si un nouvel email est un spam ou non.
Voici deux exemples d’emails :
La première étape consiste à transformer les textes en vecteurs numériques de dimension P, où chaque dimension correspond à un mot du vocabulaire V.
Les étapes sont :
Le vocabulaire V est donné et contient 16 mots (racines) :
best, big, buck, buy, cost, expect, host, http, month, pay, portal, run, satisf, sell, web, www
On applique la normalisation et la représentation binaire aux deux emails exemples :
Les vecteurs ne sont pas explicitement fournis dans le document, mais la méthode est claire.
On suppose que tous les textes sont déjà transformés en vecteurs x de 16 attributs binaires. Le but est d’estimer les probabilités conditionnelles Pr[xi | y, X] pour chaque mot i et chaque classe y (spam ou non-spam).
On note :
On rappelle les formules :
Pr[xi = 1 | y, X] = n(mi, y) / n(y) Pr[xi = 0 | y, X] = 1 - Pr[xi = 1 | y, X]
Le travail consiste à compléter un tableau (Table 1) avec ces probabilités conditionnelles pour chaque mot du vocabulaire et chaque classe.
Par exemple, pour le mot "best" (i=1) et la classe non-spam :
Il faut faire de même pour tous les mots et pour la classe spam.
Sans données numériques précises, on ne peut pas compléter ce tableau ici.
On considère un nouvel email :
Looking forward to your call and I will introduce you to people like yourself who are currently making $10,000 plus per week!
Étapes :
y = argmax_{y ∈ Y} ( ∏_{i=1}^p Pr[xi | y, X] ) · Pr[y | X]
où Pr[y | X] est la probabilité a priori de la classe y (par exemple proportion de textes dans la classe y dans l’ensemble d’apprentissage).
Pour chaque classe (spam ou non-spam), on calcule le produit des probabilités conditionnelles des mots présents ou absents dans le vecteur x, puis on multiplie par la probabilité a priori de la classe.
La classe qui maximise cette valeur est celle prédite pour le nouvel email.
Sans les valeurs numériques des probabilités conditionnelles et des vecteurs, on ne peut pas effectuer le calcul ici.
Ce TD récompense :
Les erreurs pénalisées sont :
Enfin, il est important de respecter les conventions données dans l’énoncé, notamment la définition des probabilités conditionnelles et la représentation binaire des textes.