Analyse Discriminante
Analyse Discriminante
Statistical Analysis and Machine Learning · notes
Voir tous les documents en intelligence artificielle et données
Fiche de révisionRésumé
Rédigée à partir de ce document, puis vérifiée avant publication.
Cette leçon porte sur l’analyse discriminante, une méthode statistique utilisée pour étudier des ensembles d’individus décrits par des variables quantitatives et répartis en groupes définis par une variable qualitative. Elle s’inscrit dans un cours sur les méthodes multivariées et présente à la fois une approche descriptive et prédictive de l’analyse discriminante.
L’analyse discriminante s’applique à un ensemble d’individus caractérisés par une variable qualitative à expliquer Y et des variables explicatives quantitatives X1, X2, ..., Xp. Elle répond à deux problématiques principales :
Le principe fondamental, introduit par Fisher en 1936, consiste à choisir parmi les combinaisons linéaires des variables explicatives celle qui maximise l’homogénéité de chaque classe.
L’objectif de l’analyse discriminante est double :
Cette méthode trouve des applications dans divers domaines :
Dans cette approche, on considère un échantillon de n individus, chacun décrit par p variables quantitatives. Ces individus forment un nuage E dans l’espace Rp, réparti en k sous-nuages E1, E2, ..., Ek correspondant aux k classes. Chaque sous-nuage a un centre de gravité gi et une matrice de variance Vi. Le nuage global a un centre g et une matrice de variance V.
Les individus peuvent être pondérés par des poids p1, p2, ..., pn, rangés dans une matrice diagonale D.
L’analyse factorielle discriminante cherche alors de nouvelles variables, appelées variables discriminantes, qui sont des directions dans Rp permettant de projeter les individus de manière à séparer au mieux les k groupes. Ces variables sont des combinaisons linéaires des variables initiales Xj, non corrélées entre elles.
La matrice A représente les indicatrices de la variable qualitative à prédire, tandis que la matrice X contient les variables explicatives.
Pour k=3 classes, le premier facteur discriminant définit un axe dans le nuage de points passant par l’origine, tel que la variance inter-classes (variance des moyennes des classes projetées) soit maximale. Le second facteur est orthogonal au premier et maximise également la variance inter-classes, et ainsi de suite pour les facteurs suivants.
Les facteurs discriminants sont les vecteurs propres de la matrice V-1B, où B est la matrice de variance inter-classes. Le nombre maximum de facteurs discriminants est k–1.
La part de variance inter-classes expliquée par chaque facteur décroît avec les facteurs successifs.
Dans le cas de deux groupes, un seul facteur suffit, correspondant à l’axe de projection qui sépare le mieux les classes. Pour plus de deux groupes, on obtient un plan discriminant formé par les deux premiers facteurs, où la dispersion des centroïdes est la mieux représentée.
Les facteurs discriminants permettent de représenter les centroïdes des classes dans un espace orthonormé. Pour un nouvel individu x projeté dans cet espace, on attribue la classe dont le centroïde est le plus proche.
La distance utilisée est la distance de Mahalanobis définie par :
d²(x,y) = (x - y)’ W-1 (x - y)
où W est la matrice intra-classes des groupes.
On classe l’individu x dans le groupe Gi pour lequel la distance au centre gi est minimale :
d²(x,gi) = (x - gi)’ W-1 (x - gi) = x’ W-1 x – 2 gi’ W-1 x + gi’ W-1 gi
Minimiser cette distance revient à maximiser :
2 gi’ W-1 x – gi’ W-1 gi
La quantité gi’ W-1 gi est constante par rapport à x.
Pour chaque groupe Gi, on définit une fonction discriminante de Fisher :
2 gi’ W-1 x = αi + βi,1 X1 + βi,2 X2 + … + βi,p Xp
L’individu x est affecté au groupe dont la fonction discriminante est maximale.