Analyse Discriminante
Analyse Discriminante
Statistical Analysis · notes
Fiche de révisionRésumé
Rédigée à partir de ce document, puis vérifiée avant publication.
Cette leçon porte sur l'analyse discriminante, une méthode statistique utilisée pour classer des individus en groupes à partir de variables quantitatives explicatives et d'une variable qualitative à expliquer. Elle s'inscrit dans un cours de statistique multivariée et couvre à la fois l'analyse discriminante descriptive et prédictive.
L’analyse discriminante s’applique lorsqu’on dispose d’un ensemble d’individus caractérisés par une variable qualitative Y à expliquer, répartie en k classes, et par des variables quantitatives explicatives X1, X2, ..., Xp. Elle répond à deux objectifs principaux :
Le principe fondamental est de construire des combinaisons linéaires des variables explicatives qui maximisent l’homogénéité au sein de chaque classe, selon la méthode initialement proposée par Fisher en 1936.
L’analyse discriminante vise à :
Cette méthode trouve des applications dans divers domaines :
Considérons un échantillon de n individus, chacun décrit par p variables quantitatives, formant un nuage E dans l’espace Rp. Ce nuage est partitionné en k sous-nuages E1, E2, ..., Ek correspondant aux k classes, avec des centres de gravité g1, g2, ..., gk et des matrices de variance V1, V2, ..., Vk. Le centre de gravité global est noté g et la matrice de variance globale V.
Chaque individu peut être pondéré par un poids pi, rangé dans une matrice diagonale D.
L’analyse factorielle discriminante consiste à chercher de nouvelles variables, appelées variables discriminantes, qui correspondent à des directions dans Rp séparant au mieux les k groupes. Ces variables sont des combinaisons linéaires des variables initiales Xj, non corrélées entre elles.
Géométriquement, pour k=3 classes, le premier facteur discriminant définit un axe dans le nuage de points tel que la variance inter-classes (variance des moyennes de classe projetées) soit maximale. Le second facteur est orthogonal au premier et maximise également la variance inter-classes, et ainsi de suite pour les facteurs suivants.
Les facteurs discriminants fournissent une représentation optimale des centroïdes des classes dans un espace orthonormé. Pour affecter un nouvel individu x à une classe, on projette x dans cet espace et on choisit la classe dont le centroïde est le plus proche.
La distance utilisée est la distance de Mahalanobis définie par :
d²(x,y) = (x - y)’ W-1 (x - y)
où W est la matrice intra-classes (matrice de variance-covariance des groupes).
On classe x dans le groupe Gi pour lequel la distance au centre gi est minimale :
d²(x,gi) = (x - gi)’ W-1 (x - gi) = x’ W-1 x – 2 gi’ W-1 x + gi’ W-1 gi
Minimiser cette distance revient à maximiser :
2 gi’ W-1 x - gi’ W-1 gi
Le terme gi’ W-1 gi est constant par rapport à x, donc la décision dépend de la maximisation de 2 gi’ W-1 x.
Pour chaque groupe Gi, on définit une fonction discriminante de Fisher :
2 gi’ W-1 x = αi + βi,1 X1 + βi,2 X2 + … + βi,p Xp
Le nouvel individu x est affecté au groupe pour lequel cette fonction est maximale.