Analyse Discriminante
Analyse Discriminante
Statistics and Data Analysis · notes
Fiche de révisionRésumé
Rédigée à partir de ce document, puis vérifiée avant publication.
Cette leçon porte sur l’analyse discriminante, une méthode statistique utilisée pour étudier des ensembles d’individus décrits par des variables quantitatives et répartis en groupes définis par une variable qualitative. Elle s’inscrit dans un cours de statistique multivariée et couvre à la fois l’analyse discriminante descriptive, qui vise à représenter graphiquement la séparation des groupes, et l’analyse discriminante prédictive, qui permet de classer de nouvelles observations.
L’analyse discriminante s’applique à un ensemble d’individus caractérisés par une variable qualitative Y à expliquer et des variables explicatives quantitatives X1, X2, ..., Xp. Elle répond à deux problématiques principales :
Le principe fondamental, introduit par Fisher en 1936, consiste à construire des combinaisons linéaires des variables explicatives qui maximisent l’homogénéité à l’intérieur de chaque classe tout en séparant au mieux les classes entre elles.
Dans un tableau Individus × Variables, les individus sont décrits par p variables quantitatives et répartis en k classes selon une variable qualitative Y. L’objectif est double :
Cette méthode trouve des applications dans de nombreux domaines :
On considère un échantillon de n individus e_i, formant un nuage E dans l’espace Rp, partagé en k sous-nuages E1, E2, ..., Ek. Chaque sous-nuage est caractérisé par un centre de gravité g_i et une matrice de variance V_i. Le nuage global a un centre de gravité g et une matrice de variance V. Les individus peuvent être pondérés par des poids p_i, rangés dans une matrice diagonale D.
L’analyse factorielle discriminante cherche de nouvelles variables, appelées variables discriminantes, qui correspondent à des directions dans Rp permettant de projeter les individus de façon à séparer au mieux les k groupes. Ces variables sont des combinaisons linéaires des variables initiales Xj.
Les facteurs discriminants sont obtenus par la diagonalisation de la matrice V⁻¹B, où B est la matrice de variance inter-classes. Le nombre maximum de facteurs discriminants est k – 1, avec k le nombre de classes. Chaque facteur explique une part décroissante de la variance inter-classes.
Par exemple, pour k = 3 classes, le premier facteur détermine un axe dans le nuage de points tel que la variance des projections des points sur cet axe soit maximale entre les classes. Le second facteur est orthogonal au premier et maximise également la variance inter-classes, et ainsi de suite.
Si l’on a seulement deux groupes, un seul facteur discriminant suffit, qui correspond à l’axe où la séparation entre les groupes est la plus nette. Pour plus de deux groupes, on obtient un plan discriminant formé par les deux premiers facteurs, où la dispersion des centroïdes est la mieux représentée.
Les facteurs discriminants permettent de représenter la séparation des k centroïdes de classe dans un espace orthonormé. Pour classer un nouvel individu x, on le projette dans cet espace et on l’affecte à la classe dont le centroïde est le plus proche.
La distance utilisée est la distance de Mahalanobis, définie par :
d²(x,y) = (x - y)’ W⁻¹ (x - y)
où W est la matrice intra-classes (matrice de variance-covariance des groupes).
On classe x dans le groupe G_i pour lequel la distance au centre g_i est minimale :
d²(x, g_i) = (x - g_i)’ W⁻¹ (x - g_i) = x’ W⁻¹ x – 2 g_i’ W⁻¹ x + g_i’ W⁻¹ g_i
Minimiser cette distance revient à maximiser :
2 g_i’ W⁻¹ x – g_i’ W⁻¹ g_i
Le terme g_i’ W⁻¹ g_i est constant par rapport à x et peut être ignoré dans la décision.
Pour chaque groupe G_i, on définit une fonction discriminante de Fisher :
2 g_i’ W⁻¹ x = α_i + β_i,1 X_1 + β_i,2 X_2 + … + β_i,p X_p
La classification de x se fait en attribuant x au groupe dont la fonction discriminante est maximale.