Analyse Discriminante
Analyse Discriminante
Statistical Analysis, Data Science, Finance, Medicine · course
Fiche de révisionFiche de cours
Rédigée à partir de ce document, puis vérifiée avant publication.
Ce matériel couvre les principes fondamentaux et les applications de l’analyse discriminante, une méthode statistique utilisée pour classifier des individus en groupes à partir de variables quantitatives. Il s’adresse aux étudiants et chercheurs en statistiques, data science, ou disciplines appliquées souhaitant comprendre et appliquer cette technique pour la description et la prédiction des classes.
L’analyse discriminante traite d’un ensemble d’individus caractérisés par une variable qualitative à expliquer Y (les classes) et des variables explicatives quantitatives X1, X2, ..., Xp. Elle répond à deux problématiques principales :
Le principe de base, proposé par Fisher en 1936, est de créer une méthode qui choisit parmi les combinaisons linéaires des variables explicatives celle qui maximise l’homogénéité de chaque classe.
On étudie un tableau individus × variables où chaque individu est décrit par p variables X1, ..., Xp. Les individus sont répartis en k classes selon la variable qualitative Y.
Les objectifs sont :
Les n individus de l’échantillon forment un nuage E dans Rp, divisé en k sous-nuages E1, E2, ..., Ek, chacun avec un centre de gravité g1, g2, ..., gk et une matrice de variance V1, V2, ..., Vk.
On note :
L’analyse factorielle discriminante cherche de nouvelles variables discriminantes, qui sont des directions dans Rp permettant de projeter les individus de façon à séparer au mieux les k groupes.
Le premier facteur discriminant définit un axe dans le nuage de points passant par l’origine, tel que la variance inter-classes (variance des moyennes de classe projetées) soit maximale.
Le deuxième facteur (F2) est orthogonal au premier et maximise également la variance inter-classes dans cette direction. Le troisième facteur suit le même principe, et ainsi de suite.
Les facteurs discriminants fournissent une représentation optimale des centroïdes des classes dans un espace orthonormé. Pour un individu x projeté dans cet espace, on l’affecte à la classe dont le centroïde est le plus proche.
On définit des régions de décision R1, R2, ..., Rk délimitant les zones d’appartenance aux différentes classes.
La distance d entre deux points x et y est donnée par :
d²(x,y) = (x - y)’ W⁻¹ (x - y)
où W est la matrice intra-classes (matrice de variance-covariance des groupes).
Pour classer un individu x, on calcule la distance au centroïde gi de chaque groupe Gi :
d²(x, gi) = (x - gi)’ W⁻¹ (x - gi) = x’ W⁻¹ x – 2 gi’ W⁻¹ x + gi’ W⁻¹ gi
On classe x dans le groupe Gi pour lequel d²(x, gi) est minimale, ce qui revient à maximiser :
2 gi’ W⁻¹ x – gi’ W⁻¹ gi
Le terme gi’ W⁻¹ gi est constant par rapport à x, donc la classification dépend de la maximisation de 2 gi’ W⁻¹ x.
Pour chaque groupe Gi, on définit une fonction discriminante linéaire :
2 gi’ W⁻¹ x = αi + βi,1 X1 + βi,2 X2 + … + βi,p Xp
où αi et les βi,j sont des coefficients calculés à partir des centroïdes et de la matrice W.
L’individu x est affecté au groupe pour lequel cette fonction est maximale.