Analyse Discriminante

Ce document présente les concepts fondamentaux de l’analyse discriminante, une méthode statistique utilisée pour classer des individus en groupes à partir de variables quantitatives explicatives et d’une variable qualitative à expliquer. Destiné aux étudiants et chercheurs en statistiques, data science ou disciplines appliquées, ce matériel couvre à la fois l’analyse discriminante descriptive et prédictive.

Introduction à l’analyse discriminante

L’analyse discriminante s’applique à un ensemble d’individus caractérisés par une variable qualitative Y à expliquer (les groupes) et des variables quantitatives explicatives X1, X2, ..., Xp. Elle répond à deux problématiques principales :

• Analyse discriminante descriptive : trouver une représentation des individus qui sépare au mieux les groupes.
• Analyse discriminante prédictive : élaborer des règles pour affecter un nouvel individu à un groupe en fonction de ses variables observées.

Le principe fondamental, proposé par Fisher en 1936, est de choisir une combinaison linéaire des variables explicatives qui maximise l’homogénéité au sein de chaque classe.

Objectifs de l’analyse discriminante

On étudie un tableau individus × variables où chaque individu est décrit par p variables quantitatives X1, ..., Xp. Ces individus sont répartis en k classes selon une variable qualitative Y.

L’objectif est double :

• Rechercher des variables discriminantes Zh, qui sont des combinaisons linéaires des Xj, non corrélées entre elles, et qui séparent au mieux les k classes. Cette étape correspond à l’analyse factorielle discriminante.
• Affecter une nouvelle observation à une des classes en fonction de ses valeurs observées des variables X, ce qui relève de l’analyse discriminante bayésienne.

Domaines d’application

• Médecine : diagnostiquer une maladie à partir des symptômes d’un patient.
• Finance : estimer le risque de faillite d’une société ou le risque de crédit d’un client à partir de leurs caractéristiques financières.
• Pétrole : prédire la présence d’une nappe de pétrole à partir des analyses des carottes de forage.
• Télédétection : reconstituer la nature du terrain (forêt, sable, ville, mer) à partir des mesures satellitaires.
• Marketing : prévoir la réponse d’un client à une offre commerciale selon ses caractéristiques.

Analyse discriminante descriptive

Les n individus de l’échantillon forment un nuage E dans Rp, divisé en k sous-nuages E1, E2, ..., Ek, chacun avec un centre de gravité g1, g2, ..., gk et une matrice de variance V1, V2, ..., Vk. Le centre de gravité global est noté g et la matrice de variance globale V.

Les individus peuvent être pondérés par des poids p1, p2, ..., pn, rangés dans une matrice diagonale D.

L’analyse factorielle discriminante cherche de nouvelles variables discriminantes, c’est-à-dire des directions dans Rp qui maximisent la séparation des k groupes en projection.

Exemple géométrique pour k=3 classes

Le premier facteur discriminant détermine un axe dans le nuage de points passant par l’origine, tel que la variance inter-classes (variance des moyennes de classe projetées) soit maximale. Le deuxième facteur est orthogonal au premier et maximise également la variance inter-classes, et ainsi de suite.

Propriétés des facteurs discriminants

• Les facteurs discriminants sont les vecteurs propres de la matrice V⁻¹B, où B est la matrice de variance inter-classes.
• Le nombre maximum de facteurs discriminants est k – 1, avec k le nombre de classes.
• La part de variance inter-classes expliquée par chaque facteur décroît avec les facteurs successifs.
• Pour deux groupes, un seul facteur suffit, qui correspond à l’axe où la séparation est optimale.
• Pour plus de deux groupes, on obtient un plan discriminant (F1, F2) qui maximise la représentation de la dispersion des centroïdes.

Analyse discriminante prédictive

Les facteurs discriminants fournissent une représentation orthonormée des k centroïdes de classe. Pour un individu x projeté dans cet espace, on l’affecte à la classe dont le centroïde est le plus proche.

Distance utilisée

La distance d entre deux points x et y est définie par :

d²(x,y) = (x - y)’ W⁻¹ (x - y)

où W est la matrice intra-classes (matrice de variance à l’intérieur des groupes).

Règle de classification

On classe x dans le groupe Gi pour lequel la distance au centre gi est minimale :

d²(x, gi) = (x - gi)’ W⁻¹ (x - gi) = x’ W⁻¹ x – 2 gi’ W⁻¹ x + gi’ W⁻¹ gi

Minimiser cette distance revient à maximiser :

2 gi’ W⁻¹ x – gi’ W⁻¹ gi

Le terme gi’ W⁻¹ gi est constant par rapport à x.

Fonctions discriminantes de Fisher

Pour chaque groupe Gi, on définit une fonction discriminante linéaire :

2 gi’ W⁻¹ x = αi + βi,1 X1 + βi,2 X2 + … + βi,p Xp

On affecte l’individu x au groupe dont la fonction discriminante est maximale.

Exemple simplifié

Supposons deux groupes G1 et G2 avec centroïdes g1 et g2, et une matrice W connue. Pour un individu x, on calcule :

• f1(x) = α1 + β1,1 X1 + … + β1,p Xp
• f2(x) = α2 + β2,1 X1 + … + β2,p Xp

Si f1(x) > f2(x), alors x est classé dans G1, sinon dans G2.

Glossaire des termes clés

• Analyse discriminante : méthode statistique pour classer des individus en groupes à partir de variables explicatives.
• Variable qualitative Y : variable catégorielle définissant les groupes/classes.
• Variables explicatives X1, ..., Xp : variables quantitatives utilisées pour la classification.
• Facteurs discriminants : combinaisons linéaires des variables X qui maximisent la séparation entre groupes.
• Centre de gravité (gi) : moyenne des individus d’un groupe Gi dans l’espace des variables.
• Matrice de variance intra-classes (W) : matrice représentant la variance à l’intérieur des groupes.
• Variance inter-classes (B) : variance des centroïdes des groupes.
• Distance de Mahalanobis : distance pondérée par l’inverse de la matrice W, utilisée pour la classification.
• Fonction discriminante de Fisher : fonction linéaire utilisée pour classer un individu dans un groupe.

Points clés à retenir

• L’analyse discriminante vise à séparer au mieux des groupes définis par une variable qualitative à partir de variables quantitatives.
• Elle comprend une phase descriptive (représentation des groupes) et une phase prédictive (classification de nouveaux individus).
• Les facteurs discriminants sont des combinaisons linéaires des variables explicatives maximisant la variance inter-classes.
• Le nombre maximal de facteurs discriminants est égal à k – 1, avec k le nombre de classes.
• La classification repose sur la minimisation de la distance de Mahalanobis entre l’individu et les centroïdes des groupes.
• Les fonctions discriminantes linéaires de Fisher permettent d’attribuer un individu à la classe pour laquelle cette fonction est maximale.