Analyse Discriminante

Cette leçon porte sur l’analyse discriminante, une méthode statistique utilisée pour étudier des ensembles d’individus décrits par des variables quantitatives et répartis en groupes définis par une variable qualitative. Elle s’inscrit dans un cours de statistique multivariée et couvre à la fois l’analyse discriminante descriptive, qui vise à représenter graphiquement la séparation des groupes, et l’analyse discriminante prédictive, qui permet de classer de nouvelles observations.

Introduction à l’analyse discriminante

L’analyse discriminante s’applique à un ensemble d’individus caractérisés par une variable qualitative Y à expliquer et des variables explicatives quantitatives X1, X2, ..., Xp. Elle répond à deux problématiques principales :

• Analyse discriminante descriptive : trouver une représentation des individus qui sépare au mieux les groupes.
• Analyse discriminante prédictive : élaborer des règles d’affectation des individus à leur groupe.

Le principe fondamental, introduit par Fisher en 1936, consiste à construire des combinaisons linéaires des variables explicatives qui maximisent l’homogénéité à l’intérieur de chaque classe tout en séparant au mieux les classes entre elles.

Objectifs et domaines d’application

Dans un tableau Individus × Variables, les individus sont décrits par p variables quantitatives et répartis en k classes selon une variable qualitative Y. L’objectif est double :

• Rechercher des variables discriminantes Zh, qui sont des combinaisons linéaires des variables Xj, non corrélées entre elles, et qui maximisent la séparation entre les k classes (analyse factorielle discriminante).
• Affecter une nouvelle observation à une classe en fonction de ses valeurs observées sur les variables X (analyse discriminante bayésienne).

Cette méthode trouve des applications dans de nombreux domaines :

• Médecine : diagnostiquer une maladie à partir des symptômes d’un patient.
• Finance : évaluer le risque de faillite d’une entreprise ou le risque de crédit d’un client.
• Pétrole : présumer de l’existence d’une nappe de pétrole à partir d’analyses de carottes de forage.
• Télédétection : identifier automatiquement la nature du terrain (forêt, sable, ville, mer) à partir de mesures satellitaires.
• Marketing : prévoir la réponse d’un client à une offre commerciale selon ses caractéristiques.

Analyse discriminante descriptive

On considère un échantillon de n individus e_i, formant un nuage E dans l’espace Rp, partagé en k sous-nuages E1, E2, ..., Ek. Chaque sous-nuage est caractérisé par un centre de gravité g_i et une matrice de variance V_i. Le nuage global a un centre de gravité g et une matrice de variance V. Les individus peuvent être pondérés par des poids p_i, rangés dans une matrice diagonale D.

L’analyse factorielle discriminante cherche de nouvelles variables, appelées variables discriminantes, qui correspondent à des directions dans Rp permettant de projeter les individus de façon à séparer au mieux les k groupes. Ces variables sont des combinaisons linéaires des variables initiales Xj.

Les facteurs discriminants sont obtenus par la diagonalisation de la matrice V⁻¹B, où B est la matrice de variance inter-classes. Le nombre maximum de facteurs discriminants est k – 1, avec k le nombre de classes. Chaque facteur explique une part décroissante de la variance inter-classes.

Par exemple, pour k = 3 classes, le premier facteur détermine un axe dans le nuage de points tel que la variance des projections des points sur cet axe soit maximale entre les classes. Le second facteur est orthogonal au premier et maximise également la variance inter-classes, et ainsi de suite.

Si l’on a seulement deux groupes, un seul facteur discriminant suffit, qui correspond à l’axe où la séparation entre les groupes est la plus nette. Pour plus de deux groupes, on obtient un plan discriminant formé par les deux premiers facteurs, où la dispersion des centroïdes est la mieux représentée.

Analyse discriminante prédictive

Les facteurs discriminants permettent de représenter la séparation des k centroïdes de classe dans un espace orthonormé. Pour classer un nouvel individu x, on le projette dans cet espace et on l’affecte à la classe dont le centroïde est le plus proche.

La distance utilisée est la distance de Mahalanobis, définie par :

d²(x,y) = (x - y)’ W⁻¹ (x - y)

où W est la matrice intra-classes (matrice de variance-covariance des groupes).

On classe x dans le groupe G_i pour lequel la distance au centre g_i est minimale :

d²(x, g_i) = (x - g_i)’ W⁻¹ (x - g_i) = x’ W⁻¹ x – 2 g_i’ W⁻¹ x + g_i’ W⁻¹ g_i

Minimiser cette distance revient à maximiser :

2 g_i’ W⁻¹ x – g_i’ W⁻¹ g_i

Le terme g_i’ W⁻¹ g_i est constant par rapport à x et peut être ignoré dans la décision.

Pour chaque groupe G_i, on définit une fonction discriminante de Fisher :

2 g_i’ W⁻¹ x = α_i + β_i,1 X_1 + β_i,2 X_2 + … + β_i,p X_p

La classification de x se fait en attribuant x au groupe dont la fonction discriminante est maximale.

Points clés

• L’analyse discriminante permet de séparer des groupes définis par une variable qualitative à partir de variables quantitatives explicatives.
• Elle comprend une partie descriptive (recherche de variables discriminantes) et une partie prédictive (classification de nouvelles observations).
• Les variables discriminantes sont des combinaisons linéaires des variables initiales qui maximisent la variance inter-classes.
• Le nombre maximal de facteurs discriminants est k – 1, avec k le nombre de classes.
• La classification repose sur la distance de Mahalanobis entre un individu et les centroïdes des classes.
• La fonction discriminante de Fisher est une combinaison linéaire des variables explicatives utilisée pour affecter un individu à une classe.