Analyse Discriminante

Cette leçon porte sur l’analyse discriminante, une méthode statistique utilisée pour étudier des ensembles d’individus décrits par des variables quantitatives et répartis en groupes définis par une variable qualitative. Elle s’inscrit dans un cours sur les méthodes multivariées et présente à la fois une approche descriptive et prédictive de l’analyse discriminante.

Introduction à l’analyse discriminante

L’analyse discriminante s’applique à un ensemble d’individus caractérisés par une variable qualitative à expliquer Y et des variables explicatives quantitatives X1, X2, ..., Xp. Elle répond à deux problématiques principales :

• Analyse discriminante descriptive : trouver une représentation des individus qui sépare au mieux les groupes définis par Y.
• Analyse discriminante prédictive : établir des règles permettant d’affecter un nouvel individu à l’un des groupes en fonction de ses variables observées.

Le principe fondamental, introduit par Fisher en 1936, consiste à choisir parmi les combinaisons linéaires des variables explicatives celle qui maximise l’homogénéité de chaque classe.

Objectifs et domaines d’application

L’objectif de l’analyse discriminante est double :

• Rechercher des variables discriminantes Zh, qui sont des combinaisons linéaires non corrélées des variables Xj, permettant de séparer au mieux les k classes.
• Affecter une nouvelle observation à une classe donnée en fonction de ses valeurs sur les variables explicatives (analyse discriminante bayésienne).

Cette méthode trouve des applications dans divers domaines :

• Médecine : diagnostiquer une maladie à partir des symptômes d’un patient.
• Finance : estimer le risque de faillite d’une entreprise ou le risque de crédit d’un client.
• Pétrole : détecter la présence d’une nappe de pétrole à partir d’analyses géologiques.
• Télédétection : identifier la nature du terrain (forêt, sable, ville, mer) à partir des mesures satellitaires.
• Marketing : prévoir la réponse d’un client à une offre commerciale selon ses caractéristiques.

Analyse discriminante descriptive

Dans cette approche, on considère un échantillon de n individus, chacun décrit par p variables quantitatives. Ces individus forment un nuage E dans l’espace Rp, réparti en k sous-nuages E1, E2, ..., Ek correspondant aux k classes. Chaque sous-nuage a un centre de gravité gi et une matrice de variance Vi. Le nuage global a un centre g et une matrice de variance V.

Les individus peuvent être pondérés par des poids p1, p2, ..., pn, rangés dans une matrice diagonale D.

L’analyse factorielle discriminante cherche alors de nouvelles variables, appelées variables discriminantes, qui sont des directions dans Rp permettant de projeter les individus de manière à séparer au mieux les k groupes. Ces variables sont des combinaisons linéaires des variables initiales Xj, non corrélées entre elles.

La matrice A représente les indicatrices de la variable qualitative à prédire, tandis que la matrice X contient les variables explicatives.

Exemple géométrique et propriétés des facteurs discriminants

Pour k=3 classes, le premier facteur discriminant définit un axe dans le nuage de points passant par l’origine, tel que la variance inter-classes (variance des moyennes des classes projetées) soit maximale. Le second facteur est orthogonal au premier et maximise également la variance inter-classes, et ainsi de suite pour les facteurs suivants.

Les facteurs discriminants sont les vecteurs propres de la matrice V-1B, où B est la matrice de variance inter-classes. Le nombre maximum de facteurs discriminants est k–1.

La part de variance inter-classes expliquée par chaque facteur décroît avec les facteurs successifs.

Dans le cas de deux groupes, un seul facteur suffit, correspondant à l’axe de projection qui sépare le mieux les classes. Pour plus de deux groupes, on obtient un plan discriminant formé par les deux premiers facteurs, où la dispersion des centroïdes est la mieux représentée.

Analyse discriminante prédictive

Les facteurs discriminants permettent de représenter les centroïdes des classes dans un espace orthonormé. Pour un nouvel individu x projeté dans cet espace, on attribue la classe dont le centroïde est le plus proche.

La distance utilisée est la distance de Mahalanobis définie par :

d²(x,y) = (x - y)’ W-1 (x - y)

où W est la matrice intra-classes des groupes.

On classe l’individu x dans le groupe Gi pour lequel la distance au centre gi est minimale :

d²(x,gi) = (x - gi)’ W-1 (x - gi) = x’ W-1 x – 2 gi’ W-1 x + gi’ W-1 gi

Minimiser cette distance revient à maximiser :

2 gi’ W-1 x – gi’ W-1 gi

La quantité gi’ W-1 gi est constante par rapport à x.

Pour chaque groupe Gi, on définit une fonction discriminante de Fisher :

2 gi’ W-1 x = αi + βi,1 X1 + βi,2 X2 + … + βi,p Xp

L’individu x est affecté au groupe dont la fonction discriminante est maximale.

Points clés

• L’analyse discriminante vise à séparer des groupes d’individus décrits par des variables quantitatives en combinant ces variables linéairement.
• Elle comprend une phase descriptive (représentation des groupes) et une phase prédictive (classification d’un nouvel individu).
• Les variables discriminantes sont des combinaisons linéaires non corrélées maximisant la variance inter-classes.
• Le nombre maximal de facteurs discriminants est égal à k–1, où k est le nombre de classes.
• La classification prédictive repose sur la distance de Mahalanobis et les fonctions discriminantes de Fisher.
• Cette méthode est utilisée dans de nombreux domaines tels que la médecine, la finance, la géologie, la télédétection et le marketing.