<!-- Slide number: 1 -->

Année Universitaire 2019-2020
Analyse Discriminante
Slim Zouaoui & Walid Barhoumi
Notes:
<!-- Slide number: 2 -->

Analyse discriminante
Situation : on a un ensemble d’individus caractérisés par une variable à expliquer Y qualitative et des variables explicatives Xi quantitatives
• Analyse discriminante descriptive: trouver une représentation des individus qui sépare le mieux les groupes.
• Analyse discriminante prédictive: trouver des règles d’affectation des individus à leur groupe
L’analyse discriminante offre des solutions à ces deux problématiques
Principe de l’analyse discriminante
• Créer une méthode pour choisir entre les combinaisons linéaires des variables celle qui maximise l'homogénéité de chaque classe (Fisher 1936)
Notes:
<!-- Slide number: 3 -->
Les objectifs de l’analyse discriminante
Étude d’un tableau IndividusVariables : Les individus sont décrits par p variables X1,…, Xp.
Les individus sont répartis en k classes selon les modalités d’une variable qualitative Y.
Rechercher des variables discriminantes Zh, combinaisons linéaires des Xj, non corrélées entre elles, et séparant au mieux les k classes (analyse factorielle discriminante).
Affecter une nouvelle observation à une des classes en fonction de ses valeurs de varirables X observées (analyse discriminante Bayesienne).
Publicité
<!-- Slide number: 4 -->
Domaines d’application
Médecine : Connaissant les symptômes présentés par un patient,
peut-on porter un diagnostic sur sa maladie ?
Finance :
- A partir des bilans d’une société, est-il possible d’estimer son risque de faillite à 2 ans ou 3 ans (scoring financier) ?
- Au moment d’une demande de prêt par un client, peut-on prévoir en fonction des caractéristiques du client, le risque des crédits (scoring)
Pétrole : Au vu des analyses des carottes issues d’un forage, est-il possible de présumer de l’existence d’une nappe de pétrole ?
Télédétection : A partir de mesures par satellite des ondes réfléchies ou absorbées par le sol dans différentes longueurs d’onde, peut-on reconstituer automatiquement la nature du terrain étudié (forêt, sable, ville, mer...) ?
Marketing : Connaissant les caractéristiques d’un client, peut-on prévoir sa réponse à une offre de produit par courrier ?
<!-- Slide number: 5 -->
I - Analyse discriminante descriptive

<!-- Slide number: 6 -->
I - Analyse discriminante descriptive
Données - Notations
Les n individus ei de l’échantillon constituent un nuage E, de Rp partagé
en k sous-nuages : E1, E2, ….Ek de centres de gravité g1, g2 ... gk
de matrices de variances V1 , V2 ... Vk
g : centre de gravité de E
V : matrice de variance de E
Les n individus sont affectés par des
poids (% importance des individus)
Publicité
p1, p2 ...pn rangés dans une matrice
diagonale D

<!-- Slide number: 7 -->
L’Analyse Factorielle Discriminante consiste à chercher de nouvelles variables (les variables discriminantes) correspondant à des directions de Rp qui séparent le mieux possible en projection les k groupes d’observations.

<!-- Slide number: 8 -->

A Matrice des indicatrices de la variable qualitative à prédire
X Matrice des prédicateurs

<!-- Slide number: 9 -->


<!-- Slide number: 10 -->

<!-- Slide number: 11 -->

<!-- Slide number: 12 -->

<!-- Slide number: 13 -->

Publicité
<!-- Slide number: 14 -->

<!-- Slide number: 15 -->


Exemple : analyse discriminante pour k=3
• Géométriquement: le 1er facteur détermine un axe dans le nuage de points (passant par l’origine) tel que les projections des points sur cet axe aient une variance inter-classes (variance des moyennes de classe) maximale.
• Le 2eme facteur (F2) est non corrélé (perpendiculaire) au 1er et de variance inter-classes max. Idem, pour le 3eme ...
<!-- Slide number: 16 -->
Propriétés des facteurs discriminants
• Les facteurs (vecteurs propres ) sont entièrement déterminés par la matrice définie par: V-1B (Diagonalisation de la matrice)
• Le nombre maximum de facteurs discriminants = k–1 avec k nombres de classes.
• La part de variance inter-classes expliquée =
variance inter / variance totale est décroissante entre les facteurs
successifs.
<!-- Slide number: 17 -->
• Si 2 groupes => 1 seul facteur = axe de projection où la séparation inter-classes est la mieux exprimée => coordonnées sur cet axe = scores discriminants.
• Si + de 2 groupes => plan discriminant (F1) et (F2)
= plan de projection ou la variance inter-classes B (=> dispersion des centroïdes dans le plan) sera la mieux représentée

<!-- Slide number: 18 -->
II - Analyse discriminante prédictive
Publicité
• Les facteurs discriminants donnent la meilleure représentation de la séparation des k centroïdes de classe (dans un espace orthonormé)
pour un individu x projeté dans l’espace des facteurs: attribuer la classe dont le centroïde est le plus proche.

détermination de 3 régions de
décision (R1, R2 , R3) délimitant les points ‘sensés’ appartenir aux différentes classes.
<!-- Slide number: 19 -->
Analyse discriminante prédictive
• Distance d de 2 points x et y : d²(x,y) = (x-y)’ W-1 (x-y)
avec W : matrice intra-classes des groupes.
• On classe x dans le groupe Gi pour lequel la distance au centre gi est minimale :
d²(x,gi) = (x-gi)’ W-1(x-gi) = x’ W-1 x – 2gi’ W-1 x + gi’ W-1 gi
Minimiser d²(x,gi) Maximiser 2gi’ W-1 x - gi’ W-1 gi
gi’ W-1 gi est une constante ne dépend pas de x
<!-- Slide number: 20 -->
Analyse discriminante prédictive
Minimiser d²(x,gi) Maximiser 2gi’ W-1 x
• Pour chacun des k groupes Gi, on a une fonction discriminante de Fisher :
2gi’ W-1 x = αi + βi,1X1 + βi,2X2 + … βi,pXp
• et on classe x dans le groupe pour lequel la fonction est maximale
