Analyse Discriminante

1/20
100%

<!-- Slide number: 1 -->

![04 Tile](Picture44.jpg)

Année Universitaire 2019-2020

Analyse Discriminante

Slim Zouaoui & Walid Barhoumi

Notes:

<!-- Slide number: 2 -->

![04 Tile](Picture44.jpg)

Analyse discriminante

Situation : on a un ensemble d’individus caractérisés par une variable à expliquer Y qualitative et des variables explicatives Xi quantitatives

• Analyse discriminante descriptive: trouver une représentation des individus qui sépare le mieux les groupes.

• Analyse discriminante prédictive: trouver des règles d’affectation des individus à leur groupe

 L’analyse discriminante offre des solutions à ces deux problématiques

Principe de l’analyse discriminante

• Créer une méthode pour choisir entre les combinaisons linéaires des variables celle qui maximise l'homogénéité de chaque classe (Fisher 1936)

Notes:

<!-- Slide number: 3 -->

Les objectifs de l’analyse discriminante

Étude d’un tableau IndividusVariables : Les individus sont décrits par p variables X1,…, Xp.

Les individus sont répartis en k classes selon les modalités d’une variable qualitative Y.

Rechercher des variables discriminantes Zh, combinaisons linéaires des Xj, non corrélées entre elles, et séparant au mieux les k classes (analyse factorielle discriminante).

Affecter une nouvelle observation à une des classes en fonction de ses valeurs de varirables X observées (analyse discriminante Bayesienne).

Publicité

<!-- Slide number: 4 -->

Domaines d’application

Médecine : Connaissant les symptômes présentés par un patient,

peut-on porter un diagnostic sur sa maladie ?

Finance :

  • A partir des bilans d’une société, est-il possible d’estimer son risque de faillite à 2 ans ou 3 ans (scoring financier) ?
  • Au moment d’une demande de prêt par un client, peut-on prévoir en fonction des caractéristiques du client, le risque des crédits (scoring)

Pétrole : Au vu des analyses des carottes issues d’un forage, est-il possible de présumer de l’existence d’une nappe de pétrole ?

Télédétection : A partir de mesures par satellite des ondes réfléchies ou absorbées par le sol dans différentes longueurs d’onde, peut-on reconstituer automatiquement la nature du terrain étudié (forêt, sable, ville, mer...) ?

Marketing : Connaissant les caractéristiques d’un client, peut-on prévoir sa réponse à une offre de produit par courrier ?

<!-- Slide number: 5 -->

I - Analyse discriminante descriptive

![](Picture28.jpg)

<!-- Slide number: 6 -->

I - Analyse discriminante descriptive

Données - Notations

Les n individus ei de l’échantillon constituent un nuage E, de Rp partagé

en k sous-nuages : E1, E2, ….Ek de centres de gravité g1, g2 ... gk

de matrices de variances V1 , V2 ... Vk

g : centre de gravité de E

V : matrice de variance de E

Les n individus sont affectés par des

poids (% importance des individus)

Publicité

p1, p2 ...pn rangés dans une matrice

diagonale D

![](Picture25.jpg)

<!-- Slide number: 7 -->

L’Analyse Factorielle Discriminante consiste à chercher de nouvelles variables (les variables discriminantes) correspondant à des directions de Rp qui séparent le mieux possible en projection les k groupes d’observations.

![](Picture27.jpg)

<!-- Slide number: 8 -->

![](Picture27.jpg)

A Matrice des indicatrices de la variable qualitative à prédire

X Matrice des prédicateurs

![](Picture29.jpg)

<!-- Slide number: 9 -->

![](Picture2.jpg)

![](Picture3.jpg)

<!-- Slide number: 10 -->

![](Picture2.jpg)

<!-- Slide number: 11 -->

![](Picture2.jpg)

<!-- Slide number: 12 -->

![](Picture2.jpg)

<!-- Slide number: 13 -->

![](Picture2.jpg)

Publicité

<!-- Slide number: 14 -->

![](Picture2.jpg)

<!-- Slide number: 15 -->

![](Picture28.jpg)

![](Picture29.jpg)

Exemple : analyse discriminante pour k=3

• Géométriquement: le 1er facteur détermine un axe dans le nuage de points (passant par l’origine) tel que les projections des points sur cet axe aient une variance inter-classes (variance des moyennes de classe) maximale.

• Le 2eme facteur (F2) est non corrélé (perpendiculaire) au 1er et de variance inter-classes max. Idem, pour le 3eme ...

<!-- Slide number: 16 -->

Propriétés des facteurs discriminants

• Les facteurs (vecteurs propres ) sont entièrement déterminés par la matrice définie par: V-1B (Diagonalisation de la matrice)

• Le nombre maximum de facteurs discriminants = k–1 avec k nombres de classes.

• La part de variance inter-classes expliquée =

variance inter / variance totale est décroissante entre les facteurs

successifs.

<!-- Slide number: 17 -->

• Si 2 groupes => 1 seul facteur = axe de projection où la séparation inter-classes est la mieux exprimée => coordonnées sur cet axe = scores discriminants.

• Si + de 2 groupes => plan discriminant (F1) et (F2)

= plan de projection ou la variance inter-classes B (=> dispersion des centroïdes dans le plan) sera la mieux représentée

![](Picture2.jpg)

<!-- Slide number: 18 -->

II - Analyse discriminante prédictive

Publicité

• Les facteurs discriminants donnent la meilleure représentation de la séparation des k centroïdes de classe (dans un espace orthonormé)

 pour un individu x projeté dans l’espace des facteurs: attribuer la classe dont le centroïde est le plus proche.

![](Picture2.jpg)

détermination de 3 régions de

décision (R1, R2 , R3) délimitant les points ‘sensés’ appartenir aux différentes classes.

<!-- Slide number: 19 -->

Analyse discriminante prédictive

• Distance d de 2 points x et y : d²(x,y) = (x-y)’ W-1 (x-y)

avec W : matrice intra-classes des groupes.

• On classe x dans le groupe Gi pour lequel la distance au centre gi est minimale :

d²(x,gi) = (x-gi)’ W-1(x-gi) = x’ W-1 x – 2gi’ W-1 x + gi’ W-1 gi

Minimiser d²(x,gi) Maximiser 2gi’ W-1 x - gi’ W-1 gi

gi’ W-1 gi est une constante ne dépend pas de x

<!-- Slide number: 20 -->

Analyse discriminante prédictive

Minimiser d²(x,gi) Maximiser 2gi’ W-1 x

• Pour chacun des k groupes Gi, on a une fonction discriminante de Fisher :

2gi’ W-1 x = αi + βi,1X1 + βi,2X2 + … βi,pXp

• et on classe x dans le groupe pour lequel la fonction est maximale

![](Picture2.jpg)

Analyse Discriminante

Statistical Analysis and Machine Learning · notes

Browse all intelligence artificielle et données documents

<!-- Slide number: 1 -->

![04 Tile](Picture44.jpg)

Année Universitaire 2019-2020

Analyse Discriminante

Slim Zouaoui & Walid Barhoumi

Notes:

<!-- Slide number: 2 -->

![04 Tile](Picture44.jpg)

Analyse discriminante

Situation : on a un ensemble d’individus caractérisés par une variable à expliquer Y qualitative et des variables explicatives Xi quantitatives

• Analyse discriminante descriptive: trouver une représentation des individus qui sépare le mieux les groupes.

• Analyse discriminante prédictive: trouver des règles d’affectation des individus à leur groupe

 L’analyse discriminante offre des solutions à ces deux problématiques

Principe de l’analyse discriminante

• Créer une méthode pour choisir entre les combinaisons linéaires des variables celle qui maximise l'homogénéité de chaque classe (Fisher 1936)

Notes:

<!-- Slide number: 3 -->

Les objectifs de l’analyse discriminante

Étude d’un tableau IndividusVariables : Les individus sont décrits par p variables X1,…, Xp.

Les individus sont répartis en k classes selon les modalités d’une variable qualitative Y.

Rechercher des variables discriminantes Zh, combinaisons linéaires des Xj, non corrélées entre elles, et séparant au mieux les k classes (analyse factorielle discriminante).

Affecter une nouvelle observation à une des classes en fonction de ses valeurs de varirables X observées (analyse discriminante Bayesienne).

Advertisement

<!-- Slide number: 4 -->

Domaines d’application

Médecine : Connaissant les symptômes présentés par un patient,

peut-on porter un diagnostic sur sa maladie ?

Finance :

  • A partir des bilans d’une société, est-il possible d’estimer son risque de faillite à 2 ans ou 3 ans (scoring financier) ?
  • Au moment d’une demande de prêt par un client, peut-on prévoir en fonction des caractéristiques du client, le risque des crédits (scoring)

Pétrole : Au vu des analyses des carottes issues d’un forage, est-il possible de présumer de l’existence d’une nappe de pétrole ?

Télédétection : A partir de mesures par satellite des ondes réfléchies ou absorbées par le sol dans différentes longueurs d’onde, peut-on reconstituer automatiquement la nature du terrain étudié (forêt, sable, ville, mer...) ?

Marketing : Connaissant les caractéristiques d’un client, peut-on prévoir sa réponse à une offre de produit par courrier ?

<!-- Slide number: 5 -->

I - Analyse discriminante descriptive

![](Picture28.jpg)

<!-- Slide number: 6 -->

I - Analyse discriminante descriptive

Données - Notations

Les n individus ei de l’échantillon constituent un nuage E, de Rp partagé

en k sous-nuages : E1, E2, ….Ek de centres de gravité g1, g2 ... gk

de matrices de variances V1 , V2 ... Vk

g : centre de gravité de E

V : matrice de variance de E

Les n individus sont affectés par des

poids (% importance des individus)

Advertisement

p1, p2 ...pn rangés dans une matrice

diagonale D

![](Picture25.jpg)

<!-- Slide number: 7 -->

L’Analyse Factorielle Discriminante consiste à chercher de nouvelles variables (les variables discriminantes) correspondant à des directions de Rp qui séparent le mieux possible en projection les k groupes d’observations.

![](Picture27.jpg)

<!-- Slide number: 8 -->

![](Picture27.jpg)

A Matrice des indicatrices de la variable qualitative à prédire

X Matrice des prédicateurs

![](Picture29.jpg)

<!-- Slide number: 9 -->

![](Picture2.jpg)

![](Picture3.jpg)

<!-- Slide number: 10 -->

![](Picture2.jpg)

<!-- Slide number: 11 -->

![](Picture2.jpg)

<!-- Slide number: 12 -->

![](Picture2.jpg)

<!-- Slide number: 13 -->

![](Picture2.jpg)

Advertisement

<!-- Slide number: 14 -->

![](Picture2.jpg)

<!-- Slide number: 15 -->

![](Picture28.jpg)

![](Picture29.jpg)

Exemple : analyse discriminante pour k=3

• Géométriquement: le 1er facteur détermine un axe dans le nuage de points (passant par l’origine) tel que les projections des points sur cet axe aient une variance inter-classes (variance des moyennes de classe) maximale.

• Le 2eme facteur (F2) est non corrélé (perpendiculaire) au 1er et de variance inter-classes max. Idem, pour le 3eme ...

<!-- Slide number: 16 -->

Propriétés des facteurs discriminants

• Les facteurs (vecteurs propres ) sont entièrement déterminés par la matrice définie par: V-1B (Diagonalisation de la matrice)

• Le nombre maximum de facteurs discriminants = k–1 avec k nombres de classes.

• La part de variance inter-classes expliquée =

variance inter / variance totale est décroissante entre les facteurs

successifs.

<!-- Slide number: 17 -->

• Si 2 groupes => 1 seul facteur = axe de projection où la séparation inter-classes est la mieux exprimée => coordonnées sur cet axe = scores discriminants.

• Si + de 2 groupes => plan discriminant (F1) et (F2)

= plan de projection ou la variance inter-classes B (=> dispersion des centroïdes dans le plan) sera la mieux représentée

![](Picture2.jpg)

<!-- Slide number: 18 -->

II - Analyse discriminante prédictive

Advertisement

• Les facteurs discriminants donnent la meilleure représentation de la séparation des k centroïdes de classe (dans un espace orthonormé)

 pour un individu x projeté dans l’espace des facteurs: attribuer la classe dont le centroïde est le plus proche.

![](Picture2.jpg)

détermination de 3 régions de

décision (R1, R2 , R3) délimitant les points ‘sensés’ appartenir aux différentes classes.

<!-- Slide number: 19 -->

Analyse discriminante prédictive

• Distance d de 2 points x et y : d²(x,y) = (x-y)’ W-1 (x-y)

avec W : matrice intra-classes des groupes.

• On classe x dans le groupe Gi pour lequel la distance au centre gi est minimale :

d²(x,gi) = (x-gi)’ W-1(x-gi) = x’ W-1 x – 2gi’ W-1 x + gi’ W-1 gi

Minimiser d²(x,gi) Maximiser 2gi’ W-1 x - gi’ W-1 gi

gi’ W-1 gi est une constante ne dépend pas de x

<!-- Slide number: 20 -->

Analyse discriminante prédictive

Minimiser d²(x,gi) Maximiser 2gi’ W-1 x

• Pour chacun des k groupes Gi, on a une fonction discriminante de Fisher :

2gi’ W-1 x = αi + βi,1X1 + βi,2X2 + … βi,pXp

• et on classe x dans le groupe pour lequel la fonction est maximale

![](Picture2.jpg)