Analyse discriminante
1
2
3
Objectifs de l’analyse discriminante
• Étude d’un tableau IndividusVariables :
Les individus sont décrits par p variables X1,…, Xp.
• Les individus sont répartis en k classes selon les
modalités d’une variable qualitative Y.
• Rechercher des variables discriminantes Zh,
combinaisons linéaires des Xj, non corrélées entre
elles, et séparant au mieux les k classes (analyse
factorielle discriminante).
• Affecter une nouvelle observation à une des classes
en fonction de ses valeurs de X observées (analyse
discriminante bayesienne).
4
Exemple : Qualité du jus de Bordeaux
Variables observées sur 34 années (1924 - 1957)
• TEMPERATURE : Somme des températures
• SOLEIL
• CHALEUR
• PLUIE
moyennes journalières
: Durée d’insolation
: Nombre de jours de grande chaleur
: Hauteur des pluies
• QUALITE : Bon (1), Moyen (2), Médiocre (3)
5
6
3064120110361 23000105311338 33155113319393 230859704467 33245125836294 13267138635225 1308096613417 32974118912488 33038110314677 33318131029427 23317136225326 13182117128326 3299811029349 33221142421382 13019123016275 2302212859303 23094132911339 23009121015536 33227133121414 23308136624282 13212128917302 23361144425253 13061117512261 23478131742259 13126124811315 23458150843286 13252136126346 23052118614443 33270139924306 13198125920367 1290411646311 33247127719375 1308311955441 33043120814371 312345678910111213141516171819202122232425262728293031323334TempératureSoleilChaleurPluieQualitéAnalyse univariée
Température
7
Measures of Association.799.639Température QualitéEtaEta Squared121111N =QualitéMédiocreMoyenBonTempérature360035003400330032003100300029002800ReportTempérature3306.361192.063140.9111100.053037.331269.343157.8834141.18Qualité123TotalMeanNStd. Deviation2Between Groups Sum of SquaresRapport de corrélation = Total Sum of SquaresANOVA Table420067.42210033.70427.389.000237722.1317668.456657789.533(Combined)Between GroupsWithin GroupsTotalTempérature QualitéSum ofSquaresdfMean SquareFSig.Analyse univariée
Soleil
8
ReportSoleil1363.641180.311262.911171.941126.421288.391247.3234126.62QualitéBonMoyenMédiocreTotalMeanNStd. DeviationANOVA Table326909.12163454.53525.061.000202192.4316522.335529101.433(Combined)Between GroupsWithin GroupsTotalSoleil QualitéSum ofSquaresdfMean SquareFSig.Measures of Association.786.618Soleil QualitéEtaEta Squared121111N =QualitéMédiocreMoyenBonSoleil1600150014001300120011001000900Analyse univariée
Chaleur
9
ReportChaleur28.55118.8016.45116.7312.08126.3018.823410.02QualitéBonMoyenMédiocreTotalMeanNStd. DeviationANOVA Table1646.5702823.28515.334.0001664.3713153.6893310.94133(Combined)Between GroupsWithin GroupsTotalChaleur QualitéSum ofSquaresdfMean SquareFSig.Measures of Association.705.497Chaleur QualitéEtaEta Squared121111N =QualitéMédiocreMoyenBonChaleur5040302010012Analyse univariée
Pluie
10
ReportPluie305.001152.29339.641154.99430.3312104.85360.443491.40QualitéBonMoyenMédiocreTotalMeanNStd. DeviationMeasures of Association.594.353Pluie QualitéEtaEta SquaredANOVA Table97191.170248595.5858.440.001178499.2315758.039275690.433(Combined)Between GroupsWithin GroupsTotalPluie QualitéSum ofSquaresdfMean SquareFSig.121111N =QualitéMédiocreMoyenBonPluie800700600500400300200100Analyse factorielle discriminante
Recherche de la première variable discriminante
• On recherche une première variable discriminante centrée
séparant au mieux les k classes.
• On recherche des a1j conduisant à une variable Z1 ayant un
F maximum dans l’analyse de la variance de Z1 sur le
facteur Y définissant les classes.
• On choisit comme normalisation une variance intra-classes
de Z1 égale à 1.
11
p1101jjj1ZaaXCalcul des variables discriminantes
sur les données d’origine
Z1 = .009Température + .007Soleil - .027*Chaleur
- .006*Pluie - 32.876
12
Canonical Discriminant Function Coefficients.009.000.007-.005-.027.128-.006.006-32.8762.165TempératureSoleilChaleurPluie(Constant)12FunctionUnstandardized coefficientsNormalisation
Chaque X est centrée et normalisée par l’écart-type
commun aux classes (racine-carrée du carré moyen
intra-classes) :
13
1Température3157.88X7668.4562Soleil1247.32X6522.3353Chaleur18.82X53.6894Pluie360.44X5758.039Calcul des variables discriminantes sur les
données normalisées
Z1 = .750X1 + .547X2 - .198X3 - .445X4
14
Standardized CanonicalDiscriminant Function Coefficients.750-.004.547-.430-.198.935-.445.469TempératureSoleilChaleurPluie12FunctionAnalyse de la variance de Z1 sur la qualité
15
ANOVA Table101.645250.82250.822.00031.000311.000132.64533(Combined)Between GroupsWithin GroupsTotalDiscriminant Scoresfrom Function 1 forAnalysis 1 * QualitéSum ofSquaresdfMean SquareFSig.121111N =QualitéMédiocreMoyenBonDiscriminant Scores from Function 1 for Analysis 16420-2-4-6ReportDiscriminant Scores from Function 1 for Analysis 12.12111.19.1511.89-2.0812.90.00342.00QualitéBonMoyenMédiocreTotalMeanNStd. DeviationAnalyse factorielle discriminante
Recherche de la deuxième variable discriminante
• On recherche une deuxième variable discriminante centrée
et non corrélée à Z1
séparant au mieux les k classes.
• On recherche des a2j conduisant à une variable Z2 ayant un
F ou, de manière équivalente, un 2 maximum dans
l’analyse de la variance de Z2 sur le facteur Y définissant
Publicité
les classes.
• On choisit comme normalisation une variance intra-classes
de Z2 égale à 1.
16
p2202jjj1ZaaXAnalyse de la variance de Z2 sur la qualité
17
ReportDiscriminant Scores from Function 2 for Analysis 1.2711.96-.51111.02.22121.02.00341.03QualitéBonMoyenMédiocreTotalMeanNStd. DeviationMeasures of Association.349.122Discriminant Scoresfrom Function 2 forAnalysis 1 QualitéEtaEta SquaredANOVA Table4.29622.1482.148.13431.000311.00035.29633(Combined)Between GroupsWithin GroupsTotalDiscriminant Scoresfrom Function 2 forAnalysis 1 QualitéSum ofSquaresdfMean SquareFSig.121111N =QualitéMédiocreMoyenBonDiscriminant Scores from Function 2 for Analysis 13210-1-2-3Les deux variables
discriminantes
18
-.88-.87-2.33-.09-.99.83-2.73.25.741.722.23.48-2.751.11-2.53.24-3.732.111.131.372.17-.04-.361.36-2.02-.541.55-.53-.73-.79-.31-1.80.34-1.56-2.45.80.79.162.41-.461.14-.823.54-.93-.55-1.103.181.95.21-1.284.121.221.47.22-1.68.232.17-.49.35.13-2.10-1.49.87-.05-1.09-.98-1.18-.3412345678910111213141516171819202122232425262728293031323334VariablediscriminanteZ1VariablediscriminanteZ2Le premier plan discriminant
19
Variable discriminante Z16420-2-4Variable discriminante Z23210-1-2QualitéGroup CentroidsMédiocreMoyenBon34333231302928272625242322212019181716151413121110987654321Carte des
qualités
Symbols used in territorial map
Symbol Group Label
-----
------
--------------------
1 1 Bon
2 2 Moyen
3 3 Médiocre
- Indicates
a group centroid
Les droites frontières
sont les médiatrices
des segments joignant
les centres de gravité
des groupes
Territorial Map
Canonical Discriminant
Function 2
-6.0 -4.0 -2.0 .0 2.0 4.0 6.0
6.0 ô
ó
ó
ó
ó
ó
4.0 ô
ó
ó
ó
ó
ó
2.0 ô
ó
ó
ó
ó
ó
.0 ô
ó
ó
ó
ó
ó
-2.0 ô
ó
ó
ó
ó
ó
-4.0 ô
ó
ó
ó
ó
ó
-6.0 ô
ô
ô
ô
ô
ô
ô
3221 ô
Publicité
ôòòòòòòòòòôòòòòòòòòòôòòòòòòòòòôòòòòòòòòòôòòòòòòòòòôòòòòòòòòòô
31 ô
31 ó
31 ó
31 ó
31 ó
31 ó
31 ô
ô
31 ó
31 ó
31 ó
31 ó
31 ó
ô
32 21 ó
32 21 ó
32 21 ó
32 21 ó
- 32 21 * ó
ô
ô
32 21 ó
32 * 21 ó
32 21 ó
32 21 ó
32 21 ó
ô
32 21 ó
32 21 ó
32 21 ó
32 21 ó
32 21 ó
32 ô
ô
32 21 ó
32 21 ó
32 21 ó
32 21 ó
32 21 ó
32 21 ô
ôòòòòòòòòòôòòòòòòòòòôòòòòòòòòòôòòòòòòòòòôòòòòòòòòòôòòòòòòòòòô
21 ô
ô 21 ô
ô 32 ô
21 ô
32 ô
ô
ô
ô
ô
-6.0 -4.0 -2.0 .0 2.0 4.0 6.0
Canonical Discriminant Function 1
20
Premier plan discriminant et carte des qualités
9
3
2
1
0
-1
-2
-4
7
18
4
8
28
2
13
34
31
-2
5
10
12
Publicité
3
24
26
19
27
6
11
14
29
20
21
22
2
4
6
15
1
23
33
30
32
25
17
16
0
Qualité
Group Centroids
Médiocre
Moyen
Bon
Variable discriminante Z1
2
Z
e
t
n
a
n
m
i
i
i
r
c
s
d
e
b
a
i
r
a
V
l
Une nouvelle observation est classée dans le groupe pour lequel
la distance entre l’observation et le centre du groupe est la plus faible.
21
Premier plan discriminant et territoire des qualités
Pluie
*
*
*
*
*
g3 *
*
*
- *
*
g3
**
*
*
*
*
*
Publicité
*A
Z2
*
*
*
**
g2 *
*
g2
*
*
*
*
*
g*
*B
*
*
*
g1 *
*
*
g1
*
*
*
*
*
*
*
*
*
Chaleur
Z1
Température
Le premier plan discriminant contient
les centres de gravité des groupes
Affecter une observation A à la classe la plus proche (gh) est
équivalent à affecter la projection B à la classe la plus proche.
22
Distance carrée au
centre de gravité dans
le plan (Z1,Z2)
23
Case Summariesa10.321.192.6219.896.28.1610.023.111.5523.498.83.424.005.3510.22.065.3418.6524.3911.001.2421.667.74.2137.6321.936.312.194.5111.62.104.3418.167.333.784.2817.814.70.58.971.9813.759.24.842.8410.181.877.246.521.149.0521.218.49.481.79.868.21.625.1320.622.151.0811.433.4511.6632.859.00.834.063.9415.2630.666.06.597.494.9018.8039.42.432.2812.5714.413.87.16.584.0918.533.14.455.9220.916.002.911.65.748.7911.911.762.4211.271.791.1134343412345678910111213141516171819202122232425262728293031323334NTotalDBONDMOYENDMEDIOCRELimited to first 100 cases.a. Prévision de la qualité pour
une nouvelle année (obs. 35)
Pour le Bordeaux 1958 :
-
-
-
-
Température = 3 000
Soleil = 1 100
Chaleur = 20
Pluie = 300
Prévoir sa qualité.
24
Prévision de la
qualité pour
une nouvelle
année (obs. 35)
25
Case Summariesa 1-.88255-.87154 2-2.32546-.09422 3-.99486.83296 4-2.72686.24724 5.743601.72117 62.23089.48432 7-2.746991.10879 8-2.53383.23602 9-3.730882.11364 101.130411.36843 112.17473-.04282 12-.356661.36423 13-2.02108-.54262 141.55211-.53357 15-.72946-.78920 16-.30606-1.80302 17.34347-1.56328 18-2.45448.80177 19.78584.15937 202.40988-.46304 211.13802-.81821 223.53529-.93260 23-.55191-1.09502 243.182111.94567 25.20968-1.28127 264.119171.22305 271.46680.21664 28-1.67615.22582 292.16713-.48896 30.35244.12658 31-2.10225-1.48623 32.87424-.04986 33-1.09442-.98466 34-1.18190-.3355835-2.02768.569403535351234567891011121314151617181920212223242526272829303132333435NTotalObservationZ1Z2Limited to first 100 cases.a. Prévision de la qualité pour
une nouvelle année (obs. 35)
26
Canonical Discriminant FunctionsFunction 16420-2-4Function 23210-1-2QualitéGroup CentroidsUngrouped CasesMédiocreMoyenBon35Résultats de l’analyse factorielle discriminante
Z1 = Score prédictif
de la qualité du jus
construit à partir des
variables météo.
27
Group Statistics3306.3692.061111.0001363.6480.311111.00028.558.801111.000305.0052.291111.0003140.91100.051111.0001262.9171.941111.00016.456.731111.000339.6454.991111.0003037.3369.341212.0001126.4288.391212.00012.086.301212.000430.33104.851212.0003157.88141.183434.0001247.32126.623434.00018.8210.023434.000360.4491.403434.000TempératureSoleilChaleurPluieTempératureSoleilChaleurPluieTempératureSoleilChaleurPluieTempératureSoleilChaleurPluieQualitéBonMoyenMédiocreTotalMeanStd. DeviationUnweightedWeightedValid N (listwise)Functions at Group Centroids2.122.272.146-.513-2.079.221QualitéBonMoyenMédiocre12FunctionUnstandardized canonical discriminantfunctions evaluated at group meansRésultats de l’analyse factorielle discriminante
28
Tests of Equality of Group Means.36127.389231.000.38225.061231.000.50315.334231.000.6478.440231.001TempératureSoleilChaleurPluieWilks'LambdaFdf1df2Sig.