Data Mining and Factorial Analysis Methods

1/7
100%
Rendu du PDF...
Page 1 sur 7Lecteur de document UniversityLib

Data Mining and Factorial Analysis Methods

Data Mining and Statistical Analysis · notes

Browse all intelligence artificielle et données documents

Chapitre II

Data Mining

Analyse Factorielle

Analyse Factorielle ⇒ analyse multivariée⇒

 Représentation 2 ou 3 dimensions des individus d’une population.

 Détection des liaisons entre les variables.

Les méthodes d’analyse factorielle servent comme des techniques préliminaires pour quelques

algorithmes (réseaux neurones ou pré-classification ).

On distingue 3 méthodes : ACP, AFC et ACM .

ACP ⇒ Créer des groupes de variables à partir des corrélations (algorithme VAR CLUS).

ACM⇒ Appliquée dans le cadre de variables qualitatives ou variables continues ⇒ Analyse

Discriminante sur les variables qualitatives ( DISQUAL) .

Analyse en Composantes Principales ACP :

Elle s’applique si on a des variables quantitatives (p) et n individus ⇒ ℝ𝑛 * ℝ𝑝 .

⇒ Il s’agit d’une méthode de projection du nuage des individus sur des sous espaces de

dimension inférieures en respectant les distances entre les individus .

Étapes :

 Vérifier l’homogénéité des données (dans le cas échéant appliquer ACP normée).

 Calcul de l’inertie du nuage de points.

 Calcul les valeurs et les vecteurs propres ; les poids .

 Déterminer les axes factoriels à retenir.

 Calcul des coordonnées des individus sur les nouveaux axes retenus ;Coord (i, Fk)).

 Calcul des contributions et de la qualité de la représentation ( Cos2(i, Fk)).

 Calcul des coordonnées des variables sur les nouveaux axes retenus ( Coord (j, Fk)).

 Calcul des contributions et de la qualité de la représentation.

 Représenter graphiquement les 2 nuages de points individus et variables .

Interprétation

Il est rare de s’intéresser aux projections des individus sur les axes factoriels, mais à la qualité

de la représentation sur un axe factoriel.

1 MOME 2 2021-2022

Chapitre II

Data Mining

Comme on l’a déjà mentionné il faut calculer le cosinus carré (Cos2), qui varie entre 0 et 1. Il

mesure la qualité de la représentation d’une variable sur le plan (Ci, Cj). En effet, l’ensemble

des variables sont représentées dans l’espace par une sphère unité. Elles sont alors supposées

réduites , donc de norme = 1. Ce cercle est appelé cercle de corrélations.

 Si Cos2 → 1 : Une variable parfaitement représentée sur le plan factoriel → sa projection

appartient au cercle des corrélations.

 Si 0 < Cos2 < 1 : Une variable se trouve à l’intérieur du cercle des corrélations .

 Si Cos2 → 0 : La variable n’est pas du tout représentée sur le plan . ⇒ Sa projection au

centre du plan et du cercle des corrélations.

Deux variables proches sur le plan factoriel ⇒ elles sont peu corrélées si elles sont loin du cercle

de corrélation et proche du centre du plan .

Si elles sont à la fois proches, l’une de l’autre et proches du cercle de corrélation, alors le

coefficient de corrélation tend vers 1.

Si elles sont diamétralement opposées sur le cercle de corrélation alors ρ = -1.

Les notations suivantes sont relatives aux sorties du logiciel SAS :

Coord : La valeur de la variable que chaque axe

CTR : La contribution d’une variable sur l’axe.

RCTR : (de la variable) : Classement de la variable par contribution décroissante.

Qualité Co2 : qualité de la représentation de la variable sur l’axe.

QLT : La somme des qualités de la variable sur cet axe et sur tous les axes précédents.

Données globales :

CTR : La contribution de la variable à l’inertie totale du nuage de variables.

Poids : c’est le poids de la variable dans le nuage.

Représentation des individus

Un individu outliers « hors norme » à omettre dans l’analyse pour ne pas fausser les résultats

.

Analyse des contributions : contribution importante ⇒ contribution > pi : dangereuse pour la

stabilité de l’ACP.

Advertisement

2 MOME 2 2021-2022

Chapitre II

Data Mining

3 MOME 2 2021-2022

Chapitre II

Data Mining

Analyse Factorielle des Correspondances

On a un tableau de contingence ( qualitatives*qualitatives)

Calcul du 𝜒2 ⇒ test d’indépendance de 2 variables .

⇒ Étude de liaisons entre les modalités de 2 variables

⇒ La contribution du 𝜒2 au tableau de contingence permet d’étudier la liaison entre les

modalités de 2 variables : on a soit un sureffectif ( forte liaison positive : les modalités A et B

sont proches ) , soit sous-effectif ( forte liaison négative : les modalités A et B sont opposés )

ou équilibre ( faible liaison) .

On peut avoir aussi des modalités non liées aux autres et qui sont au centre.

Une AFC = ACP sur profil ligne et ACP sur profil colonnes

Analyse des Correspondances multiples (ACM)

Il s’agit d’une extension de l’Analyse Factorielle de Correspondances qui s’applique à

plus de 2 variables qualitatives.

⇒ Calculer un tableau disjonctif complet.

⇒ La généralisation du tableau de contingence simple ⇒ tableau de Burt ⇒Tableau

symétrique carré : au lieu que les lignes correspondent aux modalités d’une seule variable et les

colonnes aux modalités d’une autre, ce sont à la fois les lignes et les colonnes qui correspondent

aux modalités de l’ensemble des variables X1, X2, ……, Xp.

Au croisement de 2 mêmes modalités, on trouve le nombre d’individus possédant cette même

modalité. Au croisement de 2 modalités différentes appartenant à des variables différentes , le

nombre d’individus possédant à la fois la première et la seconde modalité , cad : au croisement

de la kéme modalité Xik de la variable Xi et de la iéme modalité Xji de Xj , on a le nombre 𝛼

d’individus X/ Xi(x) = Xik et Xj(x) = Xji

⇒ Tableau de contingence multiple : composé de blocs / les blocs diagonaux sont des tableaux de

contingence simple des variables avec elles-mêmes et les autres blocs correspondent aux tableaux de

contingence simples de variables prises deux à deux .

Un tableau disjonctif complet est rempli de 0 et 1 : il a une ligne par individus et un nombre

de colonnes égal à la somme de modalités ∑ 𝑚𝑘

𝑝

𝑘:1

de l’ensemble des variables X1, X2, ……,

Xp.

4 MOME 2 2021-2022

Chapitre II

Data Mining

Exemple : Si dans une étude réalisée sur la Tunisie , on s’intéresse aux variables qualitatives

suivantes : la région et la nature du baccalauréat : l’ensemble des modalités sont alors : Nord

Est, Nord Ouest , Centre Est , Centre Ouest, Sud Est , Sud Ouest, Lettres, Mathématiques ,

Sciences Expérimentales , Economie Gestion et Technique . ∑ 𝑚𝑘

𝑝

𝑘:1

= 11.

Le croisement de la iéme ligne et de la colonne correspondant à la modalité Xik de la variable

Xj : Xik = {

1; 𝑠i 𝑋𝑗 (iéme individu) = 𝑋𝑖𝑘

0 , 𝑠𝑖𝑛𝑜𝑛

Ce tableau fournit des résultats sur les individus et sur les variables.

Réaliser une ACM à partir du tableau disjonctif complet est basé sur le principe que l’AFC ,

métrique , les mêmes axes factoriels que ce soit basé sur un tableau de contingence ou un tableau

disjonctif complet .⇒ Calcul du 𝜒2 et des valeurs propres .

Les valeurs propres sont différentes de celles du tableau disjonctif complet.

𝑠𝑜𝑖𝑒𝑛𝑡 ∶ 𝜆 : valeurs propre du tableau disjonctif complet.

𝜆2 : valeurs propre de Burt.

L’inertie totale = 𝜘2/n ; en tableau de contingence .

Advertisement

si le tableau est disjonctif complet l’inertie totale =

𝒎𝟏+𝐦𝟐

𝟐

– 1

Avec : 𝒎𝟏 : Nombre de la modalité de la variable X1.

𝐦𝟐 : Nombre de la modalité de la variable X2.

Dans une ACM sur le tableau disjonctif complet : inertie totale =

𝟏

𝒑𝒊

𝒑

∑ 𝒎𝒊

𝒊:𝟏

-1

Avec p : Nombre de variables ;

𝑚𝑖 : Le nombre de modalités de la variable i.

L’inertie d’une modalité d’effectif nj cad la contribution à l’inertie totale= 1/p (1-

𝒏𝒋

𝒏

)

L’inertie d’une variable à 𝑚𝑖 modalités = ∑

𝑝

𝑘:1

𝟏

𝒑

(1-

𝒏𝒋

𝒏

) = (

𝑚𝑖 −𝟏

𝒑

)

Le nombre d’axes factoriels = les valeurs propres = ∑ 𝑚𝑖

𝑝

𝑘:1

– p

La valeur moyenne des valeurs propres = 1/p

On a vu en ACP ,le critère de Kaiser pour retenir le nombre d’axes factoriels ⇒ retenir les

valeurs propres dont la contribution est ≥ 1/p.

Après avoir retenu les axes factoriels , il faut les interpréter :

5 MOME 2 2021-2022

Chapitre II

Data Mining

On repère les modalités dont la contribution est élevée par rapport à chaque axe factoriel .

Généralement, on s’intéresse aux modalités dont la contribution est supérieure au poids. ⇒ un

axe est expliqué par les modalités à forte contribution .

𝟏

CTR =

𝝀

𝒏𝒋

𝒏.𝒑

(vj)2

avec 𝝀 valeur propre de l’axe

vj :coordonnée de la modalité sur cet axe .

Concernant la qualité de la représentation des modalités sur les axes , on analyse le cos2, s’il

tend vers 1 alors on a une meilleure représentation de la modalité , la somme des cos2 sur

l’ensemble des axes est = 1.

Nb : Il faut n’apprécier la proximité de 2 modalités sur un axe que si elles ont toutes les deux

un cos2 assez grand pour cet axe .

Application

Considérons un fichier de données brutes. Chaque ligne du fichier correspond à un individu et

Advertisement

chaque colonne correspond à une variable qualitative caractérisant les individus. ⇒ L ∩ C =

modalité de la variable pour l’individu.

Les données du fichier sont en forme de tableau de contingence, de Burt ou disjonctif.

Nom

Jaques

Marie

Louis

Pierre

Lyse

Ynes

Données brutes

Genre

Homme

Femme

Homme

Homme

Femme

Femme

Statut

Marié

Mariée

Célibataire

Marié

Mariée

Veuve

Tableau de contingence

Femme

Homme

Marié

2

2

Célibataire

0

1

Veuf

1

0

6 MOME 2 2021-2022

Chapitre II

Data Mining

Femme

Homme

Marié

Célibataire

Veuf

1

2

3

4

5

6

Femme

3

0

2

0

1

Femme

0

1

Advertisement

0

0

1

1

Tableau de Burt

Homme

0

3

2

1

0

Marié

2

2

4

0

0

Tableau disjonctif

Homme

1

0

1

1

0

0

Marié

1

1

0

1

1

0

Célibataire Veuf

0

1

0

1

0

Célibataire Veuf

0

0

1

0

0

0

1

0

0

0

1

0

0

0

0

0

1

7 MOME 2 2021-2022