Atelier fouille de données
Objectifs et prérequis du TP sur la fouille de données Objectifs Ce TP sur la fouille de données vise à analyser les accidents de la route en France pour l'année 2020. À la fin de ce TP, les étudiants devraient être capables de : Importer et manipuler des jeux de données en R. Effectuer des statistiques descriptives sur les données. Réaliser une analyse en composantes principales (ACP).
D'après le document Atelier fouille de données
Cet article a été rédigé automatiquement à partir du document source, puis vérifié avant publication.
Document source
Programming, Data Mining, Road Safety · PDF · 11 pages · 2020
Afficher l'aperçu du document
Objectifs et prérequis du TP sur la fouille de données
Objectifs
Ce TP sur la fouille de données vise à analyser les accidents de la route en France pour l'année 2020. À la fin de ce TP, les étudiants devraient être capables de :
- Importer et manipuler des jeux de données en R.
- Effectuer des statistiques descriptives sur les données.
- Réaliser une analyse en composantes principales (ACP).
- Appliquer la méthode K-means pour le clustering.
- Visualiser les résultats de l'analyse.
Prérequis
Pour réaliser ce TP, les étudiants doivent avoir des connaissances de base en R et en statistiques. Les outils nécessaires incluent :
- R et RStudio installés sur l'ordinateur.
- Les bibliothèques R suivantes : readxl, sqldf, factoextra, ggplot2.
- Les fichiers de données :
caracteristiques-2020.csvetlieux-2020.csv.
Analyse des données des accidents de la route
Importation des données
Commencez par importer les données nécessaires à l'analyse. Utilisez les commandes suivantes :
library(readxl)
carac = read.csv("C:/Users/hibac/OneDrive/Desktop/DS1 HIBA CHERIF/caracteristiques-2020.csv")
lieu = read.csv("C:/Users/hibac/OneDrive/Desktop/DS1 HIBA CHERIF/lieux-2020.csv")
View(lieu)
View(carac)
Sélection des variables à étudier
Pour simplifier l'analyse, sélectionnez les variables pertinentes :
carac_1 = carac[c("Num_Acc","an","lum","agg","atm")]
lieu_1 = lieu[c("Num_Acc","catr","surf")]
Description des variables
Voici une description des variables sélectionnées :
- Num_Acc : Numéro d'identifiant de l’accident.
- an : Année de l'accident.
- lum : Conditions d’éclairage (1 - Plein jour, 2 - Crépuscule, 3 - Nuit sans éclairage, etc.).
- agg : Localisation (1 - Hors agglomération, 2 - En agglomération).
- atm : Conditions atmosphériques (1 - Normale, 2 - Pluie légère, etc.).
- catr : Catégorie de route (1 - Autoroute, 2 - Route nationale, etc.).
- surf : État de la surface (1 - Normale, 2 - Mouillée, etc.).
Création d’une seule dataset
Combinez les deux jeux de données en une seule dataset :
library(sqldf)
q1 = "Select * FROM carac_1 inner JOIN lieu_1 ON carac_1.Num_Acc = lieu_1.Num_Acc;"
db = sqldf(q1)
db1 = db[-6] # Suppression de "Num_Acc" en double
View(db1)
Statistiques descriptives
Pour effectuer des statistiques descriptives, il est nécessaire de centrer et réduire les variables :
centrage_reduction <- function(x){
return((x-mean(x))/sqrt(var(x)))
}
df.cr <- apply(df, 2, centrage_reduction)
Vérifiez les résultats :
apply(df.cr, 2, mean)
apply(df.cr, 2, var)
Matrice de corrélations
Analysez la matrice de corrélations pour comprendre les relations entre les variables :
- La lumière a une très faible corrélation avec les autres variables.
- Une corrélation moyenne entre
aggetcatr. - Une corrélation fortement négative entre
atmet les autres variables.
Pour visualiser cela, utilisez :
pairs(df)
Analyse en Composantes Principales (ACP)
Réalisez une ACP pour réduire la dimensionnalité des données :
df1.acp <- PCA(df.cr, scale.unit=TRUE, ncp=7, graph=TRUE)
fviz_pca_var(df.acp, col.var="contrib", gradient.cols = c("#00AFBB", "#E7B800", "#FC4E07"), repel = TRUE, title="Cercle de corrélation des variables axe 1 & 2")
Inertie suivant les axes vectoriels
Visualisez l'inertie des axes :
fviz_screeplot(df.acp, addlabels = TRUE, ylim = c(0, 50), ylab="Pourcentage de variance expliquée", xlab="Dimensions")
Clustering avec K-means
Appliquez la méthode K-means pour détecter les groupes :
variance_kmeans = function(k) {
print(paste0("kmeans k:", k))
cluster <- kmeans(df, k, nstart = 50)
return(cluster$tot.withinss)
}
max_k = 10
res.variance = sapply(2:max_k, variance_kmeans)
Associez chaque k à sa variance totale :
k_and_variance = data.frame(2:max_k, res.variance)
Visualisation des résultats
Visualisez les résultats du K-means :
ggplot(k_and_variance, aes(x = X2.max_k, y = res.variance)) + geom_point() + geom_line() + scale_x_continuous(breaks = seq(1, max_k, by = 1))
Clustering final
Récupérez les coordonnées sur les axes factoriels 1 et 2 :
data_clustering = as.data.frame(df.acp$ind$coord)
data_clustering = data_clustering[c(1,2)]
Effectuez le clustering final :
cluster3 <- kmeans(data_clustering, 3, nstart = 100)
cluster4 <- kmeans(data_clustering, 4, nstart = 100)
cluster5 <- kmeans(data_clustering, 5, nstart = 100)
cluster6 <- kmeans(data_clustering, 6, nstart = 100)
Résultats attendus
Les résultats de l'analyse devraient montrer des clusters distincts basés sur les caractéristiques des accidents. Les tailles des clusters peuvent être observées avec :
cluster3$size
cluster5$size
cluster6$size
Erreurs fréquentes avec l'analyse des données
Lors de la réalisation de l'analyse, plusieurs erreurs peuvent survenir :
- Mauvaise importation des données : Assurez-vous que les chemins d'accès aux fichiers sont corrects.
- Omission de variables importantes : Vérifiez que toutes les variables nécessaires sont incluses dans l'analyse.
- Interprétation incorrecte des résultats : Soyez prudent lors de l'interprétation des corrélations et des clusters.
Questions fréquentes
Comment effectuer une analyse en composantes principales (ACP) en R ?
Pour réaliser une ACP en R, utilisez la fonction PCA() de la bibliothèque factoextra. Assurez-vous de centrer et réduire vos données avant l'analyse.
Qu'est-ce que la méthode K-means ?
La méthode K-means est une technique de clustering qui partitionne les données en k groupes basés sur la similarité. Elle minimise la variance intra-cluster.
Comment visualiser les résultats de K-means ?
Utilisez ggplot2 pour visualiser les résultats de K-means. Créez un graphique avec les coordonnées des clusters sur les axes.
Quelles sont les erreurs courantes lors de l'analyse des données ?
Les erreurs courantes incluent la mauvaise importation des données, l'omission de variables importantes et l'interprétation incorrecte des résultats.
Comment interpréter la matrice de corrélations ?
La matrice de corrélations montre les relations entre les variables. Une valeur proche de 1 ou -1 indique une forte corrélation, tandis qu'une valeur proche de 0 indique une faible corrélation.
Commentaires
Aucun commentaire pour le moment. Posez la première question.