Aller au contenu

Atelier fouille de données

Objectifs et prérequis du TP sur la fouille de données Objectifs Ce TP sur la fouille de données vise à analyser les accidents de la route en France pour l'année 2020. À la fin de ce TP, les étudiants devraient être capables de : Importer et manipuler des jeux de données en R. Effectuer des statistiques descriptives sur les données. Réaliser une analyse en composantes principales (ACP).

D'après le document Atelier fouille de données

Cet article a été rédigé automatiquement à partir du document source, puis vérifié avant publication.

Document source

Atelier fouille de données

Programming, Data Mining, Road Safety · PDF · 11 pages · 2020

Afficher l'aperçu du document

Consulter le document original →

Objectifs et prérequis du TP sur la fouille de données

Objectifs

Ce TP sur la fouille de données vise à analyser les accidents de la route en France pour l'année 2020. À la fin de ce TP, les étudiants devraient être capables de :

  • Importer et manipuler des jeux de données en R.
  • Effectuer des statistiques descriptives sur les données.
  • Réaliser une analyse en composantes principales (ACP).
  • Appliquer la méthode K-means pour le clustering.
  • Visualiser les résultats de l'analyse.

Prérequis

Pour réaliser ce TP, les étudiants doivent avoir des connaissances de base en R et en statistiques. Les outils nécessaires incluent :

  • R et RStudio installés sur l'ordinateur.
  • Les bibliothèques R suivantes : readxl, sqldf, factoextra, ggplot2.
  • Les fichiers de données : caracteristiques-2020.csv et lieux-2020.csv.

Analyse des données des accidents de la route

Importation des données

Commencez par importer les données nécessaires à l'analyse. Utilisez les commandes suivantes :

library(readxl)
carac = read.csv("C:/Users/hibac/OneDrive/Desktop/DS1 HIBA CHERIF/caracteristiques-2020.csv")
lieu = read.csv("C:/Users/hibac/OneDrive/Desktop/DS1 HIBA CHERIF/lieux-2020.csv")
View(lieu)
View(carac)

Sélection des variables à étudier

Pour simplifier l'analyse, sélectionnez les variables pertinentes :

carac_1 = carac[c("Num_Acc","an","lum","agg","atm")]
lieu_1 = lieu[c("Num_Acc","catr","surf")]

Description des variables

Voici une description des variables sélectionnées :

  • Num_Acc : Numéro d'identifiant de l’accident.
  • an : Année de l'accident.
  • lum : Conditions d’éclairage (1 - Plein jour, 2 - Crépuscule, 3 - Nuit sans éclairage, etc.).
  • agg : Localisation (1 - Hors agglomération, 2 - En agglomération).
  • atm : Conditions atmosphériques (1 - Normale, 2 - Pluie légère, etc.).
  • catr : Catégorie de route (1 - Autoroute, 2 - Route nationale, etc.).
  • surf : État de la surface (1 - Normale, 2 - Mouillée, etc.).

Création d’une seule dataset

Combinez les deux jeux de données en une seule dataset :

library(sqldf)
q1 = "Select * FROM carac_1 inner JOIN lieu_1 ON carac_1.Num_Acc = lieu_1.Num_Acc;"
db = sqldf(q1)
db1 = db[-6]  # Suppression de "Num_Acc" en double
View(db1)

Statistiques descriptives

Pour effectuer des statistiques descriptives, il est nécessaire de centrer et réduire les variables :

centrage_reduction <- function(x){
  return((x-mean(x))/sqrt(var(x)))
}
df.cr <- apply(df, 2, centrage_reduction)

Vérifiez les résultats :

apply(df.cr, 2, mean)
apply(df.cr, 2, var)

Matrice de corrélations

Analysez la matrice de corrélations pour comprendre les relations entre les variables :

  • La lumière a une très faible corrélation avec les autres variables.
  • Une corrélation moyenne entre agg et catr.
  • Une corrélation fortement négative entre atm et les autres variables.

Pour visualiser cela, utilisez :

pairs(df)

Analyse en Composantes Principales (ACP)

Réalisez une ACP pour réduire la dimensionnalité des données :

df1.acp <- PCA(df.cr, scale.unit=TRUE, ncp=7, graph=TRUE)
fviz_pca_var(df.acp, col.var="contrib", gradient.cols = c("#00AFBB", "#E7B800", "#FC4E07"), repel = TRUE, title="Cercle de corrélation des variables axe 1 & 2")

Inertie suivant les axes vectoriels

Visualisez l'inertie des axes :

fviz_screeplot(df.acp, addlabels = TRUE, ylim = c(0, 50), ylab="Pourcentage de variance expliquée", xlab="Dimensions")

Clustering avec K-means

Appliquez la méthode K-means pour détecter les groupes :

variance_kmeans = function(k) {
  print(paste0("kmeans k:", k))
  cluster <- kmeans(df, k, nstart = 50)
  return(cluster$tot.withinss)
}
max_k = 10
res.variance = sapply(2:max_k, variance_kmeans)

Associez chaque k à sa variance totale :

k_and_variance = data.frame(2:max_k, res.variance)

Visualisation des résultats

Visualisez les résultats du K-means :

ggplot(k_and_variance, aes(x = X2.max_k, y = res.variance)) + geom_point() + geom_line() + scale_x_continuous(breaks = seq(1, max_k, by = 1))

Clustering final

Récupérez les coordonnées sur les axes factoriels 1 et 2 :

data_clustering = as.data.frame(df.acp$ind$coord)
data_clustering = data_clustering[c(1,2)]

Effectuez le clustering final :

cluster3 <- kmeans(data_clustering, 3, nstart = 100)
cluster4 <- kmeans(data_clustering, 4, nstart = 100)
cluster5 <- kmeans(data_clustering, 5, nstart = 100)
cluster6 <- kmeans(data_clustering, 6, nstart = 100)

Résultats attendus

Les résultats de l'analyse devraient montrer des clusters distincts basés sur les caractéristiques des accidents. Les tailles des clusters peuvent être observées avec :

cluster3$size
cluster5$size
cluster6$size

Erreurs fréquentes avec l'analyse des données

Lors de la réalisation de l'analyse, plusieurs erreurs peuvent survenir :

  • Mauvaise importation des données : Assurez-vous que les chemins d'accès aux fichiers sont corrects.
  • Omission de variables importantes : Vérifiez que toutes les variables nécessaires sont incluses dans l'analyse.
  • Interprétation incorrecte des résultats : Soyez prudent lors de l'interprétation des corrélations et des clusters.

Questions fréquentes

Comment effectuer une analyse en composantes principales (ACP) en R ?

Pour réaliser une ACP en R, utilisez la fonction PCA() de la bibliothèque factoextra. Assurez-vous de centrer et réduire vos données avant l'analyse.

Qu'est-ce que la méthode K-means ?

La méthode K-means est une technique de clustering qui partitionne les données en k groupes basés sur la similarité. Elle minimise la variance intra-cluster.

Comment visualiser les résultats de K-means ?

Utilisez ggplot2 pour visualiser les résultats de K-means. Créez un graphique avec les coordonnées des clusters sur les axes.

Quelles sont les erreurs courantes lors de l'analyse des données ?

Les erreurs courantes incluent la mauvaise importation des données, l'omission de variables importantes et l'interprétation incorrecte des résultats.

Comment interpréter la matrice de corrélations ?

La matrice de corrélations montre les relations entre les variables. Une valeur proche de 1 ou -1 indique une forte corrélation, tandis qu'une valeur proche de 0 indique une faible corrélation.

Partager

Commentaires

Aucun commentaire pour le moment. Posez la première question.

Les commentaires sont relus avant publication. Votre e-mail n'est jamais affiché.

← Toutes les révisions