Rapport Mini Projet Big Data
Projet Big Data avec Spark Ce projet big data avec Spark consiste à appliquer un code sur un fichier texte représentant les ventes d'un magasin, en utilisant le principe de MapReduce après la modélisation des RDD pour les données. Les étudiants découvriront comment installer Spark, comprendre son fonctionnement et développer un code pour traiter des données.
D'après le document Rapport Mini Projet Big Data
Cet article a été rédigé automatiquement à partir du document source, puis vérifié avant publication.
Document source
Big Data and Data Processing using Apache Spark · DOCX · 8 pages · 2020
Projet Big Data avec Spark
Ce projet big data avec Spark consiste à appliquer un code sur un fichier texte représentant les ventes d'un magasin, en utilisant le principe de MapReduce après la modélisation des RDD pour les données. Les étudiants découvriront comment installer Spark, comprendre son fonctionnement et développer un code pour traiter des données.
Environnement matériel et logiciel
Environnement matériel
Nous avons installé une machine virtuelle sur VMware Workstation version 15 avec les caractéristiques suivantes :
- Mémoire : 4.3 GB
- Processeur : 2
- Disque de stockage : 20 GB
Environnement logiciel
Nous avons choisi Ubuntu 20.04 comme système d’exploitation. Les versions des logiciels utilisés sont :
- Apache Hadoop Version : 2.7
- Apache Spark Version : 3.0.1
- Docker Version : 20.10.1
Présentation de Spark
Spark est un système de traitement rapide et parallèle. Il fournit des APIs de haut niveau en Java, Scala, Python et R, ainsi qu'un moteur optimisé qui supporte l'exécution des graphes. Spark inclut également des outils tels que :
- Spark SQL pour le traitement de données structurées
- MLlib pour l'apprentissage des données
- GraphX pour le traitement des graphes
- Spark Streaming pour le traitement des données en streaming
Installation de Spark sur Ubuntu 20.04
Pour installer Spark, nous avons exécuté la commande suivante pour installer les trois paquets nécessaires :
sudo apt install default-jdk scala git -y
Une fois le processus terminé, vérifiez les dépendances installées en exécutant ces commandes :
java -version; javac -version; scala -version; git --version
Nous avons téléchargé la version de Spark souhaitée depuis leur site Web. Nous avons opté pour Spark 3.0.1 avec Hadoop 2.7 :
wget https://downloads.apache.org/spark/spark-3.0.1/spark-3.0.1-bin-hadoop2.7.tgz
Après avoir téléchargé, nous avons extrait l'archive avec la commande :
tar xvf spark-*
Nous avons déplacé le répertoire décompressé vers le répertoire /opt/spark :
sudo mv spark-3.0.1-bin-hadoop2.7 /opt/spark
Nous avons configuré les variables d’environnement en ajoutant quelques chemins d’accès au fichier ~/.bashrc :
vi ~/.bashrc
export SPARK_HOME=/opt/sparkexport PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
Pour activer les changements, nous avons utilisé la commande :
source ~/.bashrc
Ensuite, nous avons démarré un serveur maître avec la commande :
start-master.sh
Pour tester l'installation, nous avons ouvert un navigateur et entré l’adresse IP Localhost sur le port 8080 :
http://127.0.0.1:8080/
Développement de code Spark et RDD pour MapReduce
Nous avons téléchargé un fichier de GitHub représentant les ventes d’un magasin (date d’opération, type d’article, moyen de paiement, etc.) avec la commande wget, puis extrait le fichier. Nous avons développé un code Spark qui traite ce fichier selon l’algorithme suivant :
- Charger le fichier purchases.txt
- Séparer les mots selon les caractères d'espacement
- Appliquer un map sur les mots obtenus pour produire le couple (<mot>, 1)
- Utiliser un reduce pour faire la somme des 1 des mots identiques
Nous avons exécuté ce code ligne par ligne. Pour voir les résultats du traitement, il faut quitter Spark en appuyant sur ctrl+d, puis visualiser le répertoire courant avec la commande ls. Nous trouverons le répertoire créé par le code file2.count qui contient les résultats.
Points clés à retenir
Voici les points essentiels à retenir de ce projet :
- Installation de Spark sur Ubuntu 20.04
- Fonctionnement de MapReduce avec Spark
- Développement d'un code pour traiter des données de ventes
- Utilisation des RDD pour la manipulation des données
Questions fréquentes
Comment installer Spark sur Ubuntu ?
Pour installer Spark sur Ubuntu, il faut d'abord installer Java, Scala et Git avec la commande sudo apt install default-jdk scala git -y, puis télécharger Spark et configurer les variables d'environnement.
Quelle est la différence entre Hadoop et Spark ?
Hadoop est un framework pour le stockage et le traitement de données distribuées, tandis que Spark est un moteur de traitement de données rapide qui peut fonctionner sur Hadoop et d'autres plateformes. Spark est généralement plus rapide que Hadoop pour le traitement de données en raison de son architecture en mémoire.
Quel est un exemple de code Spark ?
Un exemple de code Spark consiste à charger un fichier de données, à le transformer en RDD, puis à appliquer des opérations comme map et reduce pour compter les occurrences de mots dans un fichier texte.
Qu'est-ce que MapReduce ?
MapReduce est un modèle de programmation pour le traitement et la génération de grandes ensembles de données. Il se compose de deux étapes principales : la phase de map, qui transforme les données en paires clé-valeur, et la phase de reduce, qui agrège ces paires.
Commentaires
Aucun commentaire pour le moment. Posez la première question.