Aller au contenu

Rapport Mini Projet Big Data

Objectifs et prérequis du TP sur Spark et MapReduce Objectifs Ce TP a pour objectif d'appliquer un code en Spark sur un fichier texte représentant les ventes d'un magasin, en utilisant le principe de MapReduce après la modélisation des RDD pour les données de ce fichier. À la fin de ce TP, l'étudiant devrait être capable de : Installer et configurer Apache Spark sur Ubuntu.

D'après le document Rapport Mini Projet Big Data

Cet article a été rédigé automatiquement à partir du document source, puis vérifié avant publication.

Document source

Rapport Mini Projet Big Data

Big Data and Cloud Computing · PDF · 8 pages · 2020

Afficher l'aperçu du document

Consulter le document original →

Objectifs et prérequis du TP sur Spark et MapReduce

Objectifs

Ce TP a pour objectif d'appliquer un code en Spark sur un fichier texte représentant les ventes d'un magasin, en utilisant le principe de MapReduce après la modélisation des RDD pour les données de ce fichier. À la fin de ce TP, l'étudiant devrait être capable de :

  • Installer et configurer Apache Spark sur Ubuntu.
  • Développer un code Spark pour traiter des données en utilisant MapReduce.
  • Comprendre le fonctionnement des RDD et leur utilisation dans Spark.

Prérequis

Pour réaliser ce TP, il est nécessaire d'avoir :

  • Une machine virtuelle avec VMware Workstation version 15.
  • Ubuntu 20.04 comme système d'exploitation.
  • Apache Hadoop version 2.7 et Apache Spark version 3.0.1 installés.
  • Des connaissances de base en programmation avec Java, Scala ou Python.

Installation de Spark sur Ubuntu 20.04

Pour commencer, nous allons installer Apache Spark sur notre machine virtuelle Ubuntu. Suivez les étapes ci-dessous :

Installation des dépendances

Exécutez la commande suivante pour installer les paquets nécessaires :

sudo apt install default-jdk scala git -y

Après l'installation, vérifiez les dépendances installées avec les commandes suivantes :

java -version; javac -version; scala -version; git --version

Téléchargement et extraction de Spark

Téléchargez la version de Spark souhaitée depuis le site Web d'Apache. Nous allons opter pour Spark 3.0.1 avec Hadoop 2.7 :

wget https://downloads.apache.org/spark/spark-3.0.1/spark-3.0.1-bin-hadoop2.7.tgz

Extrayez l'archive téléchargée :

tar xvf spark-*

Déplacez le répertoire décompressé vers le répertoire /opt/spark :

sudo mv spark-3.0.1-bin-hadoop2.7 /opt/spark

Configuration des variables d'environnement

Ajoutez les chemins d'accès à Spark dans le fichier ~/.bashrc :

vi ~/.bashrc

Ajoutez les lignes suivantes :

export SPARK_HOME=/opt/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

Activez les changements avec la commande :

source ~/.bashrc

Démarrage du serveur maître

Pour démarrer le serveur maître, utilisez la commande suivante :

start-master.sh

Pour tester l'installation de Spark, ouvrez un navigateur Web et entrez l'adresse suivante :

http://127.0.0.1:8080/

Développement de code Spark et RDD pour MapReduce

Nous allons maintenant développer un code Spark qui traite un fichier représentant les ventes d'un magasin. Suivez les étapes ci-dessous :

Téléchargement du fichier de données

Téléchargez le fichier de données depuis GitHub :

wget <URL_DU_FICHIER>

Extrayez le fichier si nécessaire avec la commande tar.

Développement du code Spark

Développez un code Spark qui suit l'algorithme suivant :

  1. Charger le fichier purchases.txt.
  2. Séparer les mots selon les caractères d'espacement.
  3. Appliquer un map sur les mots obtenus qui produit le couple (<mot>, 1).
  4. Appliquer un reduce pour faire la somme des 1 des mots identiques.

Voici un exemple de code :

val data = sc.textFile("purchases.txt")
val words = data.flatMap(line => line.split(" "))
val wordCounts = words.map(word => (word, 1)).reduceByKey(_ + _)
wordCounts.saveAsTextFile("file2.count")

Visualisation des résultats

Pour voir les résultats du traitement, quittez Spark en appuyant sur Ctrl+D, puis visualisez le répertoire courant avec la commande :

ls

Vous trouverez le répertoire créé par le code, file2.count, qui contient les fichiers avec les résultats.

Résultats attendus

Après avoir exécuté le code, vous devriez obtenir un répertoire file2.count contenant des fichiers avec les résultats du traitement. Ces fichiers afficheront le nombre d'occurrences de chaque mot dans le fichier d'entrée. Par exemple :

article1 5
article2 3
article3 8

Ces résultats montrent combien de fois chaque article a été vendu selon les données fournies.

Erreurs fréquentes avec Spark

Lors de l'utilisation de Spark, plusieurs erreurs peuvent survenir. Voici quelques-unes des plus courantes :

  • Erreur de dépendance : Assurez-vous que toutes les dépendances nécessaires sont installées et correctement configurées.
  • Problèmes de chemin d'accès : Vérifiez que les chemins d'accès aux fichiers sont corrects et que les fichiers existent.
  • Erreurs de syntaxe dans le code : Revoyez le code pour détecter toute erreur de syntaxe ou de logique.

Questions fréquentes

Comment installer Spark sur Ubuntu ?

Pour installer Spark sur Ubuntu, commencez par installer les dépendances nécessaires avec sudo apt install default-jdk scala git -y. Ensuite, téléchargez Spark, extrayez-le et configurez les variables d'environnement.

Quel est le rôle de MapReduce dans Spark ?

MapReduce est un modèle de programmation utilisé dans Spark pour traiter de grandes quantités de données. Il permet de diviser les tâches en sous-tâches (map) et de combiner les résultats (reduce).

Comment vérifier l'installation de Spark ?

Pour vérifier l'installation de Spark, ouvrez un navigateur et accédez à http://127.0.0.1:8080/. Cela affichera l'interface de gestion de Spark si l'installation est réussie.

Quelles sont les erreurs courantes lors de l'utilisation de Spark ?

Les erreurs courantes incluent des problèmes de dépendance, des chemins d'accès incorrects et des erreurs de syntaxe dans le code. Il est important de vérifier chaque étape pour éviter ces erreurs.

Partager

Commentaires

Aucun commentaire pour le moment. Posez la première question.

Les commentaires sont relus avant publication. Votre e-mail n'est jamais affiché.

← Toutes les révisions