Big Data Analytics Exam - Winter 2020
Big Data Analytics Exam - Winter 2020
Big Data and Data Processing · exam
Voir tous les documents en intelligence artificielle et donnéesTous les examens en intelligence artificielle et données
Fiche de révisionCorrigé
Rédigée à partir de ce document, puis vérifiée avant publication.
Ce document présente un examen de Big Data Analytics, visant à évaluer les connaissances des étudiants sur les architectures Big Data, les outils comme Hadoop, ElasticSearch, Flume, Sqoop, ainsi que la programmation Spark et les concepts fondamentaux du machine learning. Les questions testent à la fois la compréhension théorique et la capacité à appliquer des commandes et concepts pratiques.
Cette première série de questions porte sur les architectures Big Data et les outils associés. Il s'agit de décrire, expliquer et comparer des composants et commandes utilisés dans un environnement Big Data.
L’architecture Hadoop2 repose sur YARN (Yet Another Resource Negotiator) et suit un modèle maître-esclave. Elle comprend principalement :
Réponse : Hadoop2 dissocie la gestion des ressources (YARN avec ResourceManager, NodeManager et ApplicationMaster) du stockage distribué (HDFS avec NameNode et DataNodes).
Un cluster ElasticSearch est constitué de plusieurs nœuds interconnectés :
Réponse : Un cluster ElasticSearch se compose d'un ensemble de nœuds (Master, Data, Client) sur lesquels les index sont distribués sous forme de shards primaires et de répliques.
Les Index Patterns dans Kibana sont indispensables pour l'exploration de données :
logstash-*).Réponse : Un Index Pattern permet à Kibana d'identifier et de regrouper les index ElasticSearch à interroger pour l'analyse et la visualisation de données.
Un agent Flume est un processus JVM assurant la collecte et le transfert de données d'événement :
tail -F), NetCat Source, Spooling Directory Source, Syslog Source.Réponse : L'agent Flume repose sur le triplet Source (ex : Syslog Source), Channel (ex : Memory Channel) et Sink (ex : HDFS Sink) pour assurer l'ingestion continue de données.
Lors du transfert vers un système comme HDFS, Flume écrit les données dans des fichiers temporaires portant l'extension .tmp. Cette extension indique que le fichier est en cours d'écriture (actif). Dès que le fichier atteint la taille limite, le nombre d'événements requis ou le temps d'inactivité spécifié, Flume ferme le fichier et retire l'extension .tmp.
Réponse : L'extension .tmp désigne un fichier temporaire en cours d'écriture. Elle évite que des outils tiers (comme Hive ou Spark) ne lisent des données incomplètes avant la clôture du transfert.
Considérons les deux instructions Sqoop suivantes :
sqoop import-all-tables --connect jdbc:mysql://localhost:3306/regions --username=root --warehouse-dir=/user/hive/warehouse/regions.db --m=1
sqoop import-all-tables -m 1 \
--connect jdbc:mysql://localhost:3306/regions \
--username=root \
--compression-codec=snappy \
--as-avrodatafile \
--warehouse-dir=/user/hive/warehouse
Analyse des différences clés :
--as-avrodatafile pour stocker les données sous forme de fichiers binaires Avro (incluant le schéma d'origine).--compression-codec=snappy), réduisant l'occupation disque tout en offrant d'excellentes performances de décompression.regions.db, tandis que la seconde pointe vers le répertoire générique de l'entrepôt Hive /user/hive/warehouse.Réponse : La seconde commande améliore la première en stockant les données au format binaire structuré Avro avec une compression Snappy, optimisant ainsi l'espace disque et la compatibilité.
Pour vérifier que les tables et leurs données ont été correctement intégrées dans l'entrepôt Hive, on exécute la séquence de requêtes SQL/HiveQL suivante :
SHOW DATABASES;
USE regions;
SHOW TABLES;
SELECT * FROM nom_table LIMIT 10;
Réponse : Ces requêtes permettent de valider l'existence de la base de données, la présence de toutes les tables importées et la conformité des enregistrements insérés.
Ce second exercice traite de l'utilisation de PySpark pour manipuler des RDD (Resilient Distributed Datasets). On dispose du script d'initialisation suivant :
from pyspark import SparkContext
sc = SparkContext.getOrCreate()
rdd1 = sc.parallelize(["Satuday", "Sunday", "Monday", "Tuesday"])
rdd2 = sc.parallelize(["Wednesday", "Thursday", "Friday", "Satuday"])
Commandes PySpark :
rdd1.take(2)
Réponse : La méthode take(2) extrait et renvoie sous forme de liste Python les deux premiers éléments du RDD (['Satuday', 'Sunday']).
Commandes PySpark :
rdd1.count()
Réponse : La méthode count() renvoie le nombre total d'éléments contenus dans le RDD (résultat : 4).
Commandes PySpark :
rdd2.getNumPartitions()
Réponse : La méthode getNumPartitions() indique dans combien de partitions le RDD est distribué au sein du cluster.
Commandes PySpark :
rdd2.collect()
Réponse : L'action collect() rapatrie tous les éléments du RDD distribué vers le programme driver sous forme de liste.
Commandes PySpark :
rdd1.union(rdd2).collect()
Réponse : La transformation union() combine les deux RDDs en conservant tous les éléments (y compris les doublons), et collect() affiche le résultat final.
Correction argumentée du questionnaire à choix multiples :
SparkContext constitue le point d'entrée fondamental.
map, flatMap et filter sont des transformations paresseuses, tandis que reduce est une action qui agrège les données et renvoie un résultat.
Pour réussir cet examen de Big Data Analytics, il convient de suivre une méthode rigoureuse d'analyse des architectures et des syntaxes :
-m 1).map, filter, union) construisent le graphe DAG sans exécuter de calcul, tandis que les actions (take, count, collect, reduce) déclenchent l'exécution effective des tâches sur le cluster.getNumPartitions() et collect()) ainsi que les paramètres transmis.