EXAMEN
Semestre : 1 2 Session : Principale Rattrapage
ETUDIANT(e) Nom et Prénom : …………………………………………………... Classe: ………………………………………………….................... Module : BIG DATA Enseignantes : Asma Hamed, Ines Channoufi, Ines Slimene, Rayhan Ayadi Classes: 5ARCTIC, 5BI, 5GL, 5SIGMA, 5TWIN Documents autorisés : OUI NON Nombre de pages : 06 Calculatrice autorisée : OUI NON Internet autorisée : OUI NON Date : 22/11/2016 Heure : 09h00 Durée : 1h30
Code :
Code
Note
/20
Nom et Signature du Surveillant
Nom et Signature du Correcteur
Observations
Module :………………………………………………………………………………
Exercice 1 (4 pts)
Soit les deux fichiers custM.txt et custF.txt suivants :
1- Trouver une solution pour stocker les deux fichiers dans une seule table Hive.
……………………………………………………………………………………………………………………………………………… ………………………………………………………………………………………………………………………………………………
1
NE RIEN ECRIRE
2- Trouver une solution afin de garder le fichier sous HDFS après la suppression de la table.
……………………………………………………………………………………………………………………………………………… ……………………………………………………………………………………………………………………………………………… ……………………………………………………………………………………………………………………………………………… ………………………………………………………………………………………………………………………………………………
3- Suite au chargement du fichier CustM.txt avec la requête Pig :
La commande suivante n’affiche pas de résultat. Expliquer pourquoi et proposer une solution.
……………………………………………………………………………………………………………………………………………… ……………………………………………………………………………………………………………………………………………… ……………………………………………………………………………………………………………………………………………… ………………………………………………………………………………………………………………………………………………
Exercice 2 : (2 points)
Expliquer et donner le résultat du script Pig suivant :
2
Publicité
NE RIEN ECRIRE
……………………………………………………………………………………………………………………………………………… ……………………………………………………………………………………………………………………………………………… ……………………………………………………………………………………………………………………………………………… ………………………………………………………………………………………………………………………………………………
Exercice 3 : (3 points)
Compléter le schéma ci-dessous afin d’expliquer les étapes d’un programme mapreduce permettant de compter le nombre d’occurrences de chaque lettre du fichier d’entrée.
3
NE RIEN ECRIRE
Exercice 4 : QCM (11 points)
Cocher la bonne réponse
N.B : Une seule réponse est correcte
1. Quand Hadoop est-il utile ?
o Lorsque toutes les données sont non structurées
o Lorsque les traitements peuvent être effectués en parallèle
o Lorsque l'application requiert un accès aux données à faible latence
o Lorsque l’application nécessite un accès aléatoire aux données
2. Qu’est ce qui est vrai à propos de Pig et Hive par rapport à l'écosystème Hadoop?
o HiveQL exige la création d’un flux de données
o Pig Latin exige que les données aient un schéma
o HiveQL et Pig Latin nécessitent moins de lignes de code qu’un programme
mapreduce
o Tout ce qui précède
3. Où sont stockés les fichiers de sortie de la tâche Reduce?
o Dans un entrepôt de données
o En mémoire
o Dans le DataNode
o Dans le système de fichiers Linux
4
Publicité
EXAMEN
Semestre : 1 2 Session : Principale Rattrapage
ETUDIANT(e) Nom et Prénom : …………………………………………………... Classe: ………………………………………………….................... Module : BIG DATA Enseignantes : Asma Hamed, Ines Channoufi, Ines Slimene, Rayhan Ayadi Classes: 5ARCTIC, 5BI, 5GL, 5SIGMA, 5TWIN Documents autorisés : OUI NON Nombre de pages : 06 Calculatrice autorisée : OUI NON Internet autorisée : OUI NON Date : 22/11/2016 Heure : 09h00 Durée :1h30
Code :
4. Le mécanisme qui permet d’éviter la perte de données sous HDFS est :
o La réplication
o La partition
o La scalabilité
o Yarn
5. Quelles sont les améliorations apportées par YARN par rapport au paradigme
mapreduce v1 (MPR1)?
o C'est complètement open source
o Il divise JobTracker en deux processus : ResourceManager et ApplicationManager
o Il divise
le TaskTracker en deux processus
: ResourceManager et
ApplicationManager
6. Job Tracker fonctionne sur le :
o NameNode
o DataNode
o NameNode secondaire
o DataNode secondaire
7. Quel est le composant de stockage logique des lignes d’une table HBase ?
o HDFS
o Région
Publicité
o Master
5
o ZooKeeper
NE RIEN ECRIRE
8. Lequel de ces éléments est responsable de la réplication des données dans Hadoop?
o Task Tracker.
o Job Tracker.
o NameNode
o DataNode
9. Quelle est la commande qui permet d’afficher la liste des bases de données Hive ?
o DISPLAY ALL DB;
o SHOW ME THE DATABASES;
o DISPLAY DB;
o SHOW DATABASES;
10. LOAD DATA LOCAL signifie que les données doivent être chargées à partir du
HDFS ?
o Vrai
o Faux
11. Les Bags sont des groupes de tuples, les tuples sont des groupes de champs, les
champs ont des types de données ?
o Vrai
o Faux
6