INTRODUCTION AU BIG DATA
Tutrice : Dr Abir KHALDI
2021-2022
Chapitre 2
Chapitre 4 : YARN
Hadoop Architecture : YARN
Probl matique
Le job tracker a une double responsabilit :
(cid:1)Il doit g rer les ressources du cluster.
(cid:1)Il doit ordonnancer les jobs.
Que se passe-t-il si le Job tracker est d faillant ?
Que se passe-t-il si le Job tracker est d faillant ?
Solution
L'architecture d'Hadoop a t modifi e (version 2.x) pour introduire
YARN : Yet Another Ressource Negociator
Advertisement
YARN : un framework permettant d'ex cuter n'importe quel type
d'application distribu e sur un cluster Hadoop, pas uniquement les
applications MapReduce.
Hadoop -Architecture : YARN
YARN propose de :
(cid:2)S parer la gestion des ressources du cluster et la gestion des jobs
MapReduce
(cid:2)Consid rer que les nSuds ont des ressources (m moire et CPU) qui seront
allou es aux applications quand elles le demandent.
Hadoop - Architecture : YARN
Dans YARN, les fonctionnalit s du job tracker sont :
(cid:1)Le resource manager : le chef d'orchestre des ressources du cluster.
Il ordonnance les requ tes clients et pilote le cluster par l'interm diaire de node
managers qui s'ex cutent sur chaque nSud de calcul. Il a donc pour r le de
contr ler toutes les ressources du cluster et l' tat des machines qui le constituent
Advertisement
(cid:1)L'application master (AM) qui est un processus s'ex cutant sur toutes les
les
machines esclaves et qui g re, en discussion avec le ressource manager,
ressources n cessaires au travail soumis.
Hadoop - Architecture : YARN
Dans YARN , les fonctionnalit s du task tracker sont :
(cid:1)Des containers qui sont des abstractions de ressources sur un nSud d di es soit
l'ex cution de t ches comme Map et Reduce, soit l'ex cution d'un application master.
(cid:1)Un node manager qui h berge des containers et g re donc les ressources du nSud. Il
est en communication via un heartbeat avec le ressource manager.
Hadoop - Architecture : YARN
Sch ma simplifi de l'ex cution d'un travail dans Hadoop 2.X avec YARN.
Hadoop - Architecture : YARN
Sch ma simplifi de l'ex cution d'un travail dans Hadoop 2.X avec YARN.
1. Un client hadoop copie ses donn es sur HDFS.
Advertisement
2. Le client soumet le travail effectuer au ressource manager sous la forme d'une
archive.jar et des noms des fichiers d'entr e et de sortie.
3. Le ressource manager alloue alors un container pour l'application master sur un node
manager
manager.
4. L'application master demande au ressource manager un ou plusieurs containers avec
des pr f rences de localisation d pendant de la localit des donn es d'entr e du
travail.
5. Le resource manager alloue alors un ou plusieurs containers (child) l'application
master.
6. L'application master choisit parmi la liste des t ches (par exemple Map et Reduce) et
demarre une instance de la t che choisie dans un des containers qui lui a t allou . Il
collabore alors avec le node manager pour utiliser les ressources acquises.
Il
communique aussi souvent avec le resource manager (message heartbeat) pour la
Advertisement
tol rance aux pannes.
Hadoop Architecture : YARN
Les avantages de YARN ne se limite plus MapReduce et avec ce principe, de
nombreuses applications peuvent s'ex cuter, de mani re native, sur un m me cluster
Hadoop parmi lesquelles :
Spark : une solution pour le traitement et l'analyse de donn es massives .
Giraph: une solution pour faire des calculs sur graphes.
HBase : une base de donn es NoSQL reposant sur HDFS.
Tez : un cadre pour l' criture et l'ex cution de traitements mod lis s sous la forme de
graphes
graphes.
"Questions ?