Hadoop Architecture: YARN
Architecture de Hadoop YARN Cette page traite de l'architecture de Hadoop YARN, un framework essentiel pour la gestion des ressources dans les clusters Hadoop. Les étudiants découvriront le fonctionnement de YARN, ses composants clés, ainsi que ses avantages par rapport aux versions précédentes de Hadoop. Des exemples d'applications utilisant YARN seront également présentés.
D'après le document Hadoop Architecture: YARN
Cet article a été rédigé automatiquement à partir du document source, puis vérifié avant publication.
Document source
Big Data Architecture · PDF · 10 pages · 2021
Afficher l'aperçu du document
Architecture de Hadoop YARN
Cette page traite de l'architecture de Hadoop YARN, un framework essentiel pour la gestion des ressources dans les clusters Hadoop. Les étudiants découvriront le fonctionnement de YARN, ses composants clés, ainsi que ses avantages par rapport aux versions précédentes de Hadoop. Des exemples d'applications utilisant YARN seront également présentés.
Problématique et solution apportée par YARN
Dans les versions antérieures de Hadoop, le job tracker avait deux responsabilités principales : gérer les ressources du cluster et ordonnancer les jobs. Cependant, cette double responsabilité posait des problèmes de performance et de fiabilité. En cas de défaillance du job tracker, l'ensemble du système pouvait être affecté.
Pour résoudre ce problème, l'architecture d'Hadoop a été modifiée avec l'introduction de YARN (Yet Another Resource Negotiator). YARN permet d'exécuter divers types d'applications distribuées sur un cluster Hadoop, et pas seulement les applications MapReduce.
Fonctionnalités de YARN
YARN propose plusieurs améliorations significatives :
- Séparation de la gestion des ressources du cluster et de la gestion des jobs MapReduce.
- Considération des nœuds comme des entités ayant des ressources (mémoire et CPU) qui peuvent être allouées aux applications selon leurs besoins.
Composants clés de YARN
YARN se compose de plusieurs éléments essentiels qui facilitent la gestion des ressources et l'exécution des applications :
Resource Manager
Le resource manager est le chef d'orchestre des ressources du cluster. Il ordonnance les requêtes des clients et pilote le cluster via des node managers qui s'exécutent sur chaque nœud de calcul. Son rôle principal est de contrôler toutes les ressources du cluster et de surveiller l'état des machines qui le composent.
Application Master (AM)
L'application master est un processus qui s'exécute sur chaque machine esclave. Il gère les ressources nécessaires au travail soumis en collaboration avec le resource manager.
Node Manager
Le node manager héberge des containers, qui sont des abstractions de ressources sur un nœud. Ces containers peuvent être dédiés soit à l'exécution de tâches comme Map et Reduce, soit à l'exécution d'un application master. Le node manager est en communication constante avec le resource manager via un système de heartbeat.
Exécution d'un travail dans Hadoop avec YARN
Voici un schéma simplifié de l'exécution d'un travail dans Hadoop 2.x avec YARN :
- Un client Hadoop copie ses données sur HDFS.
- Le client soumet le travail à effectuer au resource manager sous la forme d'une archive .jar, en précisant les noms des fichiers d'entrée et de sortie.
- Le resource manager alloue un container pour l'application master sur un node manager.
- L'application master demande au resource manager un ou plusieurs containers, en précisant des préférences de localisation en fonction de la localité des données d'entrée.
- Le resource manager alloue alors un ou plusieurs containers (child) à l'application master.
- L'application master choisit parmi la liste des tâches (par exemple Map et Reduce) et démarre une instance de la tâche choisie dans un des containers qui lui a été alloué. Il collabore avec le node manager pour utiliser les ressources acquises et communique régulièrement avec le resource manager pour assurer la tolérance aux pannes.
Avantages de YARN
Les avantages de YARN ne se limitent plus à MapReduce. Grâce à cette architecture, de nombreuses applications peuvent s'exécuter de manière native sur un même cluster Hadoop, parmi lesquelles :
- Spark : une solution pour le traitement et l'analyse de données massives.
- Giraph : une solution pour effectuer des calculs sur des graphes.
- HBase : une base de données NoSQL reposant sur HDFS.
- Tez : un cadre pour l'écriture et l'exécution de traitements modélisés sous forme de graphes.
Points clés à retenir
Voici les points essentiels à retenir concernant l'architecture de Hadoop YARN :
- YARN permet une gestion efficace des ressources dans un cluster Hadoop.
- Il sépare la gestion des ressources de l'ordonnancement des jobs.
- Les composants principaux incluent le resource manager, l'application master et le node manager.
- YARN supporte diverses applications au-delà de MapReduce.
Questions fréquentes
Comment fonctionne YARN ?
YARN fonctionne en séparant la gestion des ressources et l'ordonnancement des jobs. Le resource manager gère les ressources globales, tandis que chaque application a son propre application master qui demande des containers au resource manager pour exécuter ses tâches.
Quelle est la différence entre le job tracker et le resource manager ?
Le job tracker, présent dans les versions antérieures de Hadoop, gérait à la fois les ressources et l'ordonnancement des jobs. En revanche, le resource manager dans YARN se concentre uniquement sur la gestion des ressources, tandis que l'application master gère l'exécution des tâches spécifiques.
Quels sont les avantages de YARN ?
Les avantages de YARN incluent une meilleure gestion des ressources, la possibilité d'exécuter différentes applications sur le même cluster, et une architecture plus robuste qui améliore la tolérance aux pannes.
Peut-on utiliser d'autres applications avec YARN ?
Oui, YARN permet d'exécuter plusieurs types d'applications, notamment Spark, HBase, et Tez, en plus des applications MapReduce traditionnelles.
Commentaires
Aucun commentaire pour le moment. Posez la première question.