INTRODUCTION AU BIG DATA
Architecture de YARN Dans cet article, nous allons explorer l'architecture de YARN (Yet Another Resource Negotiator) dans le cadre de Hadoop. YARN est un framework essentiel qui permet d'exécuter divers types d'applications distribuées sur un cluster Hadoop, et pas seulement les applications MapReduce.
D'après le document INTRODUCTION AU BIG DATA
Cet article a été rédigé automatiquement à partir du document source, puis vérifié avant publication.
Document source
Big Data, Hadoop, YARN, Programming, Distributed Systems · PDF · 10 pages · 2021
Afficher l'aperçu du document
Architecture de YARN
Dans cet article, nous allons explorer l'architecture de YARN (Yet Another Resource Negotiator) dans le cadre de Hadoop. YARN est un framework essentiel qui permet d'exécuter divers types d'applications distribuées sur un cluster Hadoop, et pas seulement les applications MapReduce. Nous examinerons son fonctionnement, ses avantages, ainsi qu'un exemple d'exécution d'un travail, afin de mieux comprendre son rôle dans la gestion des ressources et l'ordonnancement des tâches.
Fonctionnement de YARN
YARN a été introduit pour résoudre les problèmes liés à la gestion des ressources dans Hadoop. Dans les versions antérieures, le Job Tracker avait la responsabilité de gérer à la fois les ressources du cluster et d'ordonnancer les jobs. Cela posait des problèmes de performance et de fiabilité. Avec YARN, ces deux fonctions sont séparées, ce qui permet une meilleure gestion des ressources.
Composants principaux de YARN
YARN se compose de plusieurs éléments clés :
- Resource Manager : Il agit comme le chef d'orchestre des ressources du cluster. Il ordonnance les requêtes des clients et pilote le cluster via des Node Managers qui s'exécutent sur chaque nœud de calcul.
- Application Master (AM) : C'est un processus qui s'exécute sur les machines esclaves et gère les ressources nécessaires au travail soumis, en collaboration avec le Resource Manager.
- Node Manager : Il héberge des containers et gère les ressources du nœud. Il est en communication avec le Resource Manager via un heartbeat.
- Containers : Ce sont des abstractions de ressources sur un nœud, dédiées soit à l'exécution de tâches comme Map et Reduce, soit à l'exécution d'un Application Master.
Processus d'exécution d'un travail avec YARN
Voici un schéma simplifié de l'exécution d'un travail dans Hadoop 2.x avec YARN :
- Un client Hadoop copie ses données sur HDFS.
- Le client soumet le travail à effectuer au Resource Manager sous la forme d'une archive .jar et des noms des fichiers d'entrée et de sortie.
- Le Resource Manager alloue un container pour l'Application Master sur un Node Manager.
- L'Application Master demande au Resource Manager un ou plusieurs containers, en fonction de la localité des données d'entrée.
- Le Resource Manager alloue alors un ou plusieurs containers (child) à l'Application Master.
- L'Application Master choisit parmi la liste des tâches (par exemple Map et Reduce) et démarre une instance de la tâche choisie dans un des containers alloués. Il collabore avec le Node Manager pour utiliser les ressources acquises et communique régulièrement avec le Resource Manager pour assurer la tolérance aux pannes.
Avantages de YARN
YARN offre plusieurs avantages qui vont au-delà de MapReduce. Grâce à sa structure, de nombreuses applications peuvent s'exécuter de manière native sur un même cluster Hadoop. Parmi ces applications, on trouve :
- Spark : Une solution pour le traitement et l'analyse de données massives.
- Giraph : Une solution pour effectuer des calculs sur des graphes.
- HBase : Une base de données NoSQL reposant sur HDFS.
- Tez : Un cadre pour l'écriture et l'exécution de traitements modélisés sous forme de graphes.
Points clés à retenir
- YARN sépare la gestion des ressources et l'ordonnancement des jobs.
- Il permet l'exécution de diverses applications sur un même cluster.
- Le Resource Manager et l'Application Master jouent des rôles cruciaux dans la gestion des tâches.
Glossaire
- YARN : Yet Another Resource Negotiator, un framework pour la gestion des ressources dans Hadoop.
- Resource Manager : Composant qui gère les ressources du cluster.
- Application Master : Processus qui gère les ressources nécessaires à un travail spécifique.
- Node Manager : Composant qui gère les ressources d'un nœud de calcul.
- Containers : Abstractions de ressources allouées pour l'exécution de tâches.
Questions fréquentes
Qu'est-ce que YARN dans Hadoop ?
YARN est un framework qui permet d'exécuter divers types d'applications distribuées sur un cluster Hadoop, en séparant la gestion des ressources et l'ordonnancement des tâches.
Quels sont les avantages de YARN ?
YARN permet l'exécution de plusieurs applications sur un même cluster, améliore la gestion des ressources et assure une meilleure tolérance aux pannes grâce à la communication entre le Resource Manager et les Node Managers.
Comment fonctionne le Resource Manager ?
Le Resource Manager ordonnance les requêtes des clients et gère les ressources du cluster en interagissant avec les Node Managers, qui sont responsables de la gestion des ressources sur chaque nœud.
Quelle est la différence entre Job Tracker et Resource Manager ?
Le Job Tracker gérait à la fois les ressources et l'ordonnancement des jobs dans les anciennes versions de Hadoop, tandis que le Resource Manager se concentre uniquement sur la gestion des ressources dans YARN.
Comment soumettre un travail à YARN ?
Pour soumettre un travail à YARN, un client doit copier ses données sur HDFS, puis soumettre le travail au Resource Manager sous la forme d'une archive .jar avec les noms des fichiers d'entrée et de sortie.
Commentaires
Aucun commentaire pour le moment. Posez la première question.