INTRODUCTION AU BIG DATA

2.3. Tol rance aux pannes

2.3. Tol rance aux pannes

C'est l'une des fonctionnalit s tr s importantes de Hadoop. Par

d faut, 3 r pliques de chaque bloc sont stock es dans le cluster

dans Hadoop et peuvent galement tre modifi es selon les

exigences. Donc, si un nSud tombe en panne, les donn es sur

ce nSud peuvent tre r cup r es facilement partir d'autres

nSuds l'aide de cette caract ristique. Les pannes de nSuds

ou de t ches sont r cup r es automatiquement par le

framework. C'est ainsi que Hadoop est tol rant aux pannes .

Dr Abir KHALDI

8

Hadoop - Caract ristiques

Hadoop - Pourquoi

Hadoop -

Caract ristiques

Hadoop- Ecosyst me

Hadoop- Architecture

Hadoop Avantages &

Inconv nient

2.4. Fiabilit

En raison de la r plication des donn es dans le cluster, les donn es sont

stock es de mani re fiable sur le cluster de la machine malgr les pannes de

la machine. Si votre machine tombe en panne, vos donn es seront

galement stock es de mani re fiable en raison de cette caract ristique de

Hadoop.

2.5. La haute disponibilit :

Les donn es haute disponibilit sont hautement disponibles et accessibles

malgr une d faillance mat rielle due plusieurs copies de donn es. En cas

de panne d'une machine ou de quelques mat riels, les donn es seront

accessibles partir d'un autre chemin.

2.6. volutivit

Hadoop est hautement volutif dans la fa on dont un nouveau mat riel peut

tre facilement ajout aux nSuds. Cette fonctionnalit de Hadoop offre

galement une volutivit horizontale, ce qui signifie que de nouveaux

nSuds peuvent tre ajout s la vol e sans aucun temps d'arr t .

hautement disponibles

haute disponibilit

Dr Abir KHALDI

9

Hadoop - Caract ristiques

Hadoop - Pourquoi

Hadoop -

Caract ristiques

Hadoop- Ecosyst me

Hadoop- Architecture

Hadoop Avantages &

Inconv nient

2.7. conomique

Apache Hadoop n'est pas tr s cher car il fonctionne sur un cluster de

mat riel de base. Nous n'avons besoin d'aucune machine sp cialis e pour

cela. Hadoop permet galement de r aliser d'importantes conomies car il

est tr s facile d'ajouter plus de nSuds la vol e ici. Donc, si les besoins

augmentent, vous pouvez galement augmenter les nSuds sans aucun

temps d'arr t et sans n cessiter beaucoup de pr -planification.

2.8. Facile utiliser

Pas besoin de client pour g rer l'informatique distribu e, le framework

s'occupe de tout. Cette fonctionnalit de Hadoop est donc facile utiliser.

2.9. Localit de donn es

Celui-ci est une des caract ristiques uniques de Hadoop qui le rendait facile

g rer les Big Data. Hadoop fonctionne sur le principe de la localit des

donn es qui stipule que le calcul est d plac vers les donn es plut t que

les donn es vers

l'algorithme

MapReduce, cet algorithme est d plac vers les donn es du cluster plut t

que d'amener les donn es l'emplacement o l'algorithme est soumis,

puis de les traiter.

Ce sont les caract ristiques de Hadoop qui

Dr Abir KHALDI

syst mes de gestion des donn es.

le diff rencient des autres

Lorsqu'un client

le calcul.

soumet

10

Hadoop -Ecosyst me

Hadoop - Pourquoi

Hadoop -

Caract ristiques

Hadoop- Ecosyst me

Hadoop- Architecture

Hadoop Avantages &

Inconv nient

Dr Abir KHALDI

11

Hadoop - Ecosyst me

Hadoop - Pourquoi

Les trois composants de base de Hadoop

Hadoop -

Caract ristiques

Hadoop- Ecosyst me

Hadoop- Architecture

Hadoop Avantages &

Inconv nient

1. HDFS est le fondement de Hadoop et est donc une composante tr s

importante de l' cosyst me Hadoop. Il s'agit d'un logiciel Java qui

offre de nombreuses fonctionnalit s telles que l' volutivit , la haute

disponibilit , la tol rance aux pannes, la rentabilit , etc. Il fournit

galement un stockage de donn es distribu robuste pour Hadoop.

2. MapReduce est

le composant de traitement des donn es de

Il applique le calcul sur des ensembles de donn es en

Hadoop.

parall le am liorant ainsi les performances.

3. YARN qui est l'abr viation de Yet Another Resource Manager. C'est

comme le syst me d'exploitation de Hadoop car il surveille et g re les

ressources. Yarn est entr en sc ne avec le lancement de Hadoop 2.x

afin de permettre diff rentes charges de travail. Il g re les charges de

travail comme le traitement de flux,

le

traitement par lots sur une seule plateforme.

le traitement interactif,

Dr Abir KHALDI

12

Hadoop - Ecosyst me

Hadoop - Pourquoi

Hadoop -

Caract ristiques

Hadoop- Ecosyst me

Hadoop- Architecture

Hadoop Avantages &

Inconv nient

4. Hive est un projet d'entrep t de donn es construit sur le dessus

d'Apache Hadoop qui fournit des requ tes et des analyses de donn es. Il a

le langage de son propre appel HQL ou Hive Query Language . HQL traduit

automatiquement les requ tes dans le travail de r duction de carte

correspondant.

5. Pig est un langage de type SQL utilis pour interroger et analyser les

donn es stock es dans HDFS. Yahoo tait le cr ateur original du Cochon. Il

utilise la langue latine du Pig. Il charge les donn es, lui applique un filtre et

vide les donn es au format requis. Pig se compose galement

de JVM appel Pig Runtime.

Yahoo tait le cr ateur original du Cochon.

6. HBase est une base de donn es NoSQL construite sur le dessus de

HDFS. Les diff rentes fonctionnalit s de HBase sont qu'il s'agit d'une base

de donn es open source, non relationnelle et distribu e. Il imite la Bigtable

de Google et crit en Java. Il fournit un acc s en lecture / criture en temps

r el de grands ensembles de donn es.

Dr Abir KHALDI

13

Hadoop - Ecosyst me

Hadoop - Pourquoi

Hadoop -

Caract ristiques

Hadoop- Ecosyst me

Hadoop- Architecture

Hadoop Avantages &

Inconv nient

fournit une plate-forme pour cr er des applications

7. Mahout

d'apprentissage automatique (Machine Learning) qui sont volutives.

Les algorithmes d'apprentissage machine nous permettent de cr er des

machines auto- volutives sans tre explicitement programm es. Il prend

les d cisions futures en fonction du comportement des utilisateurs, des

exp riences pass es et des mod les de donn es.

8 Zookeeper coordonne les diff rents services de l' cosyst me Hadoop Il

8. Zookeeper coordonne les diff rents services de l' cosyst me Hadoop. Il

conomise le temps requis pour la synchronisation, la maintenance de la

configuration, le regroupement et la d nomination.

9. OOZIE Il s'agit d'un syst me de planification de workflow pour la

gestion des travaux Hadoop. Il prend en charge les travaux Hadoop pour

Map-Reduce, Pig, Hive et Sqoop. Oozie combine plusieurs emplois en une

seule unit de travail. Il est volutif et peut g rer des milliers de flux de

travail dans un cluster Hadoop.

Dr Abir KHALDI

14

Hadoop - Pourquoi

Hadoop -

Caract ristiques

Hadoop- Ecosyst me

Hadoop- Architecture

Hadoop Avantages &

Inconv nient

Hadoop - Ecosyst me

10. Sqoop importe des donn es de sources externes dans des

composants compatibles de l' cosyst me Hadoop tels que HDFS, Hive,

Il transf re galement des donn es de Hadoop vers

HBase, etc.

d'autres sources externes.

Il fonctionne avec des SGBDR comme

TeraData, Oracle, MySQL et ainsi de suite. La principale diff rence

entre Sqoop et Flume est que Flume ne fonctionne pas avec des

donn es structur es. Mais Sqoop peut g rer des donn es structur es

et non structur es.

et non structur es

11. Flume : Il s'agit d'un service qui permet d'int grer des donn es

structur es et semi-structur es dans HDFS. Flume fonctionne sur le

principe du traitement distribu . Il facilite la collecte, l'agr gation et le

d placement d'une norme quantit d'ensembles de donn es. Flume

a trois composants: source, puits et canal.

12. Ambari est un autre composant de l' cosyst me Hadoop. Il est

responsable de l'approvisionnement, de la gestion, de la surveillance

et

les

diff rentes fonctionnalit s d'Ambari :

s curisation

Hadoop.

cluster

Voici

du

de

la

Dr Abir KHALDI

15

Hadoop - Ecosyst me

Hadoop - Pourquoi

Hadoop -

Caract ristiques

Hadoop- Ecosyst me

Hadoop- Architecture

Hadoop Avantages &

Inconv nient

13. Apache Drill est un moteur de requ te SQL sans sch ma.

Il

fonctionne sur le dessus de Hadoop, NoSQL et du stockage cloud. Son

objectif principal est le traitement grande chelle de donn es faible

latence. Il s'agit d'un moteur de traitement de requ tes distribu . Nous

pouvons interroger des p taoctets de donn es l'aide de Drill. Il peut

voluer sur plusieurs milliers de nSuds. Il prend en charge les bases de

le stockage cloud

donn es NoSQL comme le stockage Azure BLOB,

Google,

Google, Amazon S3, HBase, MongoDB , etc.

MongoDB

14. Apache Spark unifie toutes sortes de traitements Big Data sous un

Il poss de des biblioth ques int gr es pour le

m me parapluie.

le traitement de

l'apprentissage automatique et

streaming, SQL,

graphiques. Apache Spark s' claircit rapidement. Il donne de bonnes

performances pour le traitement par lots et par flux. Il le fait l'aide

du planificateur DAG , de l'optimiseur de requ tes et du moteur

d'ex cution physique.

Dr Abir KHALDI

16

Hadoop - Ecosyst me

15. Apache Solr et Apache Lucene sont deux services qui recherchent

et indexent l' cosyst me Hadoop. Apache Solr est une application

construite autour d'Apache Lucene. Le code d'Apache Lucene est en

la recherche et

Java.

l'indexation. Apache Solr est une plate-forme de recherche open source

extr mement rapide.

Il utilise des biblioth ques

Java pour

Hadoop - Pourquoi

Hadoop -

Caract ristiques

Hadoop- Ecosyst me

Hadoop- Architecture

Hadoop Avantages &

Inconv nient

Dr Abir KHALDI

17

Hadoop - Architecture

Hadoop a une topologie ma tre-esclave:

La fonction du nSud ma tre est d'assigner une t che diff rents nSuds

esclaves et de g rer les ressources.

Les nSuds esclaves effectuent le calcul proprement dit. Les nSuds esclaves

stockent les donn es r elles alors que sur le ma tre, nous avons des

m tadonn es. Cela signifie qu'il stocke des donn es sur les donn es.

L'architecture Hadoop comprend trois couches principales:

HDFS (syst me de fichiers distribu Hadoop)

Hadoop)

MapReduce

Yarn

(syst me

Hadoop - Pourquoi

Hadoop -

Caract ristiques

Hadoop- Ecosyst me

Hadoop- Architecture

Hadoop Avantages &

Inconv nient

Dr Abir KHALDI

18

Hadoop - Architecture

Le socle technique d'Hadoop est compos :

1. De toute larchitecture n cessaire

pour lorchestration de MapReduce

pour :

(cid:2)lordonnancement des

traitements,

(cid:2)la localisation des fichiers,

(cid:2)la distribution de lex cution.

2. Dun syst me de fichiers HDFS qui est :

(cid:2)Distribu : les donn es sont

r parties sur les machines du

cluster.

(cid:2)R pliqu : en cas de panne,

aucune donn e n'est perdue.

(cid:2)Optimis pour la colocalisation

des donn es et des traitements.

Hadoop - Pourquoi

Hadoop -

Caract ristiques

Hadoop- Ecosyst me

Hadoop- Architecture

Hadoop Avantages &

Inconv nient

Dr Abir KHALDI

19

Hadoop Architecture : HDFS

HDFS signifie Hadoop Distributed File System .

Il pr voit le stockage des donn es de Hadoop.

Il divise l'unit de donn es en unit s plus petites appel es blocs et les

stocke de mani re distribu e.

un syst me de fichiers HDFS est :

"Distribu : les donn es sont r parties sur les machines du cluster.

"R pliqu : en cas de panne, aucune donn e n'est perdue.

R pliqu : en cas de panne, aucune donn e n'est perdue.

"Optimis pour la colocalisation des donn es et des traitements.

Il a deux d mons en cours d'ex cution:

NameNode joue le role du nSud ma tre

DataNode qui sont les nSuds esclaves -.

Hadoop - Pourquoi

Hadoop -

Caract ristiques

Hadoop- Ecosyst me

Hadoop- Architecture

Hadoop Avantages &

Inconv nient

Dr Abir KHALDI

20

Hadoop Architecture : HDFS

Hadoop - Pourquoi

Dans Hadoop, l'architecture de stockage est une architecture ma tre-

esclave:

Hadoop -

Caract ristiques

"Le nSud maitre appel name node contient et stocke tous les noms et

blocs des fichiers ainsi que leur localisation dans le cluster. On peut donc

le voir comme un gros annuaire.

Hadoop- Ecosyst me

"Une autre machine, appel e secondary name node sert de namenode

"Une autre machine, appel e secondary name node sert de namenode

de secours en cas de d faillance du nSud ma tre et il a donc pour r le

de faire des sauvegardes r guli res de l'annuaire.

"Les autres nSuds, les esclaves, sont les nSuds de stockage en tant que

tels. Ce sont les data nodes qui ont pour r le la gestion des op rations

de stockage locales (cr ation, suppression et r plication de blocs) sur

instruction du name node.

Hadoop- Architecture

Hadoop Avantages &

Inconv nient

Dr Abir KHALDI

21

Hadoop Architecture : HDFS

Hadoop - Pourquoi

Hadoop -

Caract ristiques

Hadoop- Ecosyst me

Hadoop- Architecture

Hadoop Avantages &

Inconv nient

Dr Abir KHALDI

22

Hadoop Architecture : HDFS

Si on souhaite crire un fichier dans HDFS, on utilise un client Hadoop. Le

principe est assez simple :

"Le client indique au name node qu'il souhaite crire un bloc.

"Le name node indique le data node contacter.

"Le client envoie le bloc au data node.

"Les data nodes r pliquent les blocs entre eux.

Le cycle se r p te pour le bloc suivant.

Hadoop - Pourquoi

Hadoop -

Caract ristiques

Hadoop- Ecosyst me

Hadoop- Architecture

Hadoop Avantages &

Inconv nient

Dr Abir KHALDI

23

Hadoop Architecture : HDFS

Si on souhaire lire un fichier dans HDFS, c'est galement assez simple.

"Le client indique au name node qu'il souhaite lire un fichier.

"Le name node indique sa taille ainsi que les diff rents data nodes

contenant les blocs.

"Le client r cup re chacun des blocs sur l'un des data nodes.

Si le data node est indisponible, le client en contacte un autre.

Hadoop - Pourquoi

Hadoop -

Caract ristiques

Hadoop- Ecosyst me

Hadoop- Architecture

Hadoop Avantages &

Inconv nient

Dr Abir KHALDI

24

Hadoop - Avantages

Hadoop - Pourquoi

Hadoop -

Caract ristiques

Hadoop- Ecosyst me

Hadoop- Architecture

Hadoop Avantages &

Inconv nient

Gamme de sources de donn es

Les donn es recueillies aupr s de diverses sources seront de forme structur e ou non structur e.

Les sources peuvent tre des m dias sociaux, des donn es par clic ou m me des conversations par

courrier lectronique. Il faudrait beaucoup de temps pour convertir toutes les donn es collect es

en un seul format. Apache Hadoop conomise ce temps, car il peut extraire des donn es

pr cieuses de toute forme de donn es.

Rentable

Apache Hadoop est une solution rentable pour le stockage de donn es. Cela aide long terme car

il stocke la totalit des donn es brutes g n r es par une entreprise. Si lentreprise change la

il stocke la totalit des donn es brutes g n r es par une entreprise. Si lentreprise change la

direction de ses processus lavenir, elle peut facilement se r f rer aux donn es brutes et prendre

les mesures n cessaires.

Vitesse

Chaque organisation utilise une plate-forme pour faire un travail plus rapidement. Hadoop donne

la possibilit chaque entreprise de r pondre ses probl mes de stockage de donn es. Il utilise un

syst me de stockage dans lequel les donn es sont stock es sur un syst me de fichiers distribu .

tant donn que les outils utilis s pour le traitement des donn es sont situ s sur les m mes

serveurs que les donn es, on effectue galement le traitement un rythme plus rapide. Par

cons quent, vous pouvez traiter des t raoctets de donn es en quelques minutes laide de Apache

Hadoop.

Tol rance aux pannes

Hadoop duplique automatiquement les donn es qui y sont stock es et cr e plusieurs copies. Ceci

est fait pour sassurer quen cas de panne, les donn es ne soient pas perdues.

Dr Abir KHALDI

25

Hadoop - Inconv nients

Hadoop - Pourquoi

Absence de mesures pr ventives

Hadoop -

Caract ristiques

Pendant le traitement de donn es sensibles collect es par une entreprise, il est

n cessaire de fournir les mesures de s curit obligatoires. Dans Hadoop, les

mesures de s curit sont d sactiv es par d faut. Le responsable de lanalyse

des donn es est conscient et prend les mesures n cessaires pour s curiser les

donn es.

Hadoop- Ecosyst me

Probl mes li s aux petites donn es

Probl mes li s aux petites donn es

Hadoop- Architecture

Hadoop Avantages &

Inconv nient

On trouve des plates-formes Big Data sur le march qui ne conviennent pas aux

petites donn es. Hadoop est lune de ces plates-formes dans laquelle seules les

grandes entreprises g n rant des donn es volumineuses peuvent profiter de

ses avantages. En effet, Hadoop ne peut pas fonctionner efficacement dans de

petits environnements de donn es.

Fonctionnement risqu

Java est lun des langages de programmation les plus populaire au monde. Cest

galement li diverses controverses car les cybercriminels peuvent facilement

exploiter les frameworks construits sur Java. Hadoop est un de ces frameworks

enti rement bas en Java. Par cons quent, la plate-forme est tr s vuln rable et

peut subir des dommages.

Dr Abir KHALDI

26

"Questions ?

[email protected]

[email protected]

Dr Abir KHALDI

27