Introduction au Big Data

Dr Abir KHALDI, Introduction au Big Data

8

Big Data: 3V

Volume

(cid:1)Le volume décrit la quantité de données générées par des entreprises, les objets

connectées, ou des personnes.

(cid:1)Selon planetoscope, chaque seconde, 29.000 Gigaoctets (Go) d’informations sont

Selon planetoscope, chaque seconde, 29.000 Gigaoctets (Go) d’informations sont

publiés dans le monde, soit 2,5 exaoctets par jour soit 912,5 exaoctets par an. Un

volume de “big data” qui croît à une vitesse extraordinaire.

(cid:1)Prenons pour exemple les médias sociaux, car ils ont un impact considérable sur

l’explosion des données. Depuis 2016, plus de 2 000 milliards de publications et 250

milliards de photos ont été téléchargés.

(cid:1)Facebook regorge de données personnelles et ses 2,2 milliards d’utilisateurs

partageant des données à chaque seconde. La gestion de cette quantité de

données serait impossible sans le développement du Big Data.

Historique

Présentation

3V

Challenges

9

Problématiques

Stockage

Traitement

Collecte

Architecture Lambda

Technologies Clefs

Domaines d‘application

Dr Abir KHALDI, Introduction au Big Data

9

Big Data: 3V

Historique

Présentation

3V

Challenges

9

Problématiques

Stockage

Traitement

Collecte

Architecture Lambda

Technologies Clefs

Domaines d‘application

les

Vélocité

•La vitesse décrit la fréquence à laquelle les données sont générées,

capturées ou partagées. Du fait des évolutions technologiques, les

consommateurs et les entreprises génèrent plus de données dans des

génèrent plus de données dans des

temps beaucoup plus courts.

•Une étude menée par Digital Universe révèle que la taille des

données dans le monde entier double tous les deux ans. Le plus

important, c’est que 3% des données sont organisées et que

seulement 0,5% sont prêtes à être analysées. Les données “big data”

ne sont pas simplement volumineuses; ça évolue vite.

•A titre d’exemple, les statistiques quotidiennes de Facebook. Selon

les informations de Social Skinny 293 000 status sont mis à jour, 136

les informations de Social Skinny, 293 000 status sont mis à jour, 136

000 photos téléchargées et 500 000 commentaires postés sur

Facebook chaque minute.

Alors, la technologie des métadonnées et la technologie Big Data

associées à l’apprentissage automatique (Machine Learning) et à

l’intelligence artificielle sont utilisées pour donner un instantané dans

les différents cas d’utilisation.

Dr Abir KHALDI, Introduction au Big Data

10

Big Data: 3V

Variété

Les données sont rapides, les données sont volumineuses, mais les données sont

extrêmement diverses. L’expansion de types de données provenant de sources

comme les médias sociaux, les interactions Machine to Machine et les terminaux

mobiles, crée une très grande diversité

mobiles, crée une très grande diversité.

se trouvaient dans une base de données

Auparavant,

structurée(SQL), dans un simple fichier texte ou dans une feuille de calcul. Il n’y

avait pas beaucoup d’options sur la façon d’utiliser les données.

les données

Historique

Présentation

3V

Challenges

9

Problématiques

Stockage

Traitement

Collecte

Architecture Lambda

Technologies Clefs

Domaines d‘application

Dr Abir KHALDI, Introduction au Big Data

11

Big Data : Challenges

Historique

Présentation

3V

Challenges

Problématiques

Stockage

11

Traitement

Collecte

Architecture Lambda

Technologies Clefs

Domaines d‘application

► Stocker d’abord, réfléchir ensuite

► Les données qui pilotent le traitement

► Arrêter de réfléchir en relationnel

► TOUTES les données sont importantes

Dr Abir KHALDI, Introduction au Big Data

12

Big Data : Problématiques

3 Problématiques majeures pour les données massives :

► Volume → Stockage

► Vélocité → Traitement

► Variété → Collecte

Historique

Présentation

3V

Challenges

Problématiques

Stockage

12

Traitement

Collecte

Architecture Lambda

Technologies Clefs

Domaines d‘application

Dr Abir KHALDI, Introduction au Big Data

13

l

Big Data : Stockage

Problématique du Volume

Historique

Présentation

3V

Challenges

Problématiques

Stockage

Traitement

Collecte

Problème

Comment stocker ces données dont le volume ne cesse

d’augmenter?

d’augmenter?

Solution

13

Scale UP

Architecture Lambda

Technologies Clefs

Domaines d‘application

Scale OUT

Dr Abir KHALDI, Introduction au Big Data

14

l

13

Historique

Présentation

3V

Challenges

Problématiques

Stockage

Traitement

Collecte

Architecture Lambda

Technologies Clefs

Domaines d‘application

Big Data : Stockage

Problématique du Volume

Problème

Comment stocker ces données dont le volume ne cesse

d’augmenter?

d’augmenter?

Dans le domaine du stockage, cependant, monter en charge signifie adapter

Il existe deux approches

le système à un besoin de capacité accrue.

principales pour y parvenir :

Scale-up : La plus ancienne, le « scale-up », est une forme d'évolutivité

verticale. Il s'agit d'accroître la capacité du matériel ou des logiciels existants

en ajoutant des ressources à un système physique (par exemple, en

augmentant la puissance de traitement d'un serveur pour le rendre plus

augmentant la puissance de traitement d'un serveur pour le rendre plus

rapide). Dans un système de stockage, cette méthode consiste à ajouter des

unités, comme des disques, à un système existant dont la capacité est

devenue insuffisante.

Scale-out: L'évolutivité horizontale, en revanche, représente la possibilité de

relier plusieurs entités de sorte qu'elles fonctionnent comme une seule

unité logique. Ainsi, un stockage scale-out peut être constitué de nombreux

noeuds séparés géographiquement.

Dr Abir KHALDI, Introduction au Big Data

15

Big Data : Stockage

l

Historique

Présentation

3V

Challenges

Problématiques

Stockage

Traitement

Collecte

Architecture Lambda

Technologies Clefs

Domaines d‘application

Un système de stockage Big Data assure:

Un système de stockage Big Data

►La répartition de charges

►La tolérance aux fautes

►La haute disponibilité

Dr Abir KHALDI, Introduction au Big Data

16

Big Data : Traitement des Données Massives

Principes Fondamentaux

Historique

Présentation

3V

Challenges

Problématiques

Stockage

Traitement

Collecte

Architecture Lambda

Technologies Clefs

► Déplacer le traitement vers les données

Déplacer le traitement vers les données

► Principe de In-Memory Processing

► Savoir être polyglotte

• Polyglot Programming: Plusieurs langages et paradigmes

de programmation dans une seule application

Domaines d‘application

• Polyglot Persistance: Plusieurs technologies de stockage

dans une seule application

Dr Abir KHALDI, Introduction au Big Data

17

lBig Data : Traitement des Données Massives

Types de Traitements

Historique

Présentation

3V

Challenges

Problématiques

Stockage

Traitement

Collecte

Architecture Lambda

Technologies Clefs

Domaines d‘application

Plusieurs types de traitement:

► Batch Processing

► Stream Processing

► Micro-Batch Processing

► Real-time Processing

Dr Abir KHALDI, Introduction au Big Data

18

Big Data : Collecte des Données

Problèmes

► Collecte de données de sources, formats et types différents

► Homogénéisation et fusion des données

► Considération de la vélocité des données

Solution

Extraction de données et stockage dans des structures de

Extraction de données et stockage dans des structures de

données réparties en mémoire en attendant leur

traitement.

Historique

Présentation

3V

Challenges

Problématiques

Stockage

Traitement

Collecte

Architecture Lambda

Technologies Clefs

Domaines d‘application

Dr Abir KHALDI, Introduction au Big Data

19

Big Data : Lambda Architecture

Historique

Présentation

3V

Challenges

Problématiques

Stockage

Traitement

Collecte

2

Architecture Lambda

Technologies Clefs

Domaines d‘application

•L'architecture Lambda est une approche hybride de

la gestion du Big Data qui permet un traitement par lots et

en quasi temps réel

en quasi temps réel.

•L'architecture Lambda de base comporte trois couches :

lot, temps réel et service. La couche lot, généralement

sous Hadoop, stocke toutes les données. MapReduce

exécute régulièrement un traitement par lots sur la

totalité de ces données. Envoyées à un datastore, ces

informations servent à mieux comprendre les tendances

des données historiques

des données historiques.

•Parallèlement à cette couche moins rapide, les nouvelles

données sont capturées et traitées à mesure qu'elles

arrivent. La couche temps réel permet aux collaborateurs

d'adapter leurs décisions et de réagir promptement aux

nouvelles tendances.

Dr Abir KHALDI, Introduction au Big Data

20

Big Data : Lambda Architecture

Historique

Présentation

3V

Challenges

Problématiques

Stockage

Traitement

Collecte

2

Architecture Lambda

Technologies Clefs

Domaines d‘application

•Les données qui transitent par cette couche temps réel

sont également copiées dans un plus grand jeu de

données pour y subir un traitement par lots, plus long

données pour y subir un traitement par lots, plus long.

•Après le traitement en temps réel, les données sont

effacées de la couche temps réel pour laisser la place à

de nouvelles données. Comme la couche temps réel ne

traite que les données qui arrivent entre deux lots de

traitement, son fonctionnement reste efficace même

avec un flux régulier de données complexes.

•Les couches temps réel et par lots fusionnent pour les

•Les couches temps réel et par lots fusionnent pour les

recherches effectuées via la couche service, qui inclut un

moteur de requêtes à traitement massivement parallèle.

•L'accès à cet ensemble de données combiné permet de

disposer à tout moment de rapports précis avec

une latence faible.

Dr Abir KHALDI, Introduction au Big Data

21

Big Data : Lambda Architecture

Historique

Présentation

3V

Challenges

Problématiques

Stockage

Traitement

Collecte

2

Architecture Lambda

Technologies Clefs

Domaines d‘application

Dr Abir KHALDI, Introduction au Big Data

22

Big Data : Technologies Clefs

Historique

Présentation

3V

Challenges

Problématiques

Stockage

Traitement

Collecte

Architecture Lambda

Technologies Clefs

Domaines d‘application

Plusieurs technologies incontournables des Big Data :

Plusieurs technologies incontournables des Big Data :

► Hadoop : Système de fichier distribué et Batch Processing

► Spark : Traitement Batch et µ-Batch

► Storm : Traitement streaming

► NoSQL : Bases de données distribuées et schema-less

Dr Abir KHALDI, Introduction au Big Data

23

Etude de cas : Activité

Soit une clinique qui veut mettre en place un

système d’information basé sur le Big Data.

Discutez leur décision.

Historique

Présentation

3V

Challenges

Problématiques

Stockage

Traitement

Collecte

Architecture Lambda

Technologies Clefs

Domaines d‘application

Dr Abir KHALDI, Introduction au Big Data

24

Historique

Présentation

3V

Challenges

Problématiques

Stockage

Traitement

Collecte

Architecture Lambda

Technologies Clefs

Domaines d‘application

34

Big Data: Domaines d’application

Analyse du Comportement (Behavioral Analysis)

► Compagnies peuvent apprendre ce qui pousse un client à

rester ou à abandonner ses services

rester ou à abandonner ses services

► Analyse du comportement du client en observant ses

habitudes

► Marketing ciblé

Acteurs

• Nestlé: Utilisation des réseaux sociaux pour avoir les avis

des consommateurs

des consommateurs

• MacDonalds: optimisation de chaque restaurant selon sa

clientèle

• Starbucks: Envoi de coupons et offres ciblés aux

consommateurs

Dr Abir KHALDI, Introduction au Big Data

25

Big Data: Domaines d’application

Historique

Présentation

3V

Challenges

Problématiques

Stockage

Traitement

Collecte

Architecture Lambda

Technologies Clefs

Domaines d‘application

Support Prédictif (Predictive Support)

Support Prédictif (Predictive Support)

► Utilisation de capteurs pour détecter le

mal-fonctionnement d’une machine

► Envoi de pièces de rechange à l’avance

Acteurs

• Southwest Airlines
• Purdue University: Prédiction de possibles problèmes

académiques ou comportementaux

Dr Abir KHALDI, Introduction au Big Data

26

Big Data: Domaines d’application

Historique

Présentation

3V

Challenges

Problématiques

Stockage

Traitement

Collecte

Architecture Lambda

Technologies Clefs

Domaines d‘application

Détection de Fraudes (Fraud Detection)

Combinaison de plusieurs données pour détecter

► Combinaison de plusieurs données pour détecter

d’éventuels schémas sophistiqués de fraudes.

Acteurs

• Zions Bank: détecte les anomalies de fonctionnement

provenant de plusieurs sources

Ex: client qui veut réaliser une transaction mobile en même

temps qu’une transaction en agence

• Discovery Health: Agence d’assurance, identifie de

possibles prescriptions frauduleuses

Ex: peut identifier qu’un fournisseur charge une procédure

plus cher que ce qui est habituel

27

Big Data: Domaines d’application

Optimisation

► Optimisation du temps de traitement

► Optimisation des tailles des données stockées

► Optimisation des accès aux données

► Tradeoffs entre consistance et disponibilité

► Stratégies de partitionnement et de réplication

► In-memory vs. persistance

Historique

Présentation

3V

Challenges

Problématiques

Stockage

Traitement

Collecte

Architecture Lambda

Technologies Clefs

Domaines d‘application

38 Data Science

► Algorithmes pour la visualisation des données

► Data mining, data prediction, data analytics

► Analyse des sentiments et analyse sémantique

Dr Abir KHALDI, Introduction au Big Data

28

Big Data: Domaines d’application

Historique

Présentation

3V

Challenges

Problématiques

Stockage

Traitement

Collecte

Architecture Lambda

Technologies Clefs

Domaines d‘application

39

Big Data Design

► Méthodologies de conception pour les systèmes Big Data

Méthodologies de conception pour les systèmes Big Data

► Définition d’architectures de stockage et traitement

Big Data Security

► Sécurité des traitements dans les environnements

distribués

Sécurité des bases de données

► Sécurité des bases de données non-relationnelles

relationnelles

► Sécurité des logs

► Validation et filtrage des données en entrée

► Contrôle d’accès et cryptographie

Dr Abir KHALDI, Introduction au Big Data

29

Big Data: Domaines d’application

Historique

Présentation

3V

Challenges

Problématiques

Stockage

Traitement

Collecte

Architecture Lambda

Technologies Clefs

Domaines d‘application

40

Big Data and Other New Trends

► Big Data et Business Intelligence

Big Data et Business Intelligence

► Big Data et Cloud Computing

► Big Data et Internet of Things

► Big Data et Mobile

Big Data and Other Fields

► Big Data in Education

► Big Data in Health

► Big Data in Arts

Dr Abir KHALDI, Introduction au Big Data

30

INTRODUCTION AU BIG DATA

QUESTIONS ?

40

[email protected]

Dr Abir KHALDI, Introduction au Big Data

31