Big Data

GL4 (Option Management des Systèmes d'Information) - 2016

Chp1 : Introduction

Approche et Vocabulaire

Dr. Lilia SFAXI

w w w.liliasfaxi.w ix.co m/ liliasfaxi

Slide 1

Faits

Introduction aux Big Data

Chaque jour, nous générons 2,5 trillions d’octets de données

•

• 90% des données dans le monde ont été créées au cours des deux

dernières années

• 90% des données générées sont non structurées

•

Source:

Capteurs utilisés pour collecter les informations climatiques

§ Messages sur les médias sociaux

Images numériques et vidéos publiées en ligne

Enregistrements transactionnels d’achat en ligne

Signaux GPS de téléphones mobiles

…

Données appelées Big Data ou Données Massives

•

Intérêts

Introduction aux Big Data

1 /3

1 / 2

83 %

60 %

• Chefs d’entreprise prennent fréquemment des

décisions basées sur des informations en lesquelles

ils n’ont pas confiance, ou qu’ils n’ont pas

• Chefs d’entreprise disent qu’ils n’ont pas accès aux

informations dont ils ont besoin pour faire leur

travail

• Des DSI (Directeurs des SI) citent : « L’informatique

décisionnelle et analytique » comme faisant partie

de leurs plans pour améliorer leur compétitivité

• Des PDG ont besoin d’améliorer la capture et la

compréhension des informations pour prendre des

décisions plus rapidement

Sources

Introduction aux Big Data

•

Sources multiples: sites, bases de données, téléphones, serveurs:

Détecter les sentiments et réactions des clients

Détecter les conditions critiques ou potentiellement mortelles dans les

hôpitaux , et à temps pour intervenir

Prédire des modèles météorologiques pour planifier l’usage optimal des

éoliennes

Prendre des décisions risquées basées sur des données transactionnelles

en temps réel

Identifier les criminels et les menaces à partir de vidéos, sons et flux de

données

Étudier les réactions des étudiants pendant un cour, prédire ceux qui vont

réussir, d’après les statistiques et modèles réunis au long des années

(domaine BigData in Education)

Challenges

Introduction aux Big Data

•

Réunir un grand volume de données variées pour trouver de nouvelles

idées

Capturer des données créées rapidement

Sauvegarder toutes ces données

Traiter ces données et les utiliser

Les 5 V

Introduction aux Big Data

•

Extraction d’informations et décisions à partir de données,

caractérisées par les 5 V:

Volume (Volume)

Variété (Variety)

Vitesse (Velocity)

Véracité (Veracity)

Valeur (Value)

Volume

Vitesse

Téraoctets
Enreg. / Archives
Transactions
Tables, fichiers

Batch
Temps réél
Processus
Flot de données

Variété

Structurées
Non structurées
Multi-facteur
Probabilistes

5 Vs du

Big Data

Valeur

Statistiques
Évènements
Corrélations
Hypothétiques

Confiance
Authenticité
Origine, réputation
Disponibilité
Responsabilité

Véracité

Volume

Introduction aux Big Data

Le prix de stockage des données a beaucoup diminué ces

30 dernières années:

De $100,000 / Go (1980)

À $0.10 / Go (2013)

Les lieux de stockage fiables (comme des SAN: Storage

Area Network) ou réseaux de stockage peuvent être très

coûteux

Cho isir de ne sto cker que certaines do nnées, j ugées

sensibles

Perte de do nnées, po uvant être très utiles, co mme les lo gs

Volume

Vitesse

Téraoctets
Enreg. / Archives
Transactions
Tables, fichiers

Batch
Temps réél
Processus
Flot de données

Comment déterminer les données qui méritent d’être

stockées?

Transactio ns? Lo gs? Métier? Utilisateur? Capteurs?

Médicales? So ciales?

è Aucune donnée n’est inutile. Certaines n’ont juste pas

Variété

Structurées
Non structurées
Multi-facteur
Probabilistes

5 Vs du

Big Data

Valeur

Statistiques
Évènements
Corrélations
Hypothétiques

•

encore servi.

Problèmes:

Co mment sto cker les do nnées dans un endro it fiable, qui

so it mo ins cher

Co mment parco urir ces do nnées et en extraire des

info rmatio ns facilement et rapidement?

Confiance
Authenticité
Origine, réputation
Disponibilité
Responsabilité

Véracité

Variété

Introduction aux Big Data

•

Pour un stockage dans des bases de données ou

dans des entrepôts de données, les données

doivent respecter un format prédéfini.

La plupart des données existantes sont non-

structurées ou semi-structurées

Données sous plusieurs formats et types

On veut tout stocker:

Exemple: pour une discussion dans un centre

d’appel, on peut la stocker sous forme textuelle

pour son contenu, comme on peut stocker

l’enregistrement en entier, pour interpréter le ton

de voix du client

Certaines données peuvent paraître obsolètes,

mais sont utiles pour certaines décisions:

Exemple: Pour le transport de marchandise, on a

tendance à choisir le camion le plus proche. Mais

parfois, ce n’est pas la meilleure solution.

D’autres problèmes peuvent intervenir.

Besoin de : Données GPS, Plan de livraison du

camion, Circulation, Chargement du camion,

Niveau d’essence…

Volume

Vitesse

Téraoctets
Enreg. / Archives
Transactions
Tables, fichiers

Batch
Temps réél
Processus
Flot de données

Variété

Structurées
Non structurées
Multi-facteur
Probabilistes

5 Vs du

Big Data

Valeur

Statistiques
Évènements
Corrélations
Hypothétiques

Confiance
Authenticité
Origine, réputation
Disponibilité
Responsabilité

Véracité

Vitesse

Introduction aux Big Data

•

Rapidité d’arrivée des données

Vitesse de traitement

Les données doivent être stockées à

l’arrivée, parfois même des

Teraoctets par jour

Exemple

Sinon, risque de perte d’informations

Il ne suffit pas de savoir quel article

un client a acheté ou réservé

Si si on sait que vous avez passé

plus de 5mn à consulter un article

dans une boutique d’achat en ligne, il

est possible de vous envoyer un

email dès que cet article est soldé.

Volume

Vitesse

Téraoctets
Enreg. / Archives
Transactions
Tables, fichiers

Batch
Temps réél
Processus
Flot de données

Variété

Structurées
Non structurées
Multi-facteur
Probabilistes

5 Vs du

Big Data

Valeur

Statistiques
Évènements
Corrélations
Hypothétiques

Confiance
Authenticité
Origine, réputation
Disponibilité
Responsabilité

Véracité

Introduction aux Big Data

•

Cela fait référence au désordre ou la

fiabilité des données. Avec l’augmentation

de la quantité, la qualité et précision se

perdent (abréviations, typos,

déformations, source peu fiable…)

Les solutions Big Data doivent remédier à

cela en se référant au volume des données

existantes

Nécessité d’une (très) grande rigueur

dans l’organisation de la collecte et le

recoupement, croisement, enrichissement

des données pour lever l’incertitude et la

nature imprévisible des données

introduites dans les modèles mais aussi

pour respecter le cadre légal pour créer la

confiance et garantir la sécurité et

l’intégrité des données.

Volume

Vitesse

Téraoctets
Enreg. / Archives
Transactions
Tables, fichiers

Batch
Temps réél
Processus
Flot de données

Variété

Structurées
Non structurées
Multi-facteur
Probabilistes

5 Vs du

Big Data

Valeur

Statistiques
Évènements
Corrélations
Hypothétiques

Confiance
Authenticité
Origine, réputation
Disponibilité
Responsabilité

Véracité

Valeur

Introduction aux Big Data

•

Le V le plus important

Il faut transformer toutes les données

en valeurs exploitables: les données

sans valeur sont inutiles

• Atteindre des objectifs stratégiques

de création de valeur pour les clients

et pour l’entreprise dans tous les

domaines d’activité

Volume

Vitesse

Téraoctets
Enreg. / Archives
Transactions
Tables, fichiers

Batch
Temps réél
Processus
Flot de données

Variété

Structurées
Non structurées
Multi-facteur
Probabilistes

5 Vs du

Big Data

Valeur

Statistiques
Évènements
Corrélations
Hypothétiques

Confiance
Authenticité
Origine, réputation
Disponibilité
Responsabilité

Véracité

Approche Traditionnelle

Introduction aux Big Data

Les besoins métier guident la conception de la solution

De nouvelles exigences

nécessitent une nouvelle

conception et construction

Le responsable métier définit les besoins :

Quelles questions doit-on poser?

IT conçoit une solution avec un

ensemble de structures et

fonctionnalités

Le responsable métier exécute les

requêtes pour répondre aux questions –

encore et encore

Approche Traditionnelle

Introduction aux Big Data

• Appropriée pour:

Des données structurées

Opérations et processus répétitifs

Sources relativement stables

Besoins bien compris et bien cadrés

Approche Big Data

Introduction aux Big Data

Les sources d’information guident la découverte créative

Le responsable métier et IT

identifient les sources de données

disponibles

De nouvelles idées conduisent

à l’intégration de technologies

traditionnelles

Le responsable métier détermine les

questions à poser en explorant les données

et relations entre elles

IT fournit une plateforme

qui permet une exploration

créative de toutes les

données disponibles

Approche Big Data vs Approche Traditionnelle

Introduction aux Big Data

Entrepôt de Données

Plateforme Big Data

•

La question n’est pas :

Dois-je choisir entre

l’approche classique et

l’approche Big Data?

• Mais plutôt:

Comment les faire

fonctionner ensemble?

Intégration

Sources Traditionnelles

Nouvelles Sources

Approche Big Data vs Approche Traditionnelle

Introduction aux Big Data

Approche Traditionnelle

Analyse Structurée et Répétée

Approche Big Data

Analyse Itérative et Explo rato ire

Responsables Métier

Déterminent quelles

questions poser

Responsables IT

Structurent les données

pour répondre à ces

questions

Responsables IT

Fournissent une plateforme

pour permettre la

découverte créative

Responsables Métier

Explorent la plateforme pour

déterminer quelles

questions poser

Sources

Introduction aux Big Data

•

Cours

§ BigData Analytics–Lesson1: WhatisBigData, IBM, Big Data University

Intro to Hadoopand MapReduce, Coursera, Udacity

• Articles

Bernard Marr, “Big Data: The 5 VsEveryone Must Know”, LinkedIn