Plan du cours
- Chapitre 1: Introduction à Big Data
- Chapitre 2: Hadoop
- Généralité
- Architecture HDFS
- Algorithme MapRduce
- Installation et configuration Hadoop (TP inclus)
- Chapitre 3: Utilisation de Hadoop
- Manipulation de HDFS
- Développement d’une application MapReduce
- TP inclus
- Chapitre 4: Spark
- TP inclus
- Chapitre 5: NoSQL
- Chapitre 6: HBase, MangoDB
- TP inclus
Chapitre 1 Introduction à Big Data
Cours Big Data - 2019
BIG DATA: Définition
et présentant un fort enjeux commercial et marketing.
des outils classiques de gestion de base de données.
BIG DATA: Caractéristiques
- **COUVERTURE DE CINQ DIMENSIONS - 5Vs (1/2)**
- IBM (2012) – 4Vs
- 2015 : encore plus de V
BIG DATA: Caractéristiques
- **COUVERTURE DE CINQ DIMENSIONS - 5Vs (2/2)**
- 2016 : 7V ?
- 2017 : 10V?
BIG DATA: Caractéristiques
- **COUVERTURE DE CINQ DIMENSIONS - 5Vs (1/7)**
- **Volume (1/2)**
en petaoctets.
- Chaque jour, 2.5 trillions d’octets de données sont générées.
années (2014).
Cours Big Data - 2019
BIG DATA: Caractéristiques
- **COUVERTURE DE CINQ DIMENSIONS - 5Vs (2/7)**
- **Volume (2/2)**
- 4,4 zettaoctets de données
= 4,4 trillion de gigaoctets
- 44 zettaoctets de données
= 44 milliards gigaoctets
- 62 fois le nombre de tous les sables dans
toutes les plages de la terre.
Cours Big Data - 2019
BIG DATA: Caractéristiques
- **COUVERTURE DE CINQ DIMENSIONS - 5Vs (3/7)**
- **Variété**
doivent faire l’objet d’une analyse collective.
9
BIG DATA: Caractéristiques
- **COUVERTURE DE CINQ DIMENSIONS - 5Vs (4/7)**
- **Vitesse (Velocity)**
données, …).
sont générées, sans jamais mettre en bases de données.
- Streaming Data
➢ des centaines par seconde
- 100 Capteurs
➢ dans chaque voiture moderne pour la surveillance
BIG DATA: Caractéristiques
- **COUVERTURE DE CINQ DIMENSIONS - 5Vs (5/7)**
- **Véracité**
- Données bruités, imprécises, prédictives, …
- DES MILLIONS DE DOLLARS $ PARAN
➢ Ce que la pauvre qualité des données coute pour l’économie des Etats-Unis.
- 1 à 3 CHEFS D'ENTREPRISE
➢ Ne font pas confiance à l'information qu'ils utilisent.
BIG DATA: Caractéristiques
Publicité
- **COUVERTURE DE CINQ DIMENSIONS - 5Vs (6/7)**
- **Valeur**
d’activité : commerce, industrie, services …
BIG DATA: Caractéristiques
- **COUVERTURE DE CINQ DIMENSIONS - 5Vs (7/7)**
BIG DATA: Généralités
BIG DATA: Généralités
2016
Cours Big Data - 2019
BIG DATA: Généralités
ordinateurs et smartphones – Open Data
- Réseaux sociaux: facebook
- Données d’administrations publiques
– Internet des Objets
- RFID (cartes de transport, codes bar, …)
2020 (12 milliards en 2013)
Cours Big Data - 2019 16
BIG DATA: Généralités
Cours Big Data - 2019 17
BIG DATA: Généralités
- **Business Intelligence (BI)**
BIG DATA: Généralités
aujourd'hui.
un facteur exponentiel .
par la plupart des entreprises.
Cours Big Data - 2019 19
BIG DATA: Généralités
- ADAPTABILITE
manipulables par les outils classiques .
Cours Big Data - 2019 20
BIG DATA: Généralités
à l'esprit les caractéristiques suivantes :
Cours Big Data - 2019 21
BIG DATA: Généralités
ultérieure).
Mais voici le quatrième point de la rescousse.
Cours Big Data - 2019 22
BIG DATA: Généralités
Cela réduit le coût de l'infrastructure totale.
scénario de Big Data.
BIG DATA: Généralités
Exemple Simple (1/4)
- Analyser une data set de 1TB
Cours Big Data - 2019 24
Publicité
BIG DATA: Généralités
Exemple Simple (2/4)
- Temps d’accès
BIG DATA: Généralités
- Exemple Simple (3/4)
Temps d’accès (lecture) > 2h + Temps de calcul ~ 1h +
Bande passante du réseau etc
> 3h
Cours Big Data - 2019 26
BIG DATA: Généralités
- Exemple Simple (4/4)
- Lecture Parallèle Temps de lecture = 150 min / 100 < 2min Temps de calcul = 60 min / 100 < 1 min
Cours Big Data - 2019 27
BIG DATA: Généralités
et de vente etc …
BIG DATA: Généralités
- Cas d’utilisation : Santé (1/2)
29
BIG DATA: Généralités
- Cas d’utilisation : Santé (2/2)
l'efficacité des différentes interventions.
nécessaire dans les stages primaires.
l'efficacité et la qualité des opérations.
et de traitement.
30 Cours Big Data - 2019
BIG DATA: Généralités
Cas d’utilisation : Marketing (1/2)
- Plus d’intelligence pour plus de ventes.
d’augmenter les achats.
31 Cours Big Data - 2019
BIG DATA: Généralités
- Cas d’utilisation : Marketing (2/2)
révèlent les habitudes d’achat des clients.
Cours Big Data - 2019
BIG DATA: Généralités
- Cas d’utilisation : Analyse de tweets en temps réel
33 Cours Big Data - 2019
BIG DATA: Généralités
- Cas d’utilisation : Politique
la population.
supercalculateurs de la planète.
Publicité
d’information collectés par la NSA surinternet.
résultat de vote préliminaire en Tunisie.
34 Cours Big Data - 2019
BIG DATA: Généralités
- Cas d’utilisation : Sport (1/2)
des informations biométriques sur les joueurs :
- la distance parcourue
- les vitesses en sprint
- les accélérations
- le nombre de ballons touchés
- le rythme cardiaque, etc.
l’entraîneur le remplace.
Cours Big Data - 2019
BIG DATA: Généralités
- Cas d’utilisation : Sport (2/2)
montre offensive, s’ouvre des occasions et marque des buts.
joués ou les données recueillies pendant les entraînements.
Cours Big Data - 2019
BIG DATA: Généralités
- Cas d’utilisation : Sécurité publique (1/2)
d’envoyer des alertes.
- Cette analyse de vidéo avancée est utilisée en particulier pour :
o la sécurité du trafic (routier, ferroviaire, maritime et aérien)
o la protection des espaces et des bâtiments publics
o la sécurité personnelle.
o la reconnaissance d’objets et de mouvements
o la lecture de plaques minéralogiques
o la détection de véhicule non autorisé
o la reconnaissance faciale
automatisées.
37 Cours Big Data - 2019
BIG DATA: Généralités
- Cas d’utilisation : Sécurité publique (2/2)
lutter contre le terrorisme pour lequel l’alerte était à son maximum.
38 Cours Big Data - 2019
BIG DATA: Acteurs et Solutions
principalement sur deux types de technologies :
2. Les bases de données (NoSql)
39 Cours Big Data - 2019
BIG DATA: Historique
1. Utilisation d’un SGBDR ?
➢ Problème de distribution des données ➢ Problème du nombre d’utilisateurs ➢ Problème de Vitesse du moteur de recherche
Système) en 2003
40 Cours Big Data - 2019
BIG DATA: Historique
41 Cours Big Data - 2019
BIG DATA: Historique
Publicité
gros volumes.
Ghemawat
➢ MapReduce : Simplified Data Processing on Large Clusters
- C’est un algorithme inventé par Google, Inc afin de distribuer des
traitements sur un ensemble de machines avec le systèmeGFS.
interconnectés dans le monde.
42 Cours Big Data - 2019
BIG DATA: Les Acteurs de l’Open Source
au monde Open Source.
Oracle, Microsoft, EMC …
43 Cours Big Data - 2019
BIG DATA: Plateforme – Technologies - Outils
| Société | Technologie développée |
Type de technologie |
|---|---|---|
| Big Table | Système de base de données distribuée propriétaire reposant sur GFS (Google File System). Technologie non Open Source, mais qui a inspiré Hbase qui est Open Source. |
|
| MapReduce | Plate-forme de développement pour traitements distribués | |
| Yahoo | Hadoop | Plateforme Java destinée aux applications distribuées et à la gestion intensive des données. Issue à l’origine de GFS et MapReduce. |
| Yahoo | S4 | Plateforme de développement dédiée aux applications de traitement continu de flux de données. |
| Cassandra | Base de données de type NoSQL et distribuée. | |
| Hive | Logiciel d’analyse de données utilisant Hadoop. | |
| Storm | Plateforme de traitement de données massives. | |
| FockDB | Base de données distribuée de type graphe. | |
| SenseiDB | Base de données temps réel distribuée et semi-structurée. | |
| Voldemort | Base de données distribuée destinée aux très grosses volumétries. |
Quelques technologies Open Source du Big Data
44
Outils
• Processing
Hadoop, Hive, Pig, mrjob, Caffeine
• NoSQL Databases
Hbase, MongoDB, Vertica, Cassandra, Neo4j, etc.
• Servers
EC2, Google App Engine, Elastic, Beanstalk, Heroku
• Analytics • Search
Solr/Lucene, ElasticSearch
45 Cours Big Data - 2019
Outils
46 Cours Big Data - 2019
BIG DATA Landscape (1/3)
BIG DATA Landscape (2/3)
BIG DATA Landscape (3/3)
BIG DATA: Conclusion
Nous sommes actuellement dans l'ère de la production massive de données. D'une part, les applications génèrent des données issues des logs, des réseaux de capteurs, des rapports de transactions, des traces de GPS, etc. et d'autre part, les individus produisent des données telles que des photographies, des vidéos, des musiques ou encore des données sur l'état de santé (rythme cardiaque, pression ou poids).
Un problème se pose alors quant au stockage et à l'analyse des données. La capacité de stockage des disques durs augmente mais le temps de lecture croît également. Il devient alors nécessaire de paralléliser les traitements en stockant sur plusieurs machines.
Plusieurs solutions, inspirées des solutions de Google, ont été proposées. Hadoop est la solution la plus répondue au monde de BigData. Cette solution sera détaillée dans le chapitre suivant.
Cours Big Data - 2019
Cours
Articles
Livres