Pr sentation
Architecture
Outils et technologies
Le cours
Business Intelligence - Introduction
Olivier Schwander <[email protected]>
UPMC
1 / 45
Pr sentation
Architecture
Outils et technologies
Le cours
Organisation du cours
http://www-connex.lip6.fr/~schwander/enseignement/
2015-2016/m2stat_bi/
Horaires et salles
(cid:73) Mardi de 14h 17h, salle 1525-101 ou 1525-102
(cid:73) Cours puis TD/TP (mais pas toujours)
Contenu
(cid:73) Business intelligence
(cid:73) Bases de donn es, extraction de donn es
(cid:73) Interventions dindustriels
valuation
(cid:73) Note de TP et travail la maison
(cid:73) Examen nal
2 / 45
Pr sentation
Architecture
Outils et technologies
Le cours
Inspiration
Cours de Ludovic Denoyer
(cid:73) Master 1 Donn es Apprentissage Connaissances
(cid:73) Beaucoup plus dheures
(cid:73) Pas le m me public (informaticiens)
Cours de Bernard Espinasse
(cid:73) Ecole Polytechnique Universitaire de Marseille
(cid:73) Public encore plus sp cialis
Article Wikipedia Informatique d cisionnelle
Autres sources
(cid:73) Indiqu es au fur et mesure
3 / 45
Pr sentation
Architecture
Outils et technologies
Contexte
Motivation
Les m tiers du BI
Objectifs
Analyse de donn es pour lentreprise
(cid:73) Donner des clefs de compr hension autour du r le et de la
gestion des donn es en entreprise
(cid:73) Aborder des probl matiques de traitement/int gration de
donn es sur des exemples concrets
(cid:73) Pr senter des outils du domaine pro
Analyse de donn es en pratique
(cid:73) Donner des l ments de bases de donn es
(cid:73) Pr senter des cas concrets dextaction de donn es
4 / 45
Pr sentation
Architecture
Outils et technologies
Contexte
Motivation
Les m tiers du BI
Contexte
Entreprise
(cid:73) On veut gagner de largent
(cid:73) On cherche faire des choix intelligents
(cid:73) On peut collecter beaucoup de donn es
(cid:73) On a les ressources pour les traiter
(cid:73) On cherche les comp tences pour les traiter
Vous
(cid:73) Des math maticiens, des statisticiens
(cid:73) Des tudiants int grer dans le monde du travail
(cid:73) Lien faire entre vos comp tences et le vocabulaire et les
besoins de lentreprise
5 / 45
Pr sentation
Architecture
Outils et technologies
Contexte
Motivation
Les m tiers du BI
Contexte
6 / 45
Pr sentation
Architecture
Outils et technologies
Contexte
Motivation
Les m tiers du BI
D nition
LInformatique D cisionnelle (ID), en anglais Business Intelligence
(BI), est linformatique lusage des d cideurs et des dirigeants des
entreprises. Les syst mes de ID/BI sont utilis s par les d cideurs
pour obtenir une connaissance approfondie de lentreprise et de
d nir et de soutenir leurs strat gies daaires, par exemple :
dacqu rir un avantage concurrentiel, dam liorer la performance de
lentreprise, de r pondre plus rapidement aux changements,
daugmenter la rentabilit , et dune fa on g n rale la cr ation de
valeur ajout e de lentreprise.
7 / 45
Pr sentation
Architecture
Outils et technologies
Contexte
Motivation
Les m tiers du BI
Motivation
Enjeux Business des donn es - CIGREF 2014
Pour qui r ussit optimiser son usage, la donn e devient
information, puis, bien partag e au sein de lentreprise, elle se
transforme en connaissance et constitue son savoir. Elle peut tre
une source de services et dinnovations, notamment lorsquon la
croise avec dautres donn es et quelle provient de sources diverses.
Mots-cl s
(cid:73) donn es, information, connaissance, savoir
(cid:73) optimiser, partager, sources diverses
8 / 45
Pr sentation
Architecture
Outils et technologies
Contexte
Motivation
Les m tiers du BI
Applications
source : Rapport CIGREF 2009
(cid:73) Finance, avec les reportings nanciers et budg taires par
exemple ;
(cid:73) Vente et commercial, avec lanalyse des points de ventes,
Publicité
lanalyse de la protabilit et de limpact des promotions par
exemple ;
(cid:73) Marketing, avec la segmentation clients, les analyses
comportementales par exemple ;
(cid:73) Logistique, avec loptimisation de la gestion des stocks, le suivi
des livraisons par exemple ;
(cid:73) Ressources humaines, avec loptimisation de lallocation des
ressources par exemple ;
9 / 45
Pr sentation
Architecture
Outils et technologies
Contexte
Motivation
Les m tiers du BI
Etude IDC - Microsoft 2014
10 / 45
Pr sentation
Architecture
Outils et technologies
Contexte
Motivation
Les m tiers du BI
Etude IDC - Microsoft 2014
11 / 45
Pr sentation
Architecture
Outils et technologies
Contexte
Motivation
Les m tiers du BI
Etude IDC - Microsoft 2014
12 / 45
Pr sentation
Architecture
Outils et technologies
Contexte
Motivation
Les m tiers du BI
Pyramide du BI
Sagesse
Connaissance
Information
(Big) Data
13 / 45
Pr sentation
Architecture
Outils et technologies
Contexte
Motivation
Les m tiers du BI
Les m tiers du BI
4 m tiers
(cid:73) Data Integrator
(cid:73) Data Analyst
(cid:73) Data Scientist
(cid:73) Data Steward (Responsable des donn es)
14 / 45
Pr sentation
Architecture
Outils et technologies
Contexte
Motivation
Les m tiers du BI
Bas niveau
Data Integration
(cid:73) Combiner des informations h t rog nes venants de sources
di rentes
Data Analysis
(cid:73) Inspection, nettoyage, transformation et mod lisation des
donn es.
(cid:73) Data Mining, Data Vizualisation
(cid:73) Rendre la donn e compr hensible
(cid:73) Communiquer partir de la donn e
15 / 45
Pr sentation
Architecture
Outils et technologies
Contexte
Motivation
Les m tiers du BI
Haut niveau
Data Scientist
Il sagit de disposer de comp tences de haut niveau en mati re
danalyse de donn es, en combinant la fois les m thodes
statistiques, mais aussi dautres connaissances telles que la
linguistique, la s mantique, utiles notamment pour travailler sur des
donn es non structur es, sans oublier la bonne compr hension du
m tier sur lequel on travaille, et de mettre en oeuvre une d marche
danalyse it rative, en acceptant de tester des hypoth ses sans a
priori sur le r sultat recherch .
Data Steward - Responsable des Donn es
[. . . ] susceptibles sur un p rim tre m tier sur lequel ils d tiennent
une expertise reconnue, de sp cier les exigences sur les donn es et
den contr ler la qualit . Ces responsables de donn es peuvent tre
positionn s di rents niveaux dans lorganisation, et peuvent tre
pilot s par des coordinateurs au niveau dun m tier, dune fonction
support ou dune g ographie.
16 / 45
Pr sentation
Architecture
Outils et technologies
Architecture g n rale
Stockage
Fonctions
Architecture
Les donn es op rationnelles sont extraites p riodiquement de
sources h t rog nes : chiers plats, chiers Excel, base de donn es
(DB2, Oracle, SQL Server, etc.), service web, donn es massives et
stock es dans un entrep t de donn es.
Les donn es sont restructur es, enrichies, agr g es, reformat es,
nomenclatur es pour tre pr sent es lutilisateur sous une forme
s mantique (vues m tiers ayant du sens) qui permettent aux
d cideurs dinteragir avec les donn es sans avoir conna tre leur
structure de stockage physique, de sch mas en toile qui
permettent de r partir les faits et mesures selon des dimensions
hi rarchis es, de rapports pr -pr par s param trables, de tableaux
de bords plus synth tiques et interactifs.
Ces donn es sont livr es aux divers domaines fonctionnels (direction
strat gique, nance, production, comptabilit , ressources humaines,
etc.) travers un syst me de s curit ou de datamart sp cialis s
des ns de consultations, danalyse, dalertes pr d nies,
17 / 45
Pr sentation
Architecture
Outils et technologies
Architecture g n rale
Stockage
Fonctions
Architecture
Extraction des donn es
Publicité
(cid:73) Bases de donn es
(cid:73) Autres sources
Structuration des donn es
(cid:73) Pr traitements
(cid:73) Aggr gation
(cid:73) Interface
Pr sentation des donn es
(cid:73) Visualisation, alertes automatiques
(cid:73) Pour une t che donn e
(cid:73) destination dun d cideur
18 / 45
Pr sentation
Architecture
Outils et technologies
Architecture g n rale
Stockage
Fonctions
Stockage
Base de donn es op rationnelle
(cid:73) Fonctionnement normal de lentreprise
(cid:73) Pas forc ment un historique tr s grand
(cid:73) Peut changer dans le temps
Datawarehouse
(cid:73) Stockage pour le BI
(cid:73) Archivage sur toute lhistoire de lentreprise
(cid:73) Format stable dans le temps
Datamart
(cid:73) Vue m tier
(cid:73) destination du d cideur
19 / 45
Pr sentation
Architecture
Outils et technologies
Architecture g n rale
Stockage
Fonctions
D nitions
Datawarehouse
Le terme entrep t de donn es (ou base de donn es d cisionnelle, ou
encore data warehouse) d signe une base de donn es utilis e pour
collecter, ordonner, journaliser et stocker des informations
provenant de base de donn es op rationnelles et fournir ainsi un
socle laide la d cision en entreprise.
Datamart
Un DataMart (litt ralement en anglais magasin de donn es) est un
sous-ensemble dun DataWarehouse destin fournir des donn es
aux utilisateurs, et souvent sp cialis vers un groupe ou un type
daaire.
20 / 45
Pr sentation
Architecture
Outils et technologies
Architecture g n rale
Stockage
Fonctions
Datawarehouse
21 / 45
Pr sentation
Architecture
Outils et technologies
Architecture g n rale
Stockage
Fonctions
Les fonctions
(cid:73) Collecte de donn es
(cid:73) Int gration
(cid:73) Diusion (ou distribution)
(cid:73) Pr sentation
22 / 45
Pr sentation
Architecture
Outils et technologies
Architecture g n rale
Stockage
Fonctions
Fonction de collecte
D nition
La fonction collecte (parfois appel e datapumping) recouvre
lensemble des t ches consistant d tecter, s lectionner, extraire et
ltrer les donn es brutes issues des environnements pertinents
T che
(cid:73) R cup rer les donn es
(cid:73) M thodologie ETL
23 / 45
Pr sentation
Architecture
Outils et technologies
Architecture g n rale
Stockage
Fonctions
Donn es h t rog nes
Plusieurs types de sources
(cid:73) Fichiers plats
(cid:73) Fichers Excel
(cid:73) Bases de donn es (SQL)
(cid:73) Services web
(cid:73) Syst mes de stockages pour donn es massives
(cid:73) Interfaces exotiques
Plusieurs types de donn es
(cid:73) Chires, texte, image
(cid:73) Donn es statiques, ux
(cid:73) Donn es bruit es, manquantes, erron es
24 / 45
Pr sentation
Architecture
Outils et technologies
Architecture g n rale
Stockage
Fonctions
Flux de donn es et donn es statiques
Donn es statiques
(cid:73) Image un instant donn de l tat de lentreprise
(cid:73) Rapports dactivit , bilans, inventaire
Flux de donn es
(cid:73) Mise jour en temps r el
(cid:73) Compte rendus quotidiens, commandes, livraisons
25 / 45
Pr sentation
Architecture
Outils et technologies
Architecture g n rale
Stockage
Fonctions
Recodage
Mise sous forme canonique
(cid:73) Choix dune repr sentation unique
(cid:73) Ind pendante de la repr sentation en entr e
Stabilit dans le temps
Un changement dans les formats dentr es en doit pas perturber
lanalyse.
26 / 45
Publicité
Pr sentation
Architecture
Outils et technologies
Architecture g n rale
Stockage
Fonctions
ETL
M thodologie et outils
Extract
(cid:73) Extraire les donn es de sources h t rog nes
Transform
(cid:73) Transformation des donn es pour les mettre dans un format
acceptable
Load
(cid:73) Charger les donn es dans le datawarehouse
27 / 45
Pr sentation
Architecture
Outils et technologies
Architecture g n rale
Stockage
Fonctions
ETL
Ensemble de connecteurs
28 / 45
Pr sentation
Architecture
Outils et technologies
Architecture g n rale
Stockage
Fonctions
Logiciels dETL
Interfaces graphiques pour le non-sp cialiste
(cid:73) Anatella2
(cid:73) DataStudio (Data)
(cid:73) Feature Manipulation Engine (FME)
(cid:73) Hurence avec un ETL natif Hadoop
(cid:73) IBM InfoSphere DataStage
(cid:73) Informatica PowerCenter
(cid:73) MapReport
(cid:73) Microsoft SQL Server Integration Services (SSIS)
(cid:73) OpenText Genio
(cid:73) Oracle Data Integrator (Sunopsis)
(cid:73) Oxio Data Intelligence solution ETL
(cid:73) SAP Data Services
(cid:73) SAS Data Integration Studio
(cid:73) Stambia
(cid:73) STATISTICA ETL (StatSoft)
(cid:73) SynchroDB
(cid:73) Talend
29 / 45
Pr sentation
Architecture
Outils et technologies
Architecture g n rale
Stockage
Fonctions
Pentaho Data Integration
30 / 45
Pr sentation
Architecture
Outils et technologies
Architecture g n rale
Stockage
Fonctions
Fonction dint gration
D nition
La fonction dint gration consiste concentrer les donn es
collect es dans un espace uni , dont le socle informatique essentiel
est lentrep t de donn es. l ment central du dispositif, il permet
aux applications d cisionnelles de masquer la diversit de lorigine
des donn es et de b n cier dune source dinformation commune,
homog ne, normalis e et able, au sein dun syst me unique et si
possible normalis .
T ches
(cid:73) Deuxi me passe de ltrage et validation
(cid:73) Synchronisation
(cid:73) Certication (liens avec des documents l gaux)
31 / 45
Pr sentation
Architecture
Outils et technologies
Architecture g n rale
Stockage
Fonctions
Fonction de diusion
D nition
La fonction de diusion met les donn es la disposition des
utilisateurs, selon des sch mas correspondant aux prols ou aux
m tiers de chacun, sachant que lacc s direct lentrep t de
donn es ne correspond g n ralement pas aux besoins sp ciques
dun d cideur ou dun analyste.
T che
(cid:73) Choisir les donn es en fonction des besoins des utilisateurs
(cid:73) M thodoligie OLAP
32 / 45
Pr sentation
Architecture
Outils et technologies
Architecture g n rale
Stockage
Fonctions
OLAP - Online Analytical Processing
D nition
Analyse sur-le-champ dinformations selon plusieurs axes, dans le
but dobtenir des rapports de synth se
But
(cid:73) Les donn es sont dans un espace de grande dimension
(cid:73) Beaucoup de donn es
(cid:73) Comment g rer a ?
33 / 45
Pr sentation
Architecture
Outils et technologies
Architecture g n rale
Stockage
Fonctions
Hypercube
34 / 45
Pr sentation
Architecture
Outils et technologies
Architecture g n rale
Stockage
Fonctions
Op rations sur lhypercube
(cid:73) Rotate : s lection du couple de dimensions cibler,
(cid:73) Slicing : extraction dune tranche dinformation,
(cid:73) Scoping : extraction dun bloc de donn es (op ration plus
g n rale que le slicing),
(cid:73) Drill-up : synth se des informations en fonction dune
Publicité
dimension (exemple de drill-up sur laxe temps : passer de la
pr sentation de linformation jour par jour sur une ann e,
une valeur synth tique pour lann e),
(cid:73) Drill-down : cest l quivalent dun zoom , op ration
inverse du drill-up,
(cid:73) Drill-through : lorsquon ne dispose que de donn es agr g es
(indicateurs totalis s), le drill through permet dacc der au
d tail l mentaire des informations (voir notamment les outils
H-OLAP).
35 / 45
Pr sentation
Architecture
Outils et technologies
Architecture g n rale
Stockage
Fonctions
Rotate
36 / 45
Pr sentation
Architecture
Outils et technologies
Architecture g n rale
Stockage
Fonctions
Slicing
37 / 45
Pr sentation
Architecture
Outils et technologies
Architecture g n rale
Stockage
Fonctions
Scoping
38 / 45
Pr sentation
Architecture
Outils et technologies
Architecture g n rale
Stockage
Fonctions
Drill-up, drill-down
39 / 45
Pr sentation
Architecture
Outils et technologies
Architecture g n rale
Stockage
Fonctions
Concr tement
40 / 45
TempsG eographieProduitChiredaairePr sentation
Architecture
Outils et technologies
Architecture g n rale
Stockage
Fonctions
Fonction pr sentation
D nition
Cette quatri me fonction, la plus visible pour lutilisateur, r git les
conditions dacc s de lutilisateur aux informations, dans le cadre
dune interface Homme-machine d termin (IHM).
T che
(cid:73) Visualisation
(cid:73) Rapports
(cid:73) En lien direct avec lutilisateur nal
41 / 45
Pr sentation
Architecture
Outils et technologies
Sources de donnn es
Business Intelligence
Datamining
Bases de donn es relationnelles
Stockage organis de donn es
(cid:73) Base op rationnelle (les donn es de lactivi de lentreprise)
(cid:73) Datawarehouse et datamart
Un langage de requ tes standardis : SQL
(cid:73) SELECT ... FROM ... WHERE ...
(cid:73) INSERT INTO ... VALUES ...
Extr mement r pandu
(cid:73) pour toutes sortes dutilisations
42 / 45
Pr sentation
Architecture
Outils et technologies
Sources de donnn es
Business Intelligence
Datamining
Sites web
Service web
(cid:73) Sites coop ratifs, publics ou priv s
(cid:73) Une interface document e pour extraire des donn es
(cid:73) Formats standardis s, g r s par les suites BI
Web scraping
(cid:73) Sites non-coop ratifs
(cid:73) Analyse des pages webs fournies aux navigateurs webs
(cid:73) N cessite de programmer et de formater les donn es
43 / 45
Pr sentation
Architecture
Outils et technologies
Sources de donnn es
Business Intelligence
Datamining
Pentaho
Une suite compl te
(cid:73) ETL
(cid:73) OLAP
(cid:73) Visualisation et rapports
(cid:73) Datamining
44 / 45
Pr sentation
Architecture
Outils et technologies
Sources de donnn es
Business Intelligence
Datamining
Datamining
Plus loin que la visualisation et les rapports
(cid:73) Pr dire partir des donn es
(cid:73) Aide la d cision : pas une bo te noire
Techniques de machine learning
(cid:73) Classication (en particulier les m thodes interpr tables, telles
que les arbres de d cision)
(cid:73) Clustering
Logiciels
(cid:73) Langages de programmation : R
(cid:73) Interfaces graphiques : Weka, Orange, Tanagra
(cid:73) Mixtes : SPSS, Matlab, Excel
45 / 45