Présentation Architecture Outils et technologies
Le cours
Business Intelligence - Introduction
Olivier Schwander <[email protected]>
UPMC
1 / 45
Présentation Architecture Outils et technologies
Le cours
Organisation du cours
http://www-connex.lip6.fr/~schwander/enseignement/ 2015-2016/m2stat_bi/ Horaires et salles
(cid:73) Mardi de 14h à 17h, salle 1525-101 ou 1525-102 (cid:73) Cours puis TD/TP (mais pas toujours)
Contenu
(cid:73) Business intelligence (cid:73) Bases de données, extraction de données (cid:73) Interventions d’industriels
Évaluation
(cid:73) Note de TP et travail à la maison (cid:73) Examen final
2 / 45
Présentation Architecture Outils et technologies
Le cours
Inspiration
Cours de Ludovic Denoyer
(cid:73) Master 1 Données Apprentissage Connaissances (cid:73) Beaucoup plus d’heures (cid:73) Pas le même public (informaticiens)
Cours de Bernard Espinasse
(cid:73) Ecole Polytechnique Universitaire de Marseille (cid:73) Public encore plus spécialisé
Article Wikipedia Informatique décisionnelle
Autres sources
(cid:73) Indiquées au fur et à mesure
3 / 45
Présentation Architecture Outils et technologies
Contexte Motivation Les métiers du BI
Objectifs
Analyse de données pour l’entreprise
(cid:73) Donner des clefs de compréhension autour du rôle et de la
gestion des données en entreprise
(cid:73) Aborder des problématiques de traitement/intégration de
données sur des exemples concrets (cid:73) Présenter des outils du domaine pro
Analyse de données en pratique
(cid:73) Donner des éléments de bases de données (cid:73) Présenter des cas concrets d’extaction de données
4 / 45
Présentation Architecture Outils et technologies
Contexte Motivation Les métiers du BI
Contexte
Entreprise
(cid:73) On veut gagner de l’argent (cid:73) On cherche à faire des choix intelligents (cid:73) On peut collecter beaucoup de données (cid:73) On a les ressources pour les traiter (cid:73) On cherche les compétences pour les traiter
Vous
(cid:73) Des mathématiciens, des statisticiens (cid:73) Des étudiants à intégrer dans le monde du travail (cid:73) Lien à faire entre vos compétences et le vocabulaire et les
besoins de l’entreprise
5 / 45
Présentation Architecture Outils et technologies
Contexte Motivation Les métiers du BI
Contexte
6 / 45
Présentation Architecture Outils et technologies
Contexte Motivation Les métiers du BI
Définition
L’Informatique Décisionnelle (ID), en anglais Business Intelligence (BI), est l’informatique à l’usage des décideurs et des dirigeants des entreprises. Les systèmes de ID/BI sont utilisés par les décideurs pour obtenir une connaissance approfondie de l’entreprise et de définir et de soutenir leurs stratégies d’affaires, par exemple : d’acquérir un avantage concurrentiel, d’améliorer la performance de l’entreprise, de répondre plus rapidement aux changements, d’augmenter la rentabilité, et d’une façon générale la création de valeur ajoutée de l’entreprise.
7 / 45
Présentation Architecture Outils et technologies
Contexte Motivation Les métiers du BI
Motivation
Enjeux Business des données - CIGREF 2014 Pour qui réussit à optimiser son usage, la donnée devient information, puis, bien partagée au sein de l’entreprise, elle se transforme en connaissance et constitue son savoir. Elle peut être une source de services et d’innovations, notamment lorsqu’on la croise avec d’autres données et qu’elle provient de sources diverses.
Mots-clés
(cid:73) données, information, connaissance, savoir (cid:73) optimiser, partager, sources diverses
8 / 45
Présentation Architecture Outils et technologies
Contexte Motivation Les métiers du BI
Applications
source : Rapport CIGREF 2009
(cid:73) Finance, avec les reportings financiers et budgétaires par
exemple ;
(cid:73) Vente et commercial, avec l’analyse des points de ventes,
l’analyse de la profitabilité et de l’impact des promotions par exemple ;
(cid:73) Marketing, avec la segmentation clients, les analyses
comportementales par exemple ;
(cid:73) Logistique, avec l’optimisation de la gestion des stocks, le suivi
des livraisons par exemple ;
(cid:73) Ressources humaines, avec l’optimisation de l’allocation des
ressources par exemple ;
9 / 45
Présentation Architecture Outils et technologies
Contexte Motivation Les métiers du BI
Publicité
Etude IDC - Microsoft 2014
10 / 45
Présentation Architecture Outils et technologies
Contexte Motivation Les métiers du BI
Etude IDC - Microsoft 2014
11 / 45
Présentation Architecture Outils et technologies
Contexte Motivation Les métiers du BI
Etude IDC - Microsoft 2014
12 / 45
Présentation Architecture Outils et technologies
Contexte Motivation Les métiers du BI
Pyramide du BI
Sagesse
Connaissance
Information
(Big) Data
13 / 45
Présentation Architecture Outils et technologies
Contexte Motivation Les métiers du BI
Les métiers du BI
4 métiers
(cid:73) Data Integrator (cid:73) Data Analyst (cid:73) Data Scientist (cid:73) Data Steward (Responsable des données)
14 / 45
Présentation Architecture Outils et technologies
Contexte Motivation Les métiers du BI
Bas niveau
Data Integration
(cid:73) Combiner des informations hétérogènes venants de sources
différentes
Data Analysis
(cid:73) Inspection, nettoyage, transformation et modélisation des
données.
(cid:73) Data Mining, Data Vizualisation (cid:73) Rendre la donnée compréhensible (cid:73) Communiquer à partir de la donnée
15 / 45
Présentation Architecture Outils et technologies
Contexte Motivation Les métiers du BI
Haut niveau
Data Scientist Il s’agit de disposer de compétences de haut niveau en matière d’analyse de données, en combinant à la fois les méthodes statistiques, mais aussi d’autres connaissances telles que la linguistique, la sémantique, utiles notamment pour travailler sur des données non structurées, sans oublier la bonne compréhension du métier sur lequel on travaille, et de mettre en oeuvre une démarche d’analyse itérative, en acceptant de tester des hypothèses sans a priori sur le résultat recherché.
Data Steward - Responsable des Données [. . . ] susceptibles sur un périmètre métier sur lequel ils détiennent une expertise reconnue, de spécifier les exigences sur les données et d’en contrôler la qualité. Ces responsables de données peuvent être positionnés à différents niveaux dans l’organisation, et peuvent être pilotés par des coordinateurs au niveau d’un métier, d’une fonction support ou d’une géographie.
16 / 45
Présentation Architecture Outils et technologies
Architecture générale Stockage Fonctions
Architecture
Les données opérationnelles sont extraites périodiquement de sources hétérogènes : fichiers plats, fichiers Excel, base de données (DB2, Oracle, SQL Server, etc.), service web, données massives et stockées dans un entrepôt de données. Les données sont restructurées, enrichies, agrégées, reformatées, nomenclaturées pour être présentées à l’utilisateur sous une forme sémantique (vues métiers ayant du sens) qui permettent aux décideurs d’interagir avec les données sans avoir à connaître leur structure de stockage physique, de schémas en étoile qui permettent de répartir les faits et mesures selon des dimensions hiérarchisées, de rapports pré-préparés paramétrables, de tableaux de bords plus synthétiques et interactifs. Ces données sont livrées aux divers domaines fonctionnels (direction stratégique, finance, production, comptabilité, ressources humaines, etc.) à travers un système de sécurité ou de datamart spécialisés à des fins de consultations, d’analyse, d’alertes prédéfinies,
17 / 45
Présentation Architecture Outils et technologies
Architecture générale Stockage Fonctions
Architecture
Extraction des données
(cid:73) Bases de données (cid:73) Autres sources
Structuration des données
(cid:73) Prétraitements (cid:73) Aggrégation (cid:73) Interface
Présentation des données
(cid:73) Visualisation, alertes automatiques (cid:73) Pour une tâche donnée (cid:73) À destination d’un décideur
18 / 45
Présentation Architecture Outils et technologies
Architecture générale Stockage Fonctions
Stockage
Base de données opérationnelle
(cid:73) Fonctionnement normal de l’entreprise (cid:73) Pas forcément un historique très grand (cid:73) Peut changer dans le temps
Datawarehouse
(cid:73) Stockage pour le BI (cid:73) Archivage sur toute l’histoire de l’entreprise (cid:73) Format stable dans le temps
Datamart
(cid:73) Vue métier (cid:73) À destination du décideur
19 / 45
Présentation Architecture Outils et technologies
Architecture générale Stockage Fonctions
Définitions
Datawarehouse Le terme entrepôt de données (ou base de données décisionnelle, ou encore data warehouse) désigne une base de données utilisée pour collecter, ordonner, journaliser et stocker des informations provenant de base de données opérationnelles et fournir ainsi un socle à l’aide à la décision en entreprise.
Datamart Un DataMart (littéralement en anglais magasin de données) est un sous-ensemble d’un DataWarehouse destiné à fournir des données aux utilisateurs, et souvent spécialisé vers un groupe ou un type d’affaire.
20 / 45
Présentation Architecture Outils et technologies
Architecture générale Stockage Fonctions
Datawarehouse
21 / 45
Présentation Architecture Outils et technologies
Architecture générale Stockage Fonctions
Les fonctions
(cid:73) Collecte de données (cid:73) Intégration (cid:73) Diffusion (ou distribution) (cid:73) Présentation
Publicité
22 / 45
Présentation Architecture Outils et technologies
Architecture générale Stockage Fonctions
Fonction de collecte
Définition La fonction collecte (parfois appelée datapumping) recouvre l’ensemble des tâches consistant à détecter, sélectionner, extraire et filtrer les données brutes issues des environnements pertinents
Tâche
(cid:73) Récupérer les données (cid:73) Méthodologie ETL
23 / 45
Présentation Architecture Outils et technologies
Architecture générale Stockage Fonctions
Données hétérogènes
Plusieurs types de sources
(cid:73) Fichiers plats (cid:73) Fichers Excel (cid:73) Bases de données (SQL) (cid:73) Services web (cid:73) Systèmes de stockages pour données massives (cid:73) Interfaces exotiques
Plusieurs types de données
(cid:73) Chiffres, texte, image (cid:73) Données statiques, flux (cid:73) Données bruitées, manquantes, erronées
24 / 45
Présentation Architecture Outils et technologies
Architecture générale Stockage Fonctions
Flux de données et données statiques
Données statiques
(cid:73) Image à un instant donné de l’état de l’entreprise (cid:73) Rapports d’activité, bilans, inventaire
Flux de données
(cid:73) Mise à jour en temps réel (cid:73) Compte rendus quotidiens, commandes, livraisons
25 / 45
Présentation Architecture Outils et technologies
Architecture générale Stockage Fonctions
Recodage
Mise sous forme canonique
(cid:73) Choix d’une représentation unique (cid:73) Indépendante de la représentation en entrée
Stabilité dans le temps Un changement dans les formats d’entrées en doit pas perturber l’analyse.
26 / 45
Présentation Architecture Outils et technologies
Architecture générale Stockage Fonctions
ETL
Méthodologie et outils
Extract
(cid:73) Extraire les données de sources hétérogènes
Transform
(cid:73) Transformation des données pour les mettre dans un format
acceptable
Load
(cid:73) Charger les données dans le datawarehouse
27 / 45
Présentation Architecture Outils et technologies
Architecture générale Stockage Fonctions
ETL
Ensemble de connecteurs
28 / 45
Présentation Architecture Outils et technologies
Architecture générale Stockage Fonctions
Logiciels d’ETL
Interfaces graphiques pour le non-spécialiste
(cid:73) Anatella2 (cid:73) DataStudio (Data) (cid:73) Feature Manipulation Engine (FME) (cid:73) Hurence avec un ETL natif Hadoop (cid:73) IBM InfoSphere DataStage (cid:73) Informatica PowerCenter (cid:73) MapReport (cid:73) Microsoft SQL Server Integration Services (SSIS) (cid:73) OpenText Genio (cid:73) Oracle Data Integrator (Sunopsis) (cid:73) Oxio Data Intelligence solution ETL (cid:73) SAP Data Services (cid:73) SAS Data Integration Studio (cid:73) Stambia (cid:73) STATISTICA ETL (StatSoft) (cid:73) SynchroDB
(cid:73) Talend
29 / 45
Présentation Architecture Outils et technologies
Architecture générale Stockage Fonctions
Pentaho Data Integration
30 / 45
Présentation Architecture Outils et technologies
Architecture générale Stockage Fonctions
Fonction d’intégration
Définition La fonction d’intégration consiste à concentrer les données collectées dans un espace unifié, dont le socle informatique essentiel est l’entrepôt de données. Élément central du dispositif, il permet aux applications décisionnelles de masquer la diversité de l’origine des données et de bénéficier d’une source d’information commune, homogène, normalisée et fiable, au sein d’un système unique et si possible normalisé.
Tâches
(cid:73) Deuxième passe de filtrage et validation (cid:73) Synchronisation (cid:73) Certification (liens avec des documents légaux)
31 / 45
Présentation Architecture Outils et technologies
Architecture générale Stockage Fonctions
Fonction de diffusion
Définition La fonction de diffusion met les données à la disposition des utilisateurs, selon des schémas correspondant aux profils ou aux métiers de chacun, sachant que l’accès direct à l’entrepôt de données ne correspond généralement pas aux besoins spécifiques d’un décideur ou d’un analyste.
Tâche
(cid:73) Choisir les données en fonction des besoins des utilisateurs (cid:73) Méthodoligie OLAP
32 / 45
Présentation Architecture Outils et technologies
Architecture générale Stockage Fonctions
OLAP - Online Analytical Processing
Définition Analyse sur-le-champ d’informations selon plusieurs axes, dans le but d’obtenir des rapports de synthèse
But
(cid:73) Les données sont dans un espace de grande dimension (cid:73) Beaucoup de données (cid:73) Comment gérer ça ?
33 / 45
Publicité
Présentation Architecture Outils et technologies
Architecture générale Stockage Fonctions
Hypercube
34 / 45
Présentation Architecture Outils et technologies
Architecture générale Stockage Fonctions
Opérations sur l’hypercube
(cid:73) Rotate : sélection du couple de dimensions à cibler, (cid:73) Slicing : extraction d’une tranche d’information, (cid:73) Scoping : extraction d’un bloc de données (opération plus
générale que le slicing),
(cid:73) Drill-up : synthèse des informations en fonction d’une
dimension (exemple de drill-up sur l’axe temps : passer de la présentation de l’information jour par jour sur une année, à une valeur synthétique pour l’année),
(cid:73) Drill-down : c’est l’équivalent d’un « zoom », opération
inverse du drill-up,
(cid:73) Drill-through : lorsqu’on ne dispose que de données agrégées (indicateurs totalisés), le drill through permet d’accéder au détail élémentaire des informations (voir notamment les outils H-OLAP).
35 / 45
Présentation Architecture Outils et technologies
Architecture générale Stockage Fonctions
Rotate
36 / 45
Présentation Architecture Outils et technologies
Architecture générale Stockage Fonctions
Slicing
37 / 45
Présentation Architecture Outils et technologies
Architecture générale Stockage Fonctions
Scoping
38 / 45
Présentation Architecture Outils et technologies
Architecture générale Stockage Fonctions
Drill-up, drill-down
39 / 45
Présentation Architecture Outils et technologies
Architecture générale Stockage Fonctions
Concrètement
40 / 45
TempsG´eographieProduitChiffred’affairePrésentation Architecture Outils et technologies
Architecture générale Stockage Fonctions
Fonction présentation
Définition Cette quatrième fonction, la plus visible pour l’utilisateur, régit les conditions d’accès de l’utilisateur aux informations, dans le cadre d’une interface Homme-machine déterminé (IHM).
Tâche
(cid:73) Visualisation (cid:73) Rapports (cid:73) En lien direct avec l’utilisateur final
41 / 45
Présentation Architecture Outils et technologies
Sources de donnnées Business Intelligence Datamining
Bases de données relationnelles
Stockage organisé de données
(cid:73) Base opérationnelle (les données de l’activié de l’entreprise) (cid:73) Datawarehouse et datamart
Un langage de requêtes standardisé : SQL
(cid:73) SELECT ... FROM ... WHERE ... (cid:73) INSERT INTO ... VALUES ...
Extrêmement répandu
(cid:73) pour toutes sortes d’utilisations
42 / 45
Présentation Architecture Outils et technologies
Sources de donnnées Business Intelligence Datamining
Sites web
Service web
(cid:73) Sites coopératifs, publics ou privés (cid:73) Une interface documentée pour extraire des données (cid:73) Formats standardisés, gérés par les suites BI
Web scraping
(cid:73) Sites non-coopératifs (cid:73) Analyse des pages webs fournies aux navigateurs webs (cid:73) Nécessite de programmer et de formater les données
43 / 45
Présentation Architecture Outils et technologies
Sources de donnnées Business Intelligence Datamining
Pentaho
Une suite complète
(cid:73) ETL (cid:73) OLAP (cid:73) Visualisation et rapports (cid:73) Datamining
44 / 45
Présentation Architecture Outils et technologies
Sources de donnnées Business Intelligence Datamining
Datamining
Plus loin que la visualisation et les rapports
(cid:73) Prédire à partir des données (cid:73) Aide à la décision : pas une boîte noire
Techniques de machine learning
(cid:73) Classification (en particulier les méthodes interprétables, telles
que les arbres de décision)
(cid:73) Clustering
Logiciels
(cid:73) Langages de programmation : R (cid:73) Interfaces graphiques : Weka, Orange, Tanagra (cid:73) Mixtes : SPSS, Matlab, Excel
45 / 45