cole Nationale des Sciences de lInformatique
DATA WAREHOUSE
Cours ILSI II3 (30 h)
Enseignante: Rahma AMRI
2014 - 2015
Evaluation
Formules:
M = 65% examen + 35% CC
CC = f(assiduit , participation, projet, test, &)
Objectifs de module
" Comprendre et assimiler les nouveaux besoins li s
lapparition du data warehouse (DW)
" Ma triser les notions de bases li s au DW
" tre capable de mod liser et concevoir un DW
" Manipuler des outils utilis s pour
le data
warehousing
Introduction
Syst mes de gestion de donn es:
1. Syst mes transactionnels
2. Syst mes d cisionnels
4
Introduction:
Syst mes transactionnels: les transactions
" Assurer lex cution correcte dun ensemble dop rations sur des
bases de donn es.
" Exemple :
begin-transaction
read(account1, v1) -- op ration 1
read(account2, v2) -- op ration 2
v1 v1 1
v2 v2 + 1
write(account1, v1) -- op ration 3
write(account2, v2) -- op ration 4
end-transaction
" Deux r sultats sont possibles pour une transaction:
Commit (valider), si la transaction s'ex cute avec succ s
Abort (avorter), sinon
5
Introduction:
Syst mes transactionnels: les transactions
6
Introduction:
Syst mes transactionnels: les transactions
Une transaction est formellement d finie par les propri t s ACID:
" A: Atomicit
soit toutes les op rations de la transaction sont ex cut es, soit aucune.
" C: Coh rence
la transaction transforme un tat coh rent de la base de donn es en un
nouvel tat coh rent.
" I: Isolation
La transaction va travailler dans un mode isol o elle seule peut voir les
donn es qu'elle est en train de modifier, cela en attente d'un nouveau
point de synchronisation.
" D: Durabilit
Lorsque la transaction est achev e, le syst me est dans un tat stable
durable.
7
Introduction:
Syst mes transactionnels
Les composants d'un syst me transactionnel :
" Transaction Manager (TM)
" Buffer manager (BM) ou Data Manager (DM)
" Scheduler
" Local Recovery Manager (LRM)
8
Introduction:
Syst mes transactionnels
" Syst me transactionnel: un environnement informatique travers lequel des
transactions sont r alis es quasi-instantan ment, impliquant une ou
plusieurs applications ou acteurs internes et/ou externes l'entreprise
(d partements, clients, partenaires, etc.), chaque transaction engendrant un
certain nombre d'invocations et de mises jour de base de donn es.
" On parle de syst me transactionnel dans les contextes o des transactions
(financi res, administratives, commerciales, etc) entre deux ou plusieurs
parties doivent tre trait es en temps r el, et o il est imp ratif que chaque
transaction entra ne toutes les mises jour de base de donn es n cessaires.
" Exemple: dans le cas d'un service automatis de r servation de billets
d'avion, il est indispensable que la r servation d'un client effectu e sur site
Internet provoque tous les enregistrements utiles.
9
Introduction:
Syst mes transactionnels
" Dans ces applications transactionnelles, le syst me doit tre capable de
traiter correctement de nombreuses demandes simultan es.
" Un syst me transactionnel doit mettre en Suvre des strat gies
particuli rement pouss es de traitement des pointes de charge, des incidents
possibles, des demandes simultan es d' criture, tout en prenant toutes les
mesures possibles pour pr server tout moment la coh rence de la base de
donn es.
" Le syst me transactionnel doit galement mettre en Suvre les meilleures
solutions possibles en cas de d sastre informatique, avec en tout premier lieu
des proc dures pr d finies de rollback, c'est- -dire de retour en arri re, un
Publicité
tat connu et coh rent de la base de donn es, avec annulation des derni res
transactions.
10
Introduction:
Syst mes transactionnels
Syst mes transactionnels = OLTP (On-Line Transaction Processing)
"
" Op rations dans les syst mes transactionnels :
Ajout
Suppression
Mise jour
Requ tes simples
Interrogations et modifications fr quentes des donn es par de nombreux utilisateurs
Le syst me transactionnel est d velopp pour g rer les transactions
quotidiennes
"
" Ces bases de donn es supportent habituellement des applications
particuli res telles que les inventaires de magasins, les r servations dh tel,
etc.
Le contenu est fait de donn es actuelles, pas darchives
Les donn es sont tr s d taill es
Tr s souvent plusieurs de ces syst mes existent ind pendamment les uns
11
des autres
"
"
"
Introduction:
Naissance de nouveaux besoins
" Transformer un syst me dinformation (SI) qui avait une vocation de
production en un SI d cisionnel
" Transformation des donn es de production en informations strat giques
" Exemple de requ tes d cisionnelles :
Cat gorie socioprofessionnelle des meilleurs clients de chaque r gion?
Evolution de la part de march dun produit particulier?
Quel est le profil des employ s les plus performants?
" Gestion et visualisation des donn es doit tre rapide et intuitive
" Visualisation multidimensionnelle des donn es
" N cessaire de retrouver et danalyser rapidement les donn es provenant
de diverses sources
12
Introduction:
Naissance de nouveaux besoins
Donn es : Informations brutes pr sent es sous
forme conventionnelle, en vue d' tre trait e (Points
de ventes, g ographiques, d mographiques, &)
Informations : Une information est une donn e
laquelle un sens et une interpr tation ont t
donn s. (I vit dans R, I est g de A, & )
Connaissances : R gles utilisant les donn es pour en
d duire d'autres, La connaissance est le r sultat
d'une r flexion sur les informations analys es (Dans
X%, le produit Y est vendu en m me temps que le
produit Z, &)
D cisions : Lancer la promotion de Y & Z dans R
aupr s des clients plus g s que A, ...
13
Introduction:
Les syst mes d cisionnels
Le terme d cisionnel Business Intelligence couvre l'ensemble
des technologies permettant en bout de cha ne d'apporter une
aide la d cision.
14
Introduction:
Les syst mes d cisionnels
Les syst mes d cisionnels (On-Line Analytical Processing=
OLAP)sont:
" SI capable d'agr ger les donn es internes ou externes et de les
transformer en information servant une prise de d cision rapide.
" SI capable de r pondre certains types de questions:
Quelles sont les ventes du produit X pendant le trimestre A de l'ann e B
dans la r gion C ?
Comment se comporte le produit X par rapport au produit Y?
Quel type de client peut acheter le produit X?
Est-ce qu'une baisse de prix de 10% par rapport la concurrence ferait
red marrer les ventes du produit X ?
15
Introduction:
Les syst mes d cisionnels
Ces exemples mettent en vidence les faits suivants:
" Les questions doivent pouvoir tre formul es dans le langage de
lutilisateur en fonction de son secteur dactivit : Service
marketing, Service conomique, service relation clients&
" La pr vision des interrogations est difficile car elles sont du ressort
de lutilisateur.
" Les questions vont varier selon les r ponses obtenues: Si le
produit X sest vendu moins bien que lann e pr c dente, il va tre
utile de comprendre les raisons: D tailler les ventes par r gion,
par type de magasin,&
" Des questions ouvertes vont n cessiter la mise en place de
m thodes dextraction dinformations
16
Introduction:
Publicité
Les syst mes d cisionnels
Les domaines dapplication du d cisionnel:
"
La gestion de la relation client (CRM) est lun des premiers champs
dapplication de la Business Intelligence.
Le contr le de gestion pour lanalyse des co ts, lanalyse de la
rentabilit , l laboration budg taire, les indicateurs de performance&
La direction marketing pour le ciblage, le pilotage de gamme, les
applications de g omarketing, de fid lisation clients&
La direction commerciale pour le pilotage des r seaux, les pr visions
des ventes, loptimisation des territoires&
Les ressources humaines pour la gestion des carri res,
La direction de la production pour lanalyse qualit , la pr vision des
stocks, la gestion des flux, la fiabilit industrielle&
La direction g n rale pour les tableaux de bord, indicateurs de pilotage,
gestion dalertes&
17
"
"
"
"
"
"
Introduction:
Les syst mes d cisionnels
Applications transactionnelles v.s Applications d cisionnelles
D cisionnel
Transactionnel
Gros volumes de donn es g rer.
Petits volumes de donn es g rer.
Nombre d'utilisateur restreint (d cideurs, analystes).
Utilis par toute l'entreprise.
Processus ouverts pour permettre la g n ration de
connaissance.
Processus ferm s, transactionnels, le but est de donner le
moins de marge de manSuvre possible.
Donn es en lecture seule.
Donn es en lecture - criture.
Rapidit moyenne compar e aux syst mes
op rationnels.
Niveau de granularit tr s grand (on peut avoir des
r sum s sur ce qui c'est pass durant les 10 derni res
ann es par exemple).
Centralis s (on veut avoir toutes les donn es de
l'entreprise dans une seule structure).
R ponses tr s rapides.
Niveau de granularit fin.
D centralis s.
18
Introduction:
Les syst mes d cisionnels
" Le support efficace dune activit OLAP n cessite la
constitution dun syst me dinformation propre: Le
Data warehouse
" Data warehouse :
Collection de donn es orient es sujets, int gr es, non volatiles
et historis es, organis es pour le support du processus daide
la d cision.
Base de donn es dans laquelle sont d pos es apr s nettoyage et
homog n isation les informations en provenance des diff rents
syst mes de production de lentreprise OLTP.
19
Concepts fondamentaux:
Data warehouse (Entrep t de donn es)
Quest ce quun data warehouse?
"Collection de donn es orient es sujets, int gr es, non volatiles et historis es, organis es pour le
support du processus daide la d cision.
"Une base de donn es dans laquelle sont d pos es apr s nettoyage et homog n isation les
informations en provenance des diff rents syst mes de production de lentreprise (OLTP).
"Ensemble de donn es :
destin es aux d cideurs
souvent une copie des donn es de production
avec une valeur ajout e (agr gation, historique)
int gr es
historis es
"Ensemble d'outils permettant :
de regrouper les donn es
de nettoyer, d'int grer les donn es, ...
de faire des requ tes, rapports, analyses
de faire du data mining
faire l'administration du data warehouse
20
Concepts fondamentaux:
Data warehouse (Entrep t de donn es)
"
Fonctions d'un Data Warehouse :
R cup rer des donn es existantes dans diff rentes sources
Stocker les donn es (historis es)
Mettre disposition les donn es pour: Interrogation, Visualisation et
Analyse
" Un entrep t de donn es, ou data Warehouse:
Est une vision centralis e et universelle de toutes les informations de
l'entreprise.
Publicité
Il a pour but de regrouper les donn es de l'entreprise pour des fins analytiques
et pour aider la d cision strat gique.
La d cision strat gique tant une action entreprise par les d cideurs de
l'entreprise et qui vise am liorer, quantitativement ou qualitativement, la
performance de l'entreprise.
=> En gros, c'est un gigantesque tas d'informations pur es, organis es,
historis es et provenant de plusieurs sources de donn es, servant aux analyses
et l'aide la d cision.
21
Concepts fondamentaux:
Data warehouse (Entrep t de donn es)
L'entrep t de donn es est l' l ment central de l'informatique
d cisionnelle.
22
Concepts fondamentaux:
Caract ristiques des donn es d'un DW
" Orient es sujet :
Organis es autour de sujets majeurs de lentreprise
Donn es pour lanalyse et la mod lisation en vue de laide la d cision, et non pas
pour
les op rations et transactions journali res
Vue synth tique des donn es selon les sujets int ressant les d cideurs
"
Int gr es :
Construit en int grant des sources de donn es multiples et h t rog nes: BD
relationnelles, fichiers, enregistrements de transactions
Les donn es doivent tre mises en forme et unifi es afin davoir un tat coh rent
Phase la plus complexe (60 90 % de la charge totale dun projet DW)
23
Concepts fondamentaux:
Caract ristiques des donn es d'un DW
" Orient es sujet
"
Int gr es
" Historis es :
Fournies par les sources op rationnelles
Mati re premi re pour l'analyse
Stockage de l'historique des donn es, pas de mise jour
Un r f rentiel temps doit tre associ aux donn es
" Non volatiles :
Cons quence de lhistorisation
Une m me requ te effectu e intervalle de temps, en pr cisant la date
R f rence de linformation donnera le m me r sultat
Stockage ind pendant des BD op rationnelles
Pas de mises jour des donn es dans le DW
24
Concepts fondamentaux:
Exemple de DW: Un DW dans les t l coms
"
Sujets :
Suivi du march : lignes install es/ d sinstall es, services et options choisis, r partition
g ographique, r partition entre public et diff rents secteurs d'organisations
Comportement de la client le
Comportement du r seau
" Historique :
5 ans pour le suivi du march
1 an pour le comportement de la client le
1 mois pour le comportement du r seau
Sources :
Fichiers clients labor s par les agences
Fichiers de facturation
"
" Requ tes :
Comportement client le
Nombre moyen d'heures par client, par mois et par r gion
Dur e moyenne d'une communication urbaine par ville
Dur e moyenne d'une communication internationale
25
Concepts fondamentaux:
Data mart (magasin de donn es)
" Les Data Warehouses tant, en g n ral, tr s volumineux
et tr s complexes concevoir, on a d cid de les diviser
en bouch es plus faciles cr er et entretenir. Ce sont les
Data Marts.
" On peut faire des divisions:
Par fonction (un data mart pour les ventes, pour les
commandes, pour les ressources humaines)
Par sous-ensemble organisationnel (un data mart par branche:
pour le service marketing, pour le serv).
" D finition: C'est un sous-ensemble de donn es d riv es
du DW cibl sur un sujet unique .
26
Concepts fondamentaux:
Data mart (magasin de donn es)
Caract ristiques des data marts:
" Orient vers un sujet unique, exemple: comportement
de la client le
" Donn es fortement agr g es: Le DW joue le r le de
source et d'historique pour le Data mart
" Organisation multidimensionnelle (cubique), dont l'une
des dimensions indique souvent le temps
" Lien dynamique avec le DW: Association entre valeur
agr g e et valeur d taill e
Publicité
" Interfaces simples et conviviales
27
Concepts fondamentaux:
Les dimensions
" En BDD on parle en termes de tables et de relations, une table
tant une repr sentation d'une entit et une relation une
technique pour lier ces entit s.
" En BI, on parle en termes de Dimension et de Faits. C'est une autre
approche des donn es.
" Les dimensions sont les axes avec lesquels on veut faire l'analyse.
" Exemple: dimension client, dimension produit, dimension
g ographie (pour faire des analyses par secteur g ographique),
etc.
=> Une dimension est tout ce qu'on utilisera pour faire nos analyses.
=> Il existe toujours une dimension temps
28
Concepts fondamentaux:
Les faits
" Les faits, en compl ment aux dimensions, sont ce sur quoi va porter
l'analyse.
" Ce sont des tables qui contiennent des informations op rationnelles et
qui relatent la vie de l'entreprise.
" Exemple:
des faits pour les ventes (chiffre d'affaire net, quantit s et montants
command s, quantit s factur es, quantit s retourn es, volumes des ventes,
etc.)
Des faits pour les stocks (nombre d'exemplaires d'un produit en stock, niveau
de remplissage du stock, taux de roulement d'une zone, etc.), ou peut tre sur
les ressources humaines (performances des employ s, nombre de demandes
de cong s, nombre de d missions, taux de roulement des employ s, etc.).
=> Un fait est tout ce qu'on voudra analyser.
29
Concepts fondamentaux:
ETL (ou ETC)
"
L ETL : Extraction, Transformation, Loading est un syst me par lequel vont
passer toutes les donn es des syst mes op rationnels avant d'arriver dans
la forme souhait e dans l'entrep t.
"
" Une sorte de moulinette par laquelle vous ferez passer toutes les donn es
de votre entreprise. Les donn es en sortie (pass es la moulinette) seront
nettoy es, purifi es (les gros morceaux seront mis de cot ),
contextualise s (les donn es des diff rents syst mes s'homog n iseront)
et pr ts tre re us dans l'entrep t.
Le syst me d'ETL est la partie la plus importante d'un projet d cisionnel.
Car c'est avec l'ETL que les syst mes seront mis en relation, les erreurs
d tect es, les calculs complexes effectu s, etc. On peut dire que la solidit
d'un ETL d termine la viabilit du projet.
L'ETL sert transposer le mod le entit -relation des bases de donn es de
production ainsi que les autres mod les utilis s dans les op rations de
l'entreprise, en mod le base de dimensions et de faits.
"
30
Concepts fondamentaux
Sch ma r capitulatif
31
Mod lisation et conception de DW
Mod lisation en toile / flocon
" Une toile est une fa on de mettre en relation les dimensions et les faits dans
un entrep t de donn es.
" Le principe est que les dimensions sont directement reli es un fait
(sch matiquement, a fait comme une toile).
" Un flocon est un autre mod le de mise en relation des dimensions et des faits
dans un entrep t de donn es. Le principe tant qu'il peut exister des
hi rarchies de dimensions et qu'elles sont reli es au faits, a fait comme un
flocon.
" Les flocons et les toiles peuvent tre vus comme une mani re de diviser les
entrep ts de donn es et les magasins de donn es.
" On peut les voir comme l'atome de l'informatique d cisionnelle : le plus petit
l ment avec lequel ont peut faire des analyses et avec lequel ont peut faire
des magasins de donn es qui, mis ensemble, forment un entrep t de
donn es.
32
Mod lisation et conception de DW
Un cas d tude
" On vous demande de cr er un data mart pour l'analyse de l'activit des
repr sentants d'une entreprise de vente d'imprimantes.
" Le chef d'entreprise veut savoir:
Ce qui se passe pour ses vendeurs,
Les employ s font ils leur travail,
Quelle est la zone de couverture des vendeurs,
O sont les endroits o les vendeurs sont le moins efficaces,
Quelle est la moyenne de ventes des repr sentants,
Etc.
" L'entreprise poss de:
Un syst me de gestion de ressources humaines,
Un syst me de gestion des ventes et des feuilles de routes avec des informations
concernant les vendeurs : kilom tres parcourus, litres d'essence utilis e, frais de
voyage, ventes, promesses de ventes, etc.
33