RAPPORT DE STAGE

4 D veloppement de lETL pour les donn es long terme .................................................... 65

4.1 Int gration de lhistorique sous SQL Server .................................................................. 65

4.2 D veloppement de lETL pour le Big Data .................................................................... 69

4.3 Cr ation du sch ma multidimensionnel en toile ........................................................ 70

5 Conclusion ............................................................................................................................ 73

1 Restitution ................................................................................................................................ 75

1 Introduction ......................................................................................................................... 75

2 Mod lisation de lapplication BI .......................................................................................... 75

2.1 Type dapplication BI ..................................................................................................... 75

2.2 Type danalyse BI........................................................................................................... 76

2.3 Type des utilisateurs BI ................................................................................................. 76

3 D veloppement de lapplication BI ...................................................................................... 76

3.1 Analyse des donn es avec PcVue ................................................................................. 76

3.2 Analyse de lhistorique .................................................................................................. 77

4 Conclusion ............................................................................................................................ 80

CHAPITRE 1 : Cadre du projet

1 Cadre du projet

Mod lisation et int gration de donn es de capteurs/compteurs du SGE

1 Introduction

Dans ce chapitre, nous pr sentons lorganisme daccueil au sein duquel sest d roul

notre projet, situons le pr sent travail dans son contexte g n ral, sp cifions les besoins et

mettons en relief lanalyse et critique de lexistant et enfin nous proposons la solution aux

probl mes soulev s.

2 Cadre g n ral

Dans le cadre de la pr paration du projet de fin d tude en vue de lobtention du dipl me

National dIng nieur en Informatique, Technologie Web et Multim dia, nous avons choisi

deffectuer un stage dune dur e de 4 mois au sein du SGE et en collaboration avec le laboratoire

IRIT. Le stage a d but le lundi 13 Mars 2017 et sest achev le lundi 13 Juillet 2017. Lobjectif

premier tait de mettre en place un syst me d cisionnel pour les donn es nerg tiques des

b timents et r seaux du campus de Rangueil (ou se trouve entre autre lUniversit Paul Sabatier)

provenant de plusieurs capteurs et r cup r es de diff rents b timents dans le but de visualiser

[17] et mettre disposition ces donn es aux utilisateurs [15] [18].

2.1 Pr sentation de lorganisme daccueil

L quipe SIG (Syst mes dInformations G n ralis s) affil e au laboratoire IRIT, nous a

propos le sujet dint gration et de mod lisation des donn es de capteurs/compteurs du SGE. Le

projet est labor au sien du SGE le Service de Gestion et dExploitation de la Chancellerie des

Universit s du Rectorat de lAcad mie de Toulouse.

2.1.1 Le Service de Gestion et dExploitation

Cest un service du rectorat sp cialis dans la gestion, lexploitation et linvestissement

des r seaux mutualis s des campus de Rangueil. Il g re les donn es li es aux diff rentes

installations en termes de fluides ( nergie, eau, air comprim ) sur diff rents campus.

Pr sentation des activit s

Le SGE g re plusieurs p les dactivit s :

" Le p le maintenance exploitation avec 11 Agents de lEducation Nationale : ce

service concerne les activit s lectrom caniques telles que les r seaux et infrastructures

lectriques Haute Tension, les r seaux et infrastructures de chauffage urbain, l clairage Public,

la gestion technique centralis e (GTC), lair comprim , les r seaux deau et dassainissement, les

r seaux de gaz Arrosage, Eau Us es, Eaux pluviales et R seau Gaz.

" Le p le espaces ext rieurs avec 11 Agents de lEducation Nationales : ce service

g re les espaces verts et Voirie.

" Le p le administratif avec 6 agents de lEducation Nationales

" Le p le travaux SIGT avec 4 agents de lEducation Nationales

Organigramme

Le SGE compte 36 personnes occupant diff rents postes. La figure 1 repr sente

lorganigramme de lentreprise

Figure 1: Organigramme du SGE

2.1.2 Le laboratoire IRIT

LInstitut de Recherche en Informatique de Toulouse (IRIT) 1 est lun des piliers de la

recherche en Midi-Pyr n es avec ses 700 membres, permanents et non-permanents. De par son

caract re multi-tutelle (CNRS, INPT, Universit s toulousaines), son impact scientifique et ses

interactions avec les autres domaines, le laboratoire constitue une des forces structurantes du

paysage de linformatique et de ses applications dans le monde du num rique, tant au niveau

r gional que national. Notre projet tait en collaboration avec l quipe SIG (Syst mes

dInformations G n ralis s) qui se compose de 19 permanents, et dune trentaine d tudiants

post-doctorants, doctorants ou stagiaires, et ding nieurs de recherche. Ses recherches

sinscrivent dans le domaine des Syst mes dInformations (Information Systems) et ont pour objet

scientifique la donn e et lutilisateur. Elles concernent notamment les probl matiques dacc s

1 https://www.irit.fr/

la donn e brute et labor e pour les utilisateurs.

2.2 Pr sentation g n ral du projet

Le Service de Gestion et dExploitation g re deux syst mes de gestion des donn es de

capteurs, demandant des t ches lourdes et complexes de manipulations et dextractions de ces

donn es de diff rentes sources (10000 points de comptage). Le syst me de gestion dexploitation

vis dans ce stage,nomm METASYS, stocke les donn es sous forme de fichiers plats et

ind pendants organis s en une hi rarchie de r pertoires. Un fichier concerne un capteur

(temp rature, vannes, pression, &) ou un compteur (eau chaude, lectricit , &) et conserve les

diff rents relev s automatiques r guliers (toutes les 30, 15 minutes, 2 heures, &). Par

cons quent, chaque relev concerne une valeur avec un horodatage. Dans un m me temps, ce

syst me est entrain d tre migr vers un autre syst me de monitoring, appel PCVUE, qui dans

lavenir contiendra la majorit des donn es des capteurs. Le besoin tait de mettre en place une

solution dint gration des donn es de ces syst mes de supervision METASYS et PCVUE dans une

base de donn es afin de faciliter lextraction et la manipulation de ces donn es entre les deux

syst mes par linterm diaire doutils disponibles sur PCVUE. La totalit des donn es dhistorique

ne pouvant pas tre trait e par PCVUE, il nous a t demand de mettre en place une base pour

lensemble de lhistorique pour faire des analyses et des comparaisons entre les diff rents

fichiers. Une solution simple et facile pour pouvoir explorer et visualiser [17] les donn es de cette

base devra tre propos e.

2.3 Objectifs pr liminaires

Le SGE souhaite apporter des solutions pour la mod lisation, le stockage et

lexploration des donn es g n r es par les capteurs/compteurs afin de pouvoir r pondre la

vari t des besoins et exigences dacc s et danalyses des utilisateurs. Pour cela, le SGE esp re:

" Avoir une solution (mod le, architecture, outils) qui permette dextraire et de

stocker les donn es, pour pouvoir ensuite les explorer et les visualiser suivant diff rents

crit res [15] [18].

" Avoir une solution dint gration de donn es des fichiers dans une source unique

et non volatile.

" Recenser les besoins des utilisateurs en termes danalyse des donn es (pour

lexploitation directe sur un b timent par exemple, pour des analyses long terme et comparer

des consommations sur plusieurs ann es par exemple, pour lextraction de donn es, &).

" Avoir des pr conisations en termes de SGBD retenir, de logiciel de visualisation

adapt [18], de mat riel n cessaire (serveur, &), et de proc dures dexploitation mettre en

place.

" Avoir disposition des d cideurs les diff rents outils dexploration des donn es

en toute s curit afin de favoriser une meilleure prise de d cision.

" Avoir une solution pour piloter la performance durable.

Notre ambition est de r pondre aux besoins du SGE en utilisant les technologies li es aux

bases de donn es, aux entreposages de donn es et linformatique d cisionnelle [1] [8] [12].

2.4 Planning du projet

La planification est une tape importante dans le d roulement du projet parce quelle

traduit lorganisation du projet et lestimation du temps n cessaire la r alisation des diff rentes

t ches. Pour cela nous d composons le projet en plusieurs t ches et nous pr voyons chaque

t che le temps n cessaire pour sa finalisation. La figure 2 pr sente les diff rentes tapes suivre

pour la r alisation de notre projet (provisoire).

Figure 2: Planning pr visionnel

3 Analyse de lexistant

3.1 tude de lexistant

Plus de 5000 de capteurs sont r partis dans tous les b timents. Les capteurs permettent

de suivre et g rer lensemble des quipements exploit s par le SGE, comme ,par exemple, des

sondes de temp ratures, des commandes de vannes de r gulation et des compteurs. Au sein du

SGE, il y a deux syst mes de gestion de donn es qui cohabitent:

" METASYS, syst me propri taire de supervision, g re essentiellement les

quipements de CVC (Chauffage traitement dair). Cette supervision communique

exclusivement avec des automates r gulateurs de marque Johnson Controls.

" PCVUE, syst me de supervision de type ouvert, int gre les quipements de CVC,

de haute tension, dair comprim , d clairage public... Cette supervision communique avec des

automates de toute marque.

Le SGE dispose dune base de donn es Access qui repr sente le patrimoine des

quipements en gestion dans le sens o il y a lensemble des informations sur les b timents, les

clients, les quipements, les visites et les maintenances des quipements et des capteurs.

3.1.1 Syst me METASYS

Description

METASYS est un syst me de supervision pour lensemble des fonctions techniques du

b timent. Il g re essentiellement les quipements de CVC mais il ne permet pas le suivi de la

performance nerg tique et l dition des rapports pour surveiller les consommations dun

b timent.

Architecture

METASYS stocke les donn es sous forme de fichiers plats dextension .DBF. Ces fichiers

repr sentent 252187 fichiers comme historique, soit 151 Go de donn es brutes, et 2635 fichiers

comme donn es op rationnelles de chauffage sur 6 mois dune taille de 4 Go. Le SGE est entrain

de migrer du syst me METASYS vers le syst me PcVue. En effet, tous les nouveaux automates

sont maintenant branch s directement sur PcVue et non pas sur METASYS. La base de donn es

de METASYS est organis e en une hi rarchie de r pertoires comme le montre la figure 3.

Figure 3: Hi rarchie des r pertoires de donn es METASYS

Par exemple, le nom du r pertoire SP_4A indique le nom du local technique SP suivi

dune r f rence du b timent 4A. En effet, le SGE dispose de plusieurs locaux techniques qui

d crivent les Sous-Stations de chauffage. Parmi lesquels nous trouvons :

" SSP : Sous Station Primaire.

" SS : Sous Station secondaire.

" LT : Local Technique.

" CTA : Central de traitement dair.

" PHT : Poste Haute Tension.

" TGBT : Tableau G n ral Basse Tension.

Sous chaque r pertoire de local technique, nous trouvons des r pertoires qui

repr sentent la liste des capteurs. Finalement, nous arrivons aux fichiers .dbf qui repr sentent les

donn es de capteurs(4).

Figure 4: Extrait dun fichier.DBF

Ces fichiers contiennent des informations importantes concernant la date et la valeur de

la mesure. En revanche pour avoir une date compl te qui d signe une mesure, il faut concat ner

les champs Att, Date_NDX et TIME_NDX.

3.1.2 Syst me PCVUE

Description

PcVue est un syst me de supervision temps-r el permettant lop rateur de visualiser

et de piloter la production, la gestion dalarmes, laffichage de tendances, larchivage de donn es

et lacquisition de donn es. Il est utilis dans le contr le industriel, la gestion de b timents, la

gestion d nergie, la distribution lectrique, le chauffage, lautomatisation des sous-stations, la

s curit , la d tection incendie, le transport, les nergies renouvelables et les infrastructures. Ce

logiciel, qui est donc un outil de supervision, fonctionne en interaction avec les automates qui

mod lisent les diff rentes informations envoy es par les capteurs et permet de g n rer des

courbes en fonction des informations de la base.

Architecture

PcVue est en connexion permanente avec une base propri taire sous forme de fichiers

dextension .dat, qui permet le stockage de toutes les informations des capteurs. tant donn que

les capteurs envoient une information chaque seconde, la base de donn es contient des millions

de lignes. Cette base occupe pour une p riode de 6 mois 10 Go de donn es brutes et pour son

historique qui date depuis 2010, nous avons 80 Go sur un premier lecteur et 15 Go sur un

deuxi me lecteur. Le principe de PcVue est la cr ation des variables qui repr sentent des points.

Ces points repr sentent des chemins pour les fichiers qui contiennent les valeurs des capteurs.

Chaque fichier contient les informations de plusieurs capteurs comme le montre la figure 5.

Figure 5: Extrait des donn es dun fichier.dat

Ces fichiers sont une longue liste de chiffres et de lettres comportant des informations

pr cises. Le bandeau principal indique le nom du capteur qui est sous forme de chemin indiquant

le nom du client CROUS, le nom du batiment TRIPODE C, l quipement ECH1 et le type de

mesure REGS. Egalement, nous distinguons deux dates dont lune est la date de d but de la

mesure et lautre la date de fin de la mesure. Finalement, nous trouvons une liste de dates en

UTC (Coordinated Universal Time) suivie de valeurs g n r es par le capteur.

3.1.3 Base de donn es patrimoine ACCESS

Le SGE dispose dune base de donn es Access qui repr sente le patrimoine de la soci t .

Elle contient les informations sur les clients du SGE, les b timents, les locaux techniques, les

quipements et les capteurs.

3.2 Critique de lexistant

Un des principaux probl mes du SGE est lacc s un historique des donn es pour

effectuer des comparaisons et des analyses. A ce jour, le syst me METASYS noffre pas une

gestion de lhistorique sup rieure 6 mois et ne permet pas de croiser facilement des donn es

de plusieurs capteurs/compteurs. Egalement, il ne permet ni de faire une comparaison entre deux

fichiers qui ont un horodatage diff rent ni de faire une comparaison avec des fichiers provenant

dautres syst mes diff rents. En ce qui concerne les courbes offertes par METASYS, le syst me ne

permet pas laffinage des courbes travers un calendrier pour choisir les dates voulues et

remonter dans le temps pour faciliter la lecture par les analystes. Et finalement ce syst me ne

suit pas une charte bien sp cifique pour nommer les r pertoires ce qui a engendr par

cons quent une norme h t rog n it au niveau des noms dun m me r pertoire. De lautre

c t , PcVue est limit par la complexit de fichiers.dat et la lourdeur du syst me. En effet, ce

syst me permet dafficher des courbes lisibles pour surveiller les consommations dun b timent

mais il nest pas assez performant en terme temps de r ponse. Egalement, actuellement, PcVue

enregistre les donn es sur deux machines dont une principale et lautre de secours pour assurer

la p rennit des donn es en cas de coupure. Mais cette solution nest pas fiable en terme

danalyse tant donn que PcVue permette dafficher les courbes dune seule machine la fois.

Par cons quent, lorsquil sagit dune coupure au niveau dune machine, les donn es sont

enregistr es automatiquement dans lautre machine mais elles ne sont pas remont es dans les

courbes ce qui engendre un affichage avec des valeurs manquantes. Finalement, ce syst me fait

une purge chaque jour et narrive pas garder des traces de donn es cause du grand volume

de ses bases propri taire. Et enfin, le sch ma de la base de donn es Access nest pas cr

convenablement en termes de relations entre les tables, doptimisations et de nombre de tables

cr es. Et en plus, il ne contient aucun lien avec les donn es de METASYS ou PcVue.

3.3 Analyse et sp cification des besoins

3.3.1 Besoins fonctionnels et non fonctionnels

Dans notre processus de d finition des besoins, nous avons d but par un entretien avec

le responsable lectrom canique. Cest celui qui est charg du projet. Il sera la premi re personne

interrog e suivie des cadres sup rieurs. Suite lanalyse des r ponses des interrog s, nous avons

rassembl les besoins fonctionnels, qui se classifient en deux niveaux majeurs ; la sp cification

des caract ristiques de lentrep t et la sp cification des fonctionnalit s de lapplication

dinterrogation de lentrep t [3] [9].

Les sp cifications de lentrep t

Lentrep t doit tre con u de mani re quil permette de:

" Construire une source de donn es unique et non volatile.

" Mieux contr ler les donn es : nous pouvons organiser les donn es selon nos

besoins et donc rendre la base de donn es plus optimale.

" Rendre la base plus volutive et plus adapt e nos futurs besoins.

" Garder la tra abilit de chaque donn e : source dextraction de cette information.

" Avoir une mod lisation multidimensionnelle des donn es et hi rarchisation de

granularit danalyse dun niveau global un niveau plus d taill .

" Garantir une volution et un rafra chissement p riodique et r gulier des donn es.

" G rer un grand volume de donn es vari es.

Les sp cifications de lapplication

Lapplication doit tre con ue de mani re permettre :

" La haute disponibilit des donn es nimporte quel instant.

" La formulation des requ tes assez complexes permettant linterrogation des

donn es de lentrep t nimporte quel niveau hi rarchique.

" La g n ration facile des rapports ad-hoc ou autre types de rapport.

" La consultation ais e des tableaux de bord fournis.

" Lapplication facile des diff rentes op rations sur les donn es.

3.3.2 Besoins non fonctionnels

" D finir une r solution et une quantit graphique ad quate.

" Fournir des interfaces interactives et compr hensibles manipul es facilement par

les d cideurs afin dexplorer leurs donn es.

" Fournir des tableaux de bord clairs et facilement analysables.

" Fournir des rapports lisibles tout en respectant la charte graphique.

" Assurer la s curit et la performance de lentrep t.

4 Syst mes dint gration pour lanalyse d cisionnel

Face aux probl mes soulev s des syst mes de supervision du SGE et suite aux besoins

d duits par la direction, nous avons opt pour la r alisation du projet en deux phases.

4.1 Solution dint gration court terme

4.1.1 Pr sentation

La premi re phase du projet consiste modifier la sauvegarde du PcVue de sa base

propri taire vers SQL Server, int grer lensemble des donn es de METASYS sur une p riode de

6 mois dans la m me base de PcVue. Finalement, nous construisons une source commune qui

englobe lensemble des donn es des deux syst mes comme le montre la figure 6.

Figure 6: Sch ma descriptif de la premi re partie du projet

4.1.2 Avantages

Cette solution pr sente plusieurs avantages pr sent s ci-dessous:

" Avoir une seule base de donn es au lieu de deux bases propri taires assez

complexes.

" Assurer la p rennit et la r cup ration de lensemble des donn es.

" Pouvoir appliquer les courbes et les analyses de PcVue sur les donn es de

METASYS.

" Comparer les donn es de METASYS et PCVUE.

" R soudre le probl me des valeurs manquantes dans les courbes de PcVue caus e

par lenregistrement des donn es sur deux machines distantes travers la r cup ration des

donn es depuis SQL Server.

" Faire des comparaisons et des analyses entre des sous syst mes diff rents de

METASYS.

4.2 Solution dint gration Big Data

4.2.1 Pr sentation

La deuxi me phase du projet consiste g rer lhistorique des syst mes du SGE. Pour

cette raison, nous avons d cid de cr er un entrep t de donn es orient Big Data [4] [10] [11]qui

peut supporter le grand volume de donn es. Cet entrep t va contenir lhistorique de METASYS,

lhistorique de PcVue, la base de donn es Access et finalement, les donn es de 6 mois

enregistr es lors de la premi re phase sous SQL Server [7]. Cette int gration va nous permettre

de brancher un outil danalyse sur lentrep t afin dobtenir des courbes et des tableaux de bord

qui aident la direction piloter et analyser son syst me nerg tique. La figure 7 montre la

nouvelle architecture de lentrep t Big Data [2].

Figure 7: Sch ma descriptif de la deuxi me partie du projet

4.2.2 Avantages

Cette deuxi me partie de la solution pr sente les avantages suivant:

" Se d barrasser des archives des bases propri taires.

" Avoir un acc s un historique des donn es pour effectuer des comparaisons et

des analyses.

" Avoir une source fiable, pertinente et solide.

" Stocker dimportants volumes de donn es de toute nature en temps r el.

5 Conclusion

Dans ce premier chapitre, nous avons d fini le champ de notre tude suivi dune tude

de lexistant afin de pr ciser les objectifs atteindre. En effet, l tude de lexistant nous a permis

de pr parer une bonne conception pour les am liorations que nous allons ajouter dans la solution

propos e afin de r pondre nos besoins. Dans le chapitre qui suit, nous pr sentons les

d marches de d veloppement et de conception de notre solution.

CHAPITRE 2 : Linformatique d cisionnelle

1 Linformatique d cisionnelle

Mod lisation et int gration de donn es de capteurs/compteurs du SGE

1 Introduction

Ce chapitre sera r serv pour d finir linformatique d cisionnelle. Nous pr sentons dans

un premier temps ses avantages et ses limites. Nous abordons, ensuite, ses termes et les concepts

cl s en d taillant la notion dETL et dentrep t de donn es. Puis, nous d veloppons les notions

de Big Data et de bases de donn es NoSQL.

2 Concepts g n raux du BI

2.1 La Business Intelligence

Linformatique d cisionnelle, galement Business Intelligence ou BI en anglais, d signe

les moyens, les m thodes et les outils qui apportent des solutions en vue doffrir une aide la

d cision aux professionnels afin de leurs permettre davoir une vue densemble sur lactivit de

lentreprise et de leurs permettre de prendre des d cisions plus avis es travers des tableaux de

bord de suivi et des analyses.

2.1.1 Avantage du BI

D ployer une solution BI apporte de nombreux avantages :

" Am liorer la visibilit sur les chiffres, les carts et les anomalies.

" La combinaison de plusieurs sources de donn es (ERP, syst mes comptable,

feuilles de calcul, des budgets &).

" La pr sentation uniforme dinformations fiables.

" Lautomatisation permettant lacc l ration de la collecte et de la diffusion de

linformation.

" La performance dans le calcul dagr gats sur de gros volume de donn es.

" La prise de d cision gr ce des indicateurs pertinents et une structure

coh rente des informations.

" Laide nettoyer les donn es pr sentes dans diff rents logiciels.

" Lanticipation des v nements et la projection dans lavenir.

2.1.2 Limites du BI

Parmi les limites de la Business Intelligence :

" La mise en place dune solution de BI prend beaucoup du temps : de nombreuses

entreprises dans le sc nario industriel rapide ne sont pas assez patientes pour attendre la mise

en place du syst me d cisionnel dans leur organisation.

" Complexit : un autre inconv nient de BI pourrait tre sa complexit dans la mise

en Suvre des donn es.

" Erreur : les r sultats produits par les syst mes d cisionnels sont le r sultat de

conceptions informatiques et math matiques complexes, qui peuvent r v ler des erreurs, par

ailleurs les r sultats sont souvent statistiques, donc non d terministes. La possibilit dune

erreur ou dune approximation inadapt e devra toujours tre prise en compte dans les

d cisions.

2.2 Les principes des syst mes d cisionnels

Le syst me d cisionnel est architectur de la fa on suivante :

" Plusieurs sources de donn es en lecture.

" Un entrep t de donn es fusionnant les donn es requises.

" Un ETL permettant dalimenter lentrep t de donn es partir des donn es

existantes.

" Des magasins de donn es permettant de simplifier lentrep t de donn es.

" Des applications dexploitation de donn es pour pr senter l tude aux utilisateurs

finaux et d cideurs.

Figure 1: Architecture g n rale dun syst me d cisionnel

2.2.1 Sources de donn es

Afin dalimenter lentrep t, les informations doivent tre identifi es et extraites de leurs

emplacements originels. Il sagit des sources de donn es h t rog nes qui peuvent comporter des

donn es internes lentreprise, stock es dans les bases de donn es de production des diff rents

services. Elles peuvent tre aussi des sources externes, r cup r es via des services distants et des

web services ou des sources qui peuvent tre sous format de fichiers plats.

2.2.2 Entrep t de donn es

Dapr s BILL Inmon: "Un entrep t de donn es est une collection de donn es

th matiques, int gr es, non volatiles et histori es, organis es pour la prise de d cision.". Dapr s

cette d finition nous distinguons les caract ristiques suivantes :

" Donn es Orient es sujet : les donn es des entrep ts sont organis es par sujet et

donc tri es par th me.

" Donn es int gr es : les donn es provenant des diff rentes sources doivent tre

int gr es avant leur stockage dans lentrep t de donn es. Un nettoyage pr alable des donn es

est n cessaire afin davoir une coh rence et une normalisation de linformation.

" Donn es non-volatiles : la diff rence des donn es op rationnelles, celles de

lentrep t sont permanentes et ne peuvent pas tre modifi es. Le rafra chissement de

lentrep t, consiste ajouter de nouvelles donn es sans perdre celles qui existent.

" Histori es : les donn es doivent tre dat es.

2.2.3 Magasin de donn es

Les magasins de donn es ou Datamarts sont un sous-ensemble complet et naturel de

lentrep t de donn es. Ils sont structur s pour r pondre rapidement aux sollicitations des

utilisateurs. linverse dun entrep t de donn es qui peut tre tr s volumineux et qui ne permet

pas une utilisation appropri e, ils ont en effet moins de donn es g rer ce qui permet

dam liorer consid rablement les temps de r ponse.

2.2.4 Extract-Transform-Load

ETL, acronyme dExtraction Transformation Loading, est un processus dint gration des

donn es [13] [14]. Il permet de transf rer des donn es brutes dun syst me source, de les

pr parer pour une utilisation en aval et de les envoyer vers lentrep t de donn es. Ce syst me

doit faire passer les donn es par un tas de processus pour les d -normaliser, les nettoyer, les

contextualiser, puis de les charger de la fa on ad quate. Cependant, la r alisation de lETL est une

tape tr s importante et tr s complexe parce quil constitue 70% dun projet d cisionnel en

moyenne.

3 La diff rence entre OLTP et OLAP

Les syst mes informatiq...