Module 3: Intégration de données

Extract, Transform and Load (ETL):

Avantages

Optimis pour la structure de lentrep t de donn es;

Peut traiter de grandes quantit s de donn es dans une m me ex cution

(traitement en lot);

Permet des transformations complexes et agr gations sur les donn es;

La c dule dex cution peut tre contr l e par ladministrateur;

La disponibilit doutils GUI sur le march permet dam liorer la productivit ;

Permet la r utilisation des processus et transformations (ex: packages dans

SSIS).

I.BEN TARBOUT

13

Extract, Transform and Load (ETL):

Inconv nients

Processus de d veloppement long et co teux;

Gestion des changements n cessaire;

Exige de lespace disque pour effectuer les transformations (Staging area);

Ex cut ind pendamment du besoin r el;

Latence des donn es entre la source et lentrep t;

Unidirectionnel (des sources vers lentrep t de donn es).

I.BEN TARBOUT

14

Entreprise Information Integration (EII):

Caract ristiques

Fournit une vue unifi e des donn es de l'entreprise, o les sources de donn es

forment une f d ration;

Les sources de donn es dispers es sont consolid es l'aide d'une BD virtuelle, de

mani re transparente aux applications utilisant ces donn es;

Toute requ te la BD virtuelle est d compos e en sous-requ tes aux sources

respectives, dont les r ponses sont assembl es en un r sultat unifi et consolid ;

Permet de consolider uniquement les donn es utilis es, au moment o elles sont

utilis es (source data pulling).

Le traitement en-ligne des donn es peut cependant entra ner des d lais importants

I.BEN TARBOUT

15

Entreprise Information Integration (EII):

Avantages

Acc s relationnel des sources non-relationnelles;

Permet dexplorer les donn es avec la cr ation du mod le de lentrep t de

donn es;

Acc l re le d ploiement de la solution;

Peut tre r utilis par le syst me ETL dans une it ration future;

Aucun d placement de donn es

I.BEN TARBOUT

16

Entreprise Information Integration (EII):

Inconv nients

Requiert la correspondance des cl s dune source lautre;

Consolidation des donn es plus complexe que dans lETL;

Surtaxe les syst me sources;

Plus limit que lETL dans la quantit de donn es pouvant tre trait e;

Transformations limit es sur les donn es;

Peut consommer une grande bande passante du r seau.

I.BEN TARBOUT

17

Entreprise Application Integration (EAI):

Caract ristiques

Architecture intergicielle orient e applications permettant des applications

h t rog nes de communiquer en orchestrant le workflow(processus

d changes respectant un ensemble de r gles m tier) qui les unit.

Repose sur l'int gration et le partage des fonctionnalit s des applications

sources l'aide d'une architecture SOA;

Approche permettant de fournir, l'entrep t, des donn es provenant des

sources (source data pushing);

G n ralement utilis en temps r el ou en semi-temps r el (Near Real Time);

L'EAI ne remplace pas le processus ETL, mais permet de simplifier ce dernier.

I.BEN TARBOUT

18

Entreprise Application Integration:

Caract ristiques (suite)

I.BEN TARBOUT

19

Entreprise Application Integration (EAI):

Avantages

Facilite linterop rabilit des applications;

Permet lacc s en (quasi) temps-r el;

Ne transf re que les donn es n cessaires;

Contr le du flot de linformation.

I.BEN TARBOUT

20

Entreprise Application Integration (EAI):

Inconv nients

Support limit aux transformations et agr gations des donn es;

Taille des transactions limit e (en nombre de lignes);

D veloppement complexe;

Gestion complexe de lint grit s mantique des donn es (e.g., Business Rules);

Utilise la bande passante du r seau durant les heures de pointe.

I.BEN TARBOUT

21

Comparaison entre les approches

dint gration

I.BEN TARBOUT

22

Quand utiliser les approches

dint gration

Approche ETL:

Consolidation dune grande quantit de donn es

Transformations complexes.

Approche EII:

Relier un entrep t (EDW) existant avec des donn es de sources sp cifiques.

Donn es sources volatiles et accessibles laide de requ tes simples (ex: SQL).

Approche EAI:

Int gration de transactions

Requ tes analytiques simples

Sources non-accessibles directement

I.BEN TARBOUT

23

Exemples de produits commerciaux

Outils ETL:

Oracle Warehouse Builder;

IBM Infosphere Information Server;

Microsoft SQL Server Integration Services (SSIS);

SAS Data Integration Studio.

Outils EAI:

IBM WebSphere Message Broker;

Microsoft BizTalk Server;

Oracle SOA Suite.

Outils EII:

SAP BusinessObjectsData Federator;

IBM WebSphere Federation Server

I.BEN TARBOUT

24

Processus ETL

I.BEN TARBOUT

25

I.BEN TARBOUT

26

Quelles sont les principales

tapes dans le

d veloppement du syst me

ETL?

I.BEN TARBOUT

27

I.BEN TARBOUT

28

T ches et tapes de lETL

I.BEN TARBOUT

29

EXTRACT

C

I.BEN TARBOUT

30

Extraction des donn es: consid rations

pratiques

Identifier les sources de donn es et leurs structures;

D cider, pour chaque source, si l'extraction est faite la main (ex: script) ou

l'aide d'un outil;

Choisir, pour chaque source, la fen tre temporelle durant laquelle sera faite

l'extraction;

D terminer la s quence des t ches d'extraction;

D terminer comment g rer les exceptions.

I.BEN TARBOUT

31

Extraction des donn es

Identification des sources:

1. num rer les items cibles (m triques et attributs de dimension)

n cessaires l'entrep t de donn es;

2. Pour chaque item cible, trouver la source et l'item correspondant de

cette source;

3. Si plusieurs sources sont trouv es, choisir la plus pertinente;

4. Si l'item cible exige des donn es de plusieurs sources, former des

r gles de consolidation;

5. Si l'item source referme plusieurs items cibles (ex: un seul champs

pour le nom et l'adresse du client), d finir des r gles de d coupage;

Inspecter les sources pour des valeurs manquantes.

6.

I.BEN TARBOUT

32

Extraction des donn es

Extraction compl te:

Capture l'ensemble des donn es un certain instant (snapshot de l' tat op rationnel);

Normalement employ e dans deux situations:

1. Chargement initial des donn es;

2. Rafra chissement complet des donn es (ex: modification d'une source).

Peut tre tr s co teuse en temps (ex: plusieurs heures/jours).

Extraction incr mentale:

Capture uniquement les donn es qui ont chang es ou ont t ajout es depuis la derni re

extraction;

Peut tre faite de deux fa ons:

Extraction temps-r el;

Extraction diff r e (en lot).

1.

2.

I.BEN TARBOUT

33

Comment peut-on extraire

les donn es qui ont

chang es dans les sources:

En temps-r el?

En diff r (lot)?

I.BEN TARBOUT

34

Extraction des donn es: Extraction en

temps-r el

S'effectue au moment o les transactions surviennent dans les syst mes sources.

I.BEN TARBOUT

35

Extraction des donn es: Extraction en

temps-r el

Option 1: Capture l'aide du journal des transactions

Utilise les logs de transactions de la BD servant la r cup ration en cas de

panne;

Aucune modification requise la BD ou aux sources;

Doit tre faite avant le rafra chissement p riodique du journal;

Pas possible avec les syst mes legacy ou les sources base de fichiers (il

faut une BD journalis e).

I.BEN TARBOUT

36

Extraction des donn es: Extraction en

temps-r el

Option 2: Capture l'aide de triggers

Des proc dures d clench es (triggers) sont d finies dans la BD pour recopier les

donn es extraire dans un fichier de sortie;

Meilleur contr le de la capture d' v nements;

Exige de modifier les BD sources;

Pas possible avec les syst mes legacy ou les sources base de fichiers.

I.BEN TARBOUT

37

Extraction des donn es: Extraction en

temps-r el

Option 3: Capture l'aide des applications sources

Les applications sources sont modifi es pour crire chaque ajout et modification de

donn es dans un fichier d'extraction;

Exige des modifications aux applications existantes;

Entra ne des co ts additionnels de d veloppement et de maintenance;

Peut tre employ sur des syst mes legacy et les syst mes base de fichiers.

I.BEN TARBOUT

38

Extraction des donn es: extraction

diff r e

Extrait tous les changements survenus durant une p riode donn e (ex: heure, jour,

semaine, mois).

I.BEN TARBOUT

39

Extraction des donn es: extraction

diff r e

Option 1: Capture bas e sur les timestamps

Une estampille (timestamp) d' criture est ajout e chaque ligne des syst mes sources;

L'extraction se fait uniquement sur les donn es dont le timestamp est plus r cent que

la derni re extraction;

Fonctionne avec les syst mes legacy et les fichiers plats, mais peut exiger des

modifications aux syst mes sources;

Gestion compliqu e des suppressions

I.BEN TARBOUT

40

Extraction des donn es: extraction

diff r e

Option 2: Capture par comparaison de fichiers

Compare deux snapshots successifs des donn es sources;

Extrait seulement les diff rences (ajouts, modifications, suppressions) entre les deux

snapshots;

Peut tre employ sur des syst mes legacy et les syst mes base de fichiers, sans

aucune modification;

Exige de conserver une copie de l' tat des donn es sources;

Approche relativement co teuse.

I.BEN TARBOUT

41

TRANSFORM

C

I.BEN TARBOUT

42

Transformation des donn es: Types de

transformations

Types de transformation:

1. R vision de format:

Ex: Changer le type ou la longueur de champs individuels.

2. D codage de champs:

Consolider les donn es de sources multiples

Ex: ['homme', 'femme'] vs ['M', 'F'] vs [1,2].

Traduire les valeurs cryptiques

Ex: 'AC', 'IN', 'SU' pour les statuts actif, inactif et suspendu.

3. Pr -calcul des valeurs d riv es:

Ex: profit calcul partir de ventes et co ts.

4. D coupage de champs complexes:

Ex: extraire les valeurs pr nom, secondPr nomet nomFamille partir d'une seule cha ne de

caract res nomComplet.

I.BEN TARBOUT

43

Transformation des donn es: Types de

transformations (suite)

5. Fusion de plusieurs champs:

Ex: information d'un produit

Source 1: code et description;

Source 2: types de forfaits;

Source 3: co t.

6. Conversion de jeu de caract res: Ex: EBCDIC (IBM) vers ASCII.

7. Conversion des unit s de mesure: Ex: imp rial m trique.

8. Conversion de dates: Ex: '24 FEB 2011' vs '24/02/2011' vs '02/24/2011'.

9. Pr -calcul des agr gations: Ex: ventes par produit par semaine par r gion.

10. D duplication: Ex: Plusieurs enregistrements pour un m me client.

I.BEN TARBOUT

44

Transformation des donn es

Probl me de r solution d'entit s:

Survient lorsqu'une m me entit se retrouve sur diff rentes sources, sans qu'on ait la

correspondance entre ces sources;

Ex: clients de longue date ayant un identifiant diff rent sur les diff rentes sources;

L'int gration des donn es requiert de retrouver la correspondance;

Approches bas es sur des r gles de r solution

Ex: les entit s doivent avoir au moins N champs identiques (fuzzy lookup / matching).

Probl me des sources multiples:

Survient lorsqu'une entit poss de une repr sentation diff rente sur plusieurs sources;

Approches de s lection:

Choisir la source la plus prioritaire;

Choisir la source ayant l'information la plus r cente.

I.BEN TARBOUT

45

Transformation des donn es

Gestion des changements dimensionnels:

D terminer la strat gie de gestion des changements (SCD Type 1, 2 ou 3) de chaque

attribut dimensionnel modifi ;

Pr parer l'image de chargement (load image) en cons quence:

SCD Type 1: ancienne valeur cras e;

SCD Type 2: nouvelle ligne ajout e;

SCD Type 3: d placement de l'ancienne valeur dans la colonne d'historique et criture de la

nouvelle valeur dans la colonne courante.

I.BEN TARBOUT

46

Transformation des donn es: Exemples

I.BEN TARBOUT

47

Transformation des donn es: Matrice de

transformation

I.BEN TARBOUT

48

LOAD

C

I.BEN TARBOUT

49

Chargement des donn es: Types de

chargement

Chargement initial:

Fait une seule fois lors de l'activation de l'entrep t de donn es;

Les indexes et contraintes d'int grit r f rentielle (cl trang res) sont normalement

d sactiv s temporairement;

Peut prendre plusieurs heures.

Chargement incr mental:

Fait une fois le chargement initial compl t ;

Tient compte de la nature des changements (ex: SCD Type 1, 2 ou 3);

Peut tre fait en temps-r el ou en lot.

Rafra chissement complet:

Employ lorsque le nombre de changements rend le chargement incr mental trop

complexe;

Ex: lorsque plus de 20% des enregistrements ont chang depuis le dernier chargement.

I.BEN TARBOUT

50

Chargement des donn es: Consid rations

additionnelles

Faire les chargements en lot dans une p riode creuse (entrep t de donn es non

utilis );

Consid rer la bande passante requise pour le chargement;

Avoir un plan pour valuer la qualit des donn es charg es dans l'entrep t;

Commencer par charger les donn es des tables de dimension.

I.BEN TARBOUT

51

Outils dint gration de

donn es

I.BEN TARBOUT

52

Crit res de choix

Taille de l'entreprise :

Pour une multinationale, on ira plus pour une solution compl te et, en g n ral, tr s

co teuse.

Pour une PME, on optera plut t pour des solutions payantes (comme Microsoft Integration

Services) assurant un certain niveau de confort sans impliquer des mois de d veloppement.

Taille de la structure informatique :

Une entreprise avec une grande structure informatique pourra se permettre d'opter pour

une solution Open Source et la personnaliser selon les besoins de l'entreprise.

Une PME ne pourra s rement pas faire cela.

Culture d'entreprise : Open Source ou payant

Maturit des solutions

I.BEN TARBOUT

53

Magic Quadrant de Gartner pour les

outils d'int gration de donn es

I.BEN TARBOUT

54

ELT vs ETL

I.BEN TARBOUT

55

EXTRACT, LOAD and TRANSFORM (ELT)

I.BEN TARBOUT

56

EXTRACT, LOAD and TRANSFORM (ELT)

Probl mes avec ETL:

Traite les donn es importantes au moment de la conception;

D veloppement long et complexe.

Solution ELT:

Utilise les technologies BigData (ex: Hadoop, Spark, etc.);

Chargements rapides, potentiellement temps-r els;

Lacs de donn es (data lakes) permettent les donn es nonstructur es;

Transformations faites au moment de la requ te;

Technologies moins matures que ETL et impl mentation plus complexe (ex: code Java vs

outil d di ).

I.BEN TARBOUT

57

EXTRACT, LOAD and TRANSFORM (ELT)

I. BEN TARBOUT

58