Introduction à ORACLE WAREHOUSE BUILDER

Ouverture

Efcacit et co t

Figure 2: Concevoir, g n rer, d ployer et analyser

Description

Une productivit accrue travers des fonctionnalit s avanc es et

lutilisation doutils intuitifs pour la conception ainsi que pour la

manipulation et gestion des m tadonn es

Une int gration troite avec la base de donn es Oracle fournit

lorganisation de bonnes performances au niveau de la charge

Lam lioration de lexactitude des donn es et des m tadonn es

laide des fonctionnalit s avanc es de Warehouse Builder vous

permet de produire de meilleurs syst mes moindre effort

OWB permet d changer des m tadonn es laide de standards

Il permet galement la connectivit de nombreuse

ouverts.

sources de donn es.

Pour une compagnie souhaitant la fois disposer dun vaste en-

semble de fonctionnalit s pour sa conception, ainsi quun prix

total raisonnable, OWB qui est un outil complet apparait comme

une bonne solution.

Pour r sumer, dapr s ce que lon a vu concernant les capacit s de OWB ainsi que les valeurs ajout es,

OWB apparait comme le seul outil B.I. de conception et dint gration qui g re le cycle de vie complet des

donn es et m tadonn es dune base de donn es Oracle.

1.4 Pourquoi choisir OWB... encore des arguments

Dans le cas o nous disposons dun environnement ORACLE DW, il est fr quent davoir tous les processus

(process en anglais) d velopp s en utilisant PL/SQL et UNIX et g r s par des DBA et les d veloppeurs. Un

des avantages utiliser un outil ETL est lautomatisation et la gestion des processus ETL complexes, prin-

cipalement dans un environnement de grande taille et complexe conduisant des cycles de d veloppement

tr s rapides et une demande de production de prototypes en un temps le plus faible possible.

Dans cet environnement ORACLE DW et avec ce contexte, le choix OWB plut t quun autre outil ETL

est motiv s par les facteurs suivants:

3

1. la majorit des membres de l quipe de d veloppement est famili re avec PL/SQL (ou Java) et UNIX.

Les d veloppeurs ont ainsi les connaissances pour cr er des transformations d nies par lutilisateur

en PL/SQL ou Java, qui viendraient compl ter les 150 transformations pr tablies fournies par OWB;

2. OWB est tr s troitement int gr avec Oracle server et peut utiliser de mani re optimale les fonc-

tionnalit s ETL fournit par Oracle server comme table functions, external tables, multi-table

inserts, partition exchange loading, etc;

3. int gration avec dautres outils BI dOracle tels que Discover, Oracle Designer, Oracle Work Flow et

OEM;

4. possibilit dextraire des donn es de sources tr s diverses telles que SAP, R/3, DB2, etc, en utilisant

des int grateurs, des passerelles transparentes, etc;

5. capacit g n rer du code (PL/SQL, ABAP (Advanced Business Application Programming, a high

level programming language created by SAP))

6. possibilit dutiliser les composants dOracle Application Server (OracleiAS) pour publier des rap-

ports de m tadonn es (meta data report) en version web-like.

1.5 Les diff rents composants de OWB

Les principaux composants de OWB sont:

" OWB repository qui stocke les meta d nitions utilis es dans le DW ainsi que la biblioth que de

transformations qui contient plus de 150 transformations pr d nies;

" OWB client qui est utilis pour concevoir le DW et les processus ETL. Ce composant inclus gale-

ment les int grateurs et diteurs et se comporte comme un point dacc s aux autres composants OWB;

" OWB design browser client qui permet de visualiser les m tadonn es, de lancer des rapports web,

analyser les m tadonn es,...

" OWB runtime audit browser client pour lancer des rapports sur laudit et sur les informations

derreur captur es lorsquon lance des jobs pour charger et rafra chir les processus ETL;

" OWB runtime assistant qui aide installer un runtime repository et un schema cible (target schema),

ainsi qu maintenir jour les information daudit/erreur pour le deploiement ou lex cution.

1.6 Les t ches typiques r alis es avec OWB

OWB intervient notamment dans les tapes ou phases typiques suivantes de la vie dun DW:

1. conception du mod le du DW et de la structure physique

2. identication des sources de (m ta) donn es (SGBD, chiers plats, etc)

3. conception des processus dextraction, transformation et chargement (ETL)

4. identication et gestion des changements dans les d nitions des sources

4

5. gestion et extension des structures du DW cible

6. int gration avec dautres outils de business intelligence, tels que les outils de reporting, etc.

7. import ou export de m tadonn es an de faciliter l change de donn es entre diff rents outils (ouver-

ture)

8. conception et mise en place dun environnement de reporting de m tadonn es

2 OWB architecture

Larchitecture de OWB est repr sent e sur la gure 3 ci-apr s. Le concept au cSur de larchitecture de OWB

est le repository qui est stock dans le serveur Oracle. Larchitecture de base comprend 2 composants:

" le design time component

" le runtime component

2.1 Le design time component

Il fournit un repository autorisant un fort passage l chelle, des diteurs pour la conception et des outils de

reporting qui permettent de cr er et publier les m tadonn es.

Certains diteurs incluent:

1. les diteurs de module qui permettent de d nir les modules sources/cibles et les modules d dition

2. les diteurs dobjets qui incluent l diteur de tables, de dimensions, de faits, etc, permettant d diter

les propri t s des objets

3. l diteur de mappings qui permet de concevoir et de congurer comment les donn es sont charg es

dans le DW cible, et est utilis pour concevoir une repr sentation graphique de la relation entre les

objets sources de donn es qui sont utilis es pour peupler les objets cibles du DW. L diteur fournit

un ensemble dop rateurs qui peuvent tre inclus lors des mappings et des transformations. Il permet

galement la validation et la g n ration du code utilis pour peupler le DW cible

4. l diteur de code qui permet d diter ou personnaliser le code g n r par OWB.

Le design time browser permet aussi de voir diff rent rapports.

2.2 Runtime component

Le runtime component inclue the runtime repository et le visualiseur daudit, qui permet de voir les infor-

mations lors de lex cution des travaux dETL qui ont t ex cut s en utilisant des outils Oracle tel que

Oracle enterprise Manager (OEM). Ces travaux dETL sont cr s dans le repository OEM lorsquils sont

enregistr s avec OEM dans l diteur de mappings.

5

Figure 3: Architecture de OWB

2.3 Autres composants

Integrators

OWB est capable dextraire des donn es de sources vari es comme des chiers plats, SAP, dautres sources

Oracle, dautres bases de donn es telles que DB2, ou encore des versions plus anciennes de repository OWB.

Les int grateurs sont des composants qui facilitent lextraction de syst mes non-Oracle comme lint grateur

SAP R/3. Ils fournissent lutilitaire MDL (Meta Data Loader) pour lextraction des m tadonn es.

Bridges

Ce composant permet de transf rer les m tadonn es dautres outils Oracle tels que Oracle discoverer,

OLAP, etc.

Metabase

Cette couche interm diaire fournit des services tous les producteurs (sources) et consommateurs (cibles

6

ou autres outils Oracle) de donn es. Les services comprennent un service multi-utilisateur et verrouillage,

des services de g n ration et de validation, etc.

3 Ce que lon va voir dans les TPs

Apr s avoir rapidement vu et compris ce que fait Warehouse Builder, nous allons regarder ce que nous

allons faire dans ces s ances de TPs. Comme nous venons de le voir, il existe de nombreuses fonctionnalit s

dans OWB. Pour des raisons de temps, nous avons du faire des choix et seulement avons s lectionn les

fonctionnalit s les plus pertinentes pour d marrer. Nous verrons galement en d tails les fonctionnalit s

que nous ne couvrirons pas dans ces TPs.

3.1 Sur quoi nous nous focaliserons

Dans les s ances de TPs qui vont suivre nous allons nous focaliser principalement sur

" Int gration de donn es ou ETL

" Conception de syst mes

La raison pour les choix de ces fonctionnalit s est quils constituent une part importante de nimporte

quelle syst me Business Intelligence. Lint gration de donn es est lactivit qui est la plus co teuse en

terme de temps, et la conception de syst me est typiquement n cessaire avant de pouvoir faire nimporte

quel int gration de donn es.

La qualit des donn es est une fonctionnalit part au sein de loutil et par cons quent est s par des

fonctionnalit s de lint gration de donn es. Cependant int grer la qualit des donn es dans loutil fournit

certains b n ces notables au client, et par cons quent nous avons choisi de travailler un sous-ensemble des

fonctionnalit s de qualit de donn es dans nos TPs.

Ce constant est galement valable pour le Metadata Reporting, qui offre souvent un b n ce signicatif

au client. Utilis lors de la collecte et lint gration de m tadonn es, Metadata Reporting est un point crucial

de nimporte quel projet dint gration de donn es. Par cons quent nous jeterons galement un Sil aux

fonctionalit s de compte-rendu concernant les m tadonn es dans OWB.

3.2 Autres fonctionnalit s importantes

An de comprendre toute la puissance de loutil OWB, il faut galement conna tre les autres fonctionnalit s

non-couvertes par les TP. Nous les pr sentons par famille de fonctionnalit s, par exemple par conception de

syst mes nous entendons, les fonctionnalit s non-pr sent es dans ces TPs dans le domaine de la conception

de syst mes.

3.2.1 Conception de syst me

" la cr ation dun syst me ON-Line Analytical Processing (OLAP) est seulement pr sent lors des

TPs comme une partie du travail de conception de syst me

7

" la conception de sch mas: la conception un sch ma normalis est souvent utilis dans un entrep t

de donn es. Dans les TPs nous ne pr senterons pas cette fonctionnalit car cette conception est

g n ralement connue par les concepteurs dentrep ts de donn es. Nous nous focaliserons plus sur la

mod lisation des dimensions. La conception de sch ma inclus des choses comme la d nition des

vues, des vues mat rialis es, etc. Vous pouvez d nir, maintenir et cr er tout ceci dans OWB pour

compl ter votre conception de sch ma, sans avoir utiliser un autre outil.

" la gestion du cycle de vie: elle vous permet de g rer les changements dans les syst mes source ou

cible. OWB vous permet de manipuler et propager les changements dans lenvironnement de votre

entrep t, de mani re rapide et simple.

3.2.2

Int gration de donn es

" fonctionnalit s diverses: un grand nombre de fonctionnalit s avanc es ou tr s sp ciques ne sont

pas abord es dans ces TPs. Par exemple ce qui concerne les les dattente des messages source ou

cible, lenvoi demails partir du ux de traitements, et bien dautres

" Transformations: OWB comprend un grand nombre de transformations pr d nies (transformations

de caract res, conversions, format de date, de nombres, transformations OLAP). Dans ces TPs seuls

un sous-ensemble de ces transformations seront abord es.

" chargement dun syst me OLAP: puisque lors de ces TPs nous naurons sans doute pas le temps

de travailler avec OLAP, nous ne verrons pas le m canisme de chargement dune base OLAP depuis

nimporte quelle source.

" Chargement dans une partition d change: cette fonction vous permet de charger les donn es dans

une table temporaire et alors de changer celle-ci en une partition dune table beaucoup plus grande.

Ce processus de chargement est tr s rapide et efcace et estcompl tement automatis par OWB

" sources de donn es h t rog nes: OWB permet nativement une connectivit avec des syst mes SAP

en utilisant du code ABAP g n r pour extraire des donn es de SAP. Loutil OWB supporte galement

diff rentes approches pour charger partir de serveurs centraux et supporte ODBC

3.2.3 Qualit des donn es

" Nettoyage du nom et de ladresse: un composant important et d j int gr dans OWB vous permet

de v rier lexactitude des noms et des adresses dans votre syst me source avant de les d placer dans

lentrep t de donn es cible. Typiquement vous voulez faire cela avant dutiliser les fonctionnalit s

match/merge, an de travailler ainsi sur des donn es propres et correctes.

" Match/Merge:

int gr dans OWB, cette fonctionnalit permet de faire des d tections et fusions

avanc s de nimporte quel type de donn es. En sappuyant sur les r gles m tiers, vous pouvez fusion-

ner plusieurs enregistrements en un enregistrement unique, cr ant une unique base denregistrements

pour vos analyses.

3.2.4

Int gration de m tadonn es

" Version des m tadonn es: OWB supporte la gestion des version un niveau objet

8

" D termine la diff rence entre version: OWB vous permet dobtenir un rapport des diff rences entre

versions ou entre la situation actuelle et une vieille version. Vous pouvez ainsi d terminer avec quelle

version travailler.

" Support de langages multiples: OWB vous permet la fois de stocker les m tadonn es dans le

repository dans diff rents langages, et de lancer OWB dans votre langue pr f r e

3.2.5 Ouverture

" API publiques: des APIs java publiques sont disponibles pour donner aux applications externesun

acc s direct en lecture/ criture au repository OWB

" Vues SQL publiques: OWB fournit un acc s SQL en lecture-seule au m tadonn es dans le repository

de OWB

4 Refaire le TP chez vous

Nous vous donnons maintenant la technique pour installer OWB chez vous, ainsi que les donn es dessai

que nous utiliserons en TP. Il sagit dinstruction pour windows. On suppose que vous poss der galement

une base (avec un serveur) Oracle.

4.1 Installer OWB

" aller sur le site

http://www.oracle.com/technology/software/products/warehouse/index.html

" choisissez le chier correspondant votre conguration, en g n ral le premier lien (pour les utilisa-

teurs de linux, il est possible de linstaller, mais les jeu dessai nexiste que pour windows).

" supposons que jai choisi le premier lien, je t l charge le chier OWB_10.2.0.1.win.zip que je sauve

sur mon disque dur

" si besoin, lorsque cest demand , cr ez vous un compte sur le site Oracle

4.2 Installer les jeux dessai

" aller sur le site

http://www.oracle.com/technology/products/warehouse/selfserv_edu/reviewersguide.html

" cliquer sur le petit ordinateur dans le tableau, correspondant la colonne delivery

" t l charger ce chier reviewCD.zip sur votre ordinateur

" une fois d archiver, lancer le programme dinstallation

9

4.2.1 O trouver de la documentation

seulement en anglais malheureusement!

" le guide dinstallation de Oracle warehouse Builder

http://download-uk.oracle.com/docs/html/B12150_01/toc.htm

" le guide utilisateur de OWB

http://download-uk.oracle.com/docs/html/B12146_01/toc.htm

" OWB - pr sentation p dagogique par Oracle

http://www.oracle.com/technology/products/warehouse/selfserv_edu/self_service_education.html

" pr sentation en anglais du TP

http://www.oracle.com/technology/products/warehouse/selfserv_edu..

../Reviewers%20Guide%20for%20Oracle%20Warehouse%20Builder.pdf

" la page Oracle g n rale sur OWB

http://www.oracle.com/technology/products/warehouse/index.html

4.2.2 Se connecter distance sur votre compte au CNAM sous linux

Pour ceux ne travaillant pas sous windows et souhaitant refaire le TP, il est possible de se connecter sur votre

compte au CNAM et travailler a distance. Il faut alors faire les tapes suivantes:

" dans un terminal taper la commande ssh -X [email protected]

" une fois saisi le mot de passe vous tes maintenant sur le serveur vlad (le seul accessible depuis

lext rieur)

" connectez-vous ensuite sur le serveur odessa avec ssh -X santorin

" une fois connect sur la machine vous pouvez ensuite lancer les scripts de param trage (cf d marrage

pr sent lors du premier TP)

4.2.3 Premiers tests

" une fois sur odessa, xer le nom de la base que vous souhaiter attaquer en tapant: export

ORACLE_SID=NFE115

" essayer de vous connecter avec votre compte en faisant sqlplus avec votre login/password

" placez vous dans le repertoire de owb avec la commande

cd /opt/oracle/product/11.1.0/db_1/owb/bin/unix

" tester la commande suivante ./reposinst.sh

10