Introduction au Data Mining

1/25
100%

<!-- Slide number: 1 -->

![04 Tile](Picture44.jpg)

Ann e Universitaire 2019-2020

Introduction au Data Mining

S. Zouaoui & W. Barhoumi

Notes:

<!-- Slide number: 2 -->

![04 Tile](Picture44.jpg)

Introduction

D finition

![](Picture2.jpg)

Datamining est un nouveau champ situ au croisement de la statistique et des technologies de linformation (bases de donn es, intelligence artificielle, apprentissage&).

Le but est de d couvrir des structures dans de vastes ensembles de donn es.

La m taphore du Datamining signifie quil y a des tr sors ou p pites cach s sous des montagnes de donn es que lon peut d couvrir avec des outils sp cialis s.

Notes:

<!-- Slide number: 3 -->

![04 Tile](Picture44.jpg)

Introduction

D finition

![](Picture2.jpg)

Cest lensemble des algorithmes, m thodes et technologies inspir s de plusieurs autres disciplines, pouvant servir remplacer ou aider lexpert humain ou le d cideur dans un domaine sp cifique dans le cadre de prise de d cision, et ce en fouillant dans des bases de donn es d cisionnelles des corr lations, des associations, des comportements homog nes, des formules de lien entre indicateurs, des sp cification par rapport une th matique bien d termin e&.

Notes:

<!-- Slide number: 4 -->

![04 Tile](Picture44.jpg)

Introduction

Aspect pluridisciplinaire

![](Picture2.jpg)

Notes:

<!-- Slide number: 5 -->

![04 Tile](Picture44.jpg)

Lorganisation du flux dinformations

![](Picture2.jpg)

Notes:

<!-- Slide number: 6 -->

![04 Tile](Picture44.jpg)

Domaines dapplication

D tection dusage frauduleux de cartes bancaires.

Gestion du risque li lattribution de pr ts par le scoring.

Publicité

D couverte de relations cach es entre les indicateurs financiers.

D tection de r gles de comportement boursier par lanalyses des donn es du march .

Utilisation du score de risque pour proposer le montant de cr dit le plus adapt chaque client.

Aide la d cision de paiement.

Identification des clients susceptibles de partir la concurrence.

![](Picture17.jpg)

Notes:

<!-- Slide number: 7 -->

![04 Tile](Picture44.jpg)

Domaines dapplication

D tection dassociations des comportements dachats.

D couverte des caract ristiques de clients.

Identification des clients susceptibles de partir la concurrence.

Classifications des clients.

Utilisation du score de risque pour proposer le montant de cr dit le plus adapt chaque client.

Aide la d cision de paiement.

![](Picture2.jpg)

Notes:

<!-- Slide number: 8 -->

![04 Tile](Picture44.jpg)

Domaines dapplication

D tection dassociations des demandes de remboursements,

Identification de clients potentiels de nouvelles polices dassurances.

D tection dassociation de comportements pour la d couverte de clients risque.

D tection de comportement frauduleux.

Faire monter en gamme un client que lon d tient d j .

![](Picture2.jpg)

Notes:

<!-- Slide number: 9 -->

![04 Tile](Picture44.jpg)

Domaines dapplication

Diagnostic assist par ordinateur (CAD) par lapprentissage de syst mes experts

Explication ou pr diction de la r ponse dun patient un traitement.

Mettre en vidence des facteurs de risque ou de r mission dans certaines maladies.

Choisir le traitement le plus appropri pronostic des infarctus et des cancers (d c s, survie).

Pr dire le temps de r tablissement apr s une op ration, en fonction des donn es concernant le patient ( ge, poids, taille, fumeur, m tier, ant c dents m dicaux&) et le praticien (nombre dop rations pratiqu es, nb dann es dexp rience&.).

![](Picture2.jpg)

Notes:

Publicité

<!-- Slide number: 10 -->

![04 Tile](Picture44.jpg)

Pr paration des donn es

1- Donn es existantes ou constituer :

" Fichiers : information contenue dans un ou plusieurs fichiers ind pendants.

" BD relationnelles : information contenue dans plusieurs fichiers unis par une cl .

" Base de donn es Transactionnelles.

2- Nettoyage :

" Doublons, erreurs de saisie, valeurs aberrantes.

" Donn es manquantes, informations manquantes (ignorer lobservation, la remplacer par la valeur moyenne, valeur moyenne sur la classe, r gression&).

3- Data Warehouses :

Entrep t de donn es collect es de sources multiples souvent h t rog nes.

" Les donn es sont enregistr es, nettoy es, transform es et int gr es.

" Habituellement mod lis par une structure de donn e multidimensionnelles (cube). Les cubes sont bien adapt s aux requ tes rapides et lanalyse des donn es : On-Line Analytical Processing (OLAP).

Notes:

<!-- Slide number: 11 -->

![04 Tile](Picture44.jpg)

M thodologies de travail

M thodologie 1 : KDD / ECD

Knowledge Discovery in Databases / Extraction de Connaissances partir de Donn es

" Un processus pour la fouille de donn es qui a bien r pondu aux besoins dentreprises, et qui est devenu rapidement tr s populaire.

" Des motifs valides, utiles et exploitables partir des grandes quantit s de donn es.

M thodologie 2 : SEMMA

Sample, Explore, Modify, Model, Assess

" LInstitut SAS d finit le data mining comme le processus utilis pour r v ler des informations pr cieuses et des relations complexes qui existent dans de grandes quantit s de donn es (BIG DATA, OPEN DATA).

" SAS divise la fouille de donn es en cinq tapes repr sent es par lacronyme SEMMA.

M thodologie 3 : CRISP-DM

CRoss-Industry Standard Process for Data Mining

" Une m thode mise l preuve sur le terrain permettant d'orienter les travaux de Data mining.

" Processus de data mining qui d crit une approche commun ment utilis e par les experts pour r soudre les probl mes qui se posent eux.

Notes:

<!-- Slide number: 12 -->

![04 Tile](Picture44.jpg)

M thodologies de travail

![](Picture2.jpg)

Notes:

<!-- Slide number: 13 -->

![04 Tile](Picture44.jpg)

Publicité

M thodologies de travail

![](Picture2.jpg)

Notes:

<!-- Slide number: 14 -->

![04 Tile](Picture44.jpg)

M thodologies de travail

![](Picture3.jpg)

![](Picture2.jpg)

Notes:

<!-- Slide number: 15 -->

![04 Tile](Picture44.jpg)

M thodologies de travail : Exemple d taill

![](Picture4.jpg)

![](Picture5.jpg)

![](Picture6.jpg)

Notes:

<!-- Slide number: 16 -->

![](Picture2.jpg)

![](Picture3.jpg)

<!-- Slide number: 17 -->

![](Picture2.jpg)

<!-- Slide number: 18 -->

![](Picture2.jpg)

![](Picture4.jpg)

![](Picture6.jpg)

![](Picture5.jpg)

![](Picture7.jpg)

![](Picture8.jpg)

<!-- Slide number: 19 -->

![](Picture2.jpg)

![](Picture3.jpg)

<!-- Slide number: 20 -->

![04 Tile](Picture44.jpg)

Deux familles de techniques

![](Picture2.jpg)

Notes:

<!-- Slide number: 21 -->

![04 Tile](Picture44.jpg)

Publicité

Deux familles de techniques

![](Picture2.jpg)

Notes:

<!-- Slide number: 22 -->

![04 Tile](Picture44.jpg)

Types dapplications

![](Picture2.jpg)

Notes:

<!-- Slide number: 23 -->

Machine Learning : Types dapprentissage

Le Machine Learning (apprentissage automatique) est une technologie essentielle de lintelligence artificielle.

Elle permet aux ordinateurs dapprendre de fa on autonome.

![04 Tile](Picture44.jpg)

![](Image1.jpg)

Notes:

<!-- Slide number: 24 -->

![04 Tile](Picture44.jpg)

M thodes Pr dictives = Apprentissage Supervis

Id e de lapprentissage supervis : Apprendre prendre des d cisions, effectuer une t che, partir d'exemples (Expert).

![](Picture9.jpg)

![](Picture5.jpg)

![](Picture7.jpg)

chien ou chat ?

chien

chat

Le deep learning fait r f rence une classe d'algorithmes d'apprentissage supervis : Ils sont bas s sur l'utilisation d'un type sp cifique de classificateurs : les r seaux de neurones

Notes:

<!-- Slide number: 25 -->

![04 Tile](Picture44.jpg)

M thodes Descriptives = Apprentissage Non Supervis

Id e de lapprentissage non supervis : lapprentissage par la machine se fait de fa on totalement autonome (Pas dExpert).

Des donn es sont communiqu es la machine sans lui fournir les exemples de r sultats attendus en sortie.

Lapprentissage par renforcement consiste laisser lalgorithme apprendre de ses propres erreurs afin dapprendre prendre les bonnes d cisions :

  • Si il se trompe, on p nalise,
  • Si il prend la bonne d cision, on r compense.

Notes:

Introduction au Data Mining

Programming, Math, Data Mining, Statistics, Machine Learning · course

Browse all intelligence artificielle et données documents

<!-- Slide number: 1 -->

![04 Tile](Picture44.jpg)

Ann e Universitaire 2019-2020

Introduction au Data Mining

S. Zouaoui & W. Barhoumi

Notes:

<!-- Slide number: 2 -->

![04 Tile](Picture44.jpg)

Introduction

D finition

![](Picture2.jpg)

Datamining est un nouveau champ situ au croisement de la statistique et des technologies de linformation (bases de donn es, intelligence artificielle, apprentissage&).

Le but est de d couvrir des structures dans de vastes ensembles de donn es.

La m taphore du Datamining signifie quil y a des tr sors ou p pites cach s sous des montagnes de donn es que lon peut d couvrir avec des outils sp cialis s.

Notes:

<!-- Slide number: 3 -->

![04 Tile](Picture44.jpg)

Introduction

D finition

![](Picture2.jpg)

Cest lensemble des algorithmes, m thodes et technologies inspir s de plusieurs autres disciplines, pouvant servir remplacer ou aider lexpert humain ou le d cideur dans un domaine sp cifique dans le cadre de prise de d cision, et ce en fouillant dans des bases de donn es d cisionnelles des corr lations, des associations, des comportements homog nes, des formules de lien entre indicateurs, des sp cification par rapport une th matique bien d termin e&.

Notes:

<!-- Slide number: 4 -->

![04 Tile](Picture44.jpg)

Introduction

Aspect pluridisciplinaire

![](Picture2.jpg)

Notes:

<!-- Slide number: 5 -->

![04 Tile](Picture44.jpg)

Lorganisation du flux dinformations

![](Picture2.jpg)

Notes:

<!-- Slide number: 6 -->

![04 Tile](Picture44.jpg)

Domaines dapplication

D tection dusage frauduleux de cartes bancaires.

Gestion du risque li lattribution de pr ts par le scoring.

Advertisement

D couverte de relations cach es entre les indicateurs financiers.

D tection de r gles de comportement boursier par lanalyses des donn es du march .

Utilisation du score de risque pour proposer le montant de cr dit le plus adapt chaque client.

Aide la d cision de paiement.

Identification des clients susceptibles de partir la concurrence.

![](Picture17.jpg)

Notes:

<!-- Slide number: 7 -->

![04 Tile](Picture44.jpg)

Domaines dapplication

D tection dassociations des comportements dachats.

D couverte des caract ristiques de clients.

Identification des clients susceptibles de partir la concurrence.

Classifications des clients.

Utilisation du score de risque pour proposer le montant de cr dit le plus adapt chaque client.

Aide la d cision de paiement.

![](Picture2.jpg)

Notes:

<!-- Slide number: 8 -->

![04 Tile](Picture44.jpg)

Domaines dapplication

D tection dassociations des demandes de remboursements,

Identification de clients potentiels de nouvelles polices dassurances.

D tection dassociation de comportements pour la d couverte de clients risque.

D tection de comportement frauduleux.

Faire monter en gamme un client que lon d tient d j .

![](Picture2.jpg)

Notes:

<!-- Slide number: 9 -->

![04 Tile](Picture44.jpg)

Domaines dapplication

Diagnostic assist par ordinateur (CAD) par lapprentissage de syst mes experts

Explication ou pr diction de la r ponse dun patient un traitement.

Mettre en vidence des facteurs de risque ou de r mission dans certaines maladies.

Choisir le traitement le plus appropri pronostic des infarctus et des cancers (d c s, survie).

Pr dire le temps de r tablissement apr s une op ration, en fonction des donn es concernant le patient ( ge, poids, taille, fumeur, m tier, ant c dents m dicaux&) et le praticien (nombre dop rations pratiqu es, nb dann es dexp rience&.).

![](Picture2.jpg)

Notes:

Advertisement

<!-- Slide number: 10 -->

![04 Tile](Picture44.jpg)

Pr paration des donn es

1- Donn es existantes ou constituer :

" Fichiers : information contenue dans un ou plusieurs fichiers ind pendants.

" BD relationnelles : information contenue dans plusieurs fichiers unis par une cl .

" Base de donn es Transactionnelles.

2- Nettoyage :

" Doublons, erreurs de saisie, valeurs aberrantes.

" Donn es manquantes, informations manquantes (ignorer lobservation, la remplacer par la valeur moyenne, valeur moyenne sur la classe, r gression&).

3- Data Warehouses :

Entrep t de donn es collect es de sources multiples souvent h t rog nes.

" Les donn es sont enregistr es, nettoy es, transform es et int gr es.

" Habituellement mod lis par une structure de donn e multidimensionnelles (cube). Les cubes sont bien adapt s aux requ tes rapides et lanalyse des donn es : On-Line Analytical Processing (OLAP).

Notes:

<!-- Slide number: 11 -->

![04 Tile](Picture44.jpg)

M thodologies de travail

M thodologie 1 : KDD / ECD

Knowledge Discovery in Databases / Extraction de Connaissances partir de Donn es

" Un processus pour la fouille de donn es qui a bien r pondu aux besoins dentreprises, et qui est devenu rapidement tr s populaire.

" Des motifs valides, utiles et exploitables partir des grandes quantit s de donn es.

M thodologie 2 : SEMMA

Sample, Explore, Modify, Model, Assess

" LInstitut SAS d finit le data mining comme le processus utilis pour r v ler des informations pr cieuses et des relations complexes qui existent dans de grandes quantit s de donn es (BIG DATA, OPEN DATA).

" SAS divise la fouille de donn es en cinq tapes repr sent es par lacronyme SEMMA.

M thodologie 3 : CRISP-DM

CRoss-Industry Standard Process for Data Mining

" Une m thode mise l preuve sur le terrain permettant d'orienter les travaux de Data mining.

" Processus de data mining qui d crit une approche commun ment utilis e par les experts pour r soudre les probl mes qui se posent eux.

Notes:

<!-- Slide number: 12 -->

![04 Tile](Picture44.jpg)

M thodologies de travail

![](Picture2.jpg)

Notes:

<!-- Slide number: 13 -->

![04 Tile](Picture44.jpg)

Advertisement

M thodologies de travail

![](Picture2.jpg)

Notes:

<!-- Slide number: 14 -->

![04 Tile](Picture44.jpg)

M thodologies de travail

![](Picture3.jpg)

![](Picture2.jpg)

Notes:

<!-- Slide number: 15 -->

![04 Tile](Picture44.jpg)

M thodologies de travail : Exemple d taill

![](Picture4.jpg)

![](Picture5.jpg)

![](Picture6.jpg)

Notes:

<!-- Slide number: 16 -->

![](Picture2.jpg)

![](Picture3.jpg)

<!-- Slide number: 17 -->

![](Picture2.jpg)

<!-- Slide number: 18 -->

![](Picture2.jpg)

![](Picture4.jpg)

![](Picture6.jpg)

![](Picture5.jpg)

![](Picture7.jpg)

![](Picture8.jpg)

<!-- Slide number: 19 -->

![](Picture2.jpg)

![](Picture3.jpg)

<!-- Slide number: 20 -->

![04 Tile](Picture44.jpg)

Deux familles de techniques

![](Picture2.jpg)

Notes:

<!-- Slide number: 21 -->

![04 Tile](Picture44.jpg)

Advertisement

Deux familles de techniques

![](Picture2.jpg)

Notes:

<!-- Slide number: 22 -->

![04 Tile](Picture44.jpg)

Types dapplications

![](Picture2.jpg)

Notes:

<!-- Slide number: 23 -->

Machine Learning : Types dapprentissage

Le Machine Learning (apprentissage automatique) est une technologie essentielle de lintelligence artificielle.

Elle permet aux ordinateurs dapprendre de fa on autonome.

![04 Tile](Picture44.jpg)

![](Image1.jpg)

Notes:

<!-- Slide number: 24 -->

![04 Tile](Picture44.jpg)

M thodes Pr dictives = Apprentissage Supervis

Id e de lapprentissage supervis : Apprendre prendre des d cisions, effectuer une t che, partir d'exemples (Expert).

![](Picture9.jpg)

![](Picture5.jpg)

![](Picture7.jpg)

chien ou chat ?

chien

chat

Le deep learning fait r f rence une classe d'algorithmes d'apprentissage supervis : Ils sont bas s sur l'utilisation d'un type sp cifique de classificateurs : les r seaux de neurones

Notes:

<!-- Slide number: 25 -->

![04 Tile](Picture44.jpg)

M thodes Descriptives = Apprentissage Non Supervis

Id e de lapprentissage non supervis : lapprentissage par la machine se fait de fa on totalement autonome (Pas dExpert).

Des donn es sont communiqu es la machine sans lui fournir les exemples de r sultats attendus en sortie.

Lapprentissage par renforcement consiste laisser lalgorithme apprendre de ses propres erreurs afin dapprendre prendre les bonnes d cisions :

  • Si il se trompe, on p nalise,
  • Si il prend la bonne d cision, on r compense.

Notes: