Machine Learning
Deep Learning
MAST RE PROFESSIONNEL
EN LOGICIELS LIBRES - MP2L
Amel Borgi
1
PLAN DU COURS
n Chap 1 : Introduction
n Chap 2 : Notions de base
n Chap 3 : Apprentissage supervis
Approches num riques
Les arbres de d cisions
n Chap 4 : Apprentissage non supervis
K-means
Les r gles dassociation
n Chap 5 : Les r seaux de neurones Deep
learning
2
2
Chap 1 :
Introduction
3
PLAN : Introduction
n Quest ce que lIntelligence Artificielle ?
D finitions, Probl matique
Les diff rentes approches de lIA
Les grands domaines de lIA
n Quest ce que lApprentissage Artificiel ?
Exemples introductifs
D finitions, Probl matique
Les donn es - LExtraction de
Connaissances partir de Donn es
Applications
4
4
Quest ce que
lIntelligence Artificielle ?
5
5
D finition de lIA
Ils ont dit
n " ... the science of making machines do things that would
require intelligence if done by humans" - Marvin Minsky
(1968)
n "AI is the part of computer science concerned with designing
intelligent computer systems" -E. Feigenbaum (1982)
n Systems that can demonstrate human-like reasoning
capability to enhance the quality of life and improve business
competitiveness - Japan-Singapore AI Centre (1994)
(cid:1) Plusieurs points de vue
6
6
D finir lIA : une tentative
Lintelligence artificielle a pour but de faire
ex cuter par lordinateur des t ches pour
lesquelles lhomme, dans un contexte donn , est
aujourdhui meilleur que la machine.
J.-M. Alliot, T. Schiex
P. Brisset, F. Garcia
7
Suivant le point de vue on pourrait donner des d finitions diff rentes de lIA.
La d finition ci-dessus est adopt e par de nombreux auteurs et englobe peu
pr s les d finitions pragmatistes (syst mes manifestant les m mes sympt mes
dintelligence que lhomme) et cognitives (mod lisation aussi fid le que possible
du raisonnement humain).
7
Exemples de probl mes
trait s par lIA
n Comment interpr ter les sympt mes de mon patient ?
n Est-ce le moment de vendre mes actions Tunis Air ?
n Dois-je prot ger ma tour ou bien prendre son cavalier ?
n Comment identifier un objet dans une image ?
n Comment reconna tre une personne dans une vid o ?
n quelle heure dois-je me lever pour tre en cours 8h ?
n Puis-je encore optimiser mon emploi du temps ?
n Est-ce que cet tudiant peut faire un bon Mast re ?
n Puis-je crire un r sum de 100 lignes de cet article ?
n La traduction de ce po me est-elle bonne ?
n Quel film me conseillez-vous ?
8
8
Les diff rentes approches de lIA
On distingue deux conceptions relativement
diff rentes :
Approche cognitive : plus proche des sciences
humaines.
LIA est la r alisation de programmes imitant dans
leur fonctionnement lesprit humain.
Approche pragmatiste : plus proche des sciences
de ling nieur.
LIA permet dam liorer notre capacit programmer
efficacement un ordinateur.
9
On peut dire quactuellement deux conceptions relativement diff rentes de lIA se
sont d gag es, lune plus proche des sciences humaines et de la psychologie,
lautre qui consid re davantage lIA comme une science de ling nieur.
Approche Cognitive : proche de la psychologie, revient la mode (apr s ses
heures de gloire dans les ann es 70). Approche pluridisciplinaire : linguistes,
informaticiens, psychologues. L tude des processus des raisonnement humains
est une fin en soi. Cette approche est g n ralement utilis e face des
probl mes trop complexes pour tre abord s par dautres voies. Ses principaux
d fenseurs sont les sp cialistes de le compr hension du langage naturel.
Approche pragmatiste : Pour un pragmatiste, une IA peut tre consid r e
comme une bo te noire o rentreraient dun c t les donn es du probl me et
sortiraient de lautre les r sultats, sans se pr occuper de ce qui se passe dans la
bo te. La bo te est intelligente partir du moment o elle r ussit un certain
nombre de tests, qui r ussis par un humain permettrait de dire quil est intelligent.
9
Les diff rentes approches de lIA
n Lapproche connexioniste
En marge des autres approches
Mod lisation tr s grossi re, tr s imparfaite et
tr s r ductrice du fonctionnement des
neurones du cerveau humain.
10
10
Situer lIA
Math matique
B.D.
Proba & stat
Intelligence
Artificielle
Logique
G nie Logiciel
Sc. Cognitives
Informatique
Sc. Humaines
11
11
Probl mes typiques dIA
n Les probl mes sp cifiables et difficiles
Le probl me du voyageur de commerce
Les checs
n Probl mes recouvrant un domaine pr cis
Syst mes experts
Syst mes daide la d cision
n Autres domaines li s lIA
R solution de probl mes de fa on g n rale
Compr hension du langage naturel
Apprentissage
Reconnaissance de sc nes visuelles
Robots &
12
Il est tout aussi difficile de donner une liste exhaustive des probl mes adress s par lIA
quil est difficile den donner une d finition.
R solution de probl mes : la solution peut tre repr sent e par un cheminement
Publicité
travers un ensemble d tats, partir de conditions initiales. Il sagit donc de trouver les
tats interm diaires. Lobjectif est de parvenir un but avec le moins dop rations
possibles, dans des situations o le nombre d tats est extr mement grand et o il est
exclu dexplorer syst matiquement toutes les solutions.
Traitement du langage naturel : traiter le langage naturel est difficile, par exemple un
texte en langage naturel pr suppose des connaissances non explicit es dans le texte
(connaissances s mantiques ou pragmatiques).
Ex : Le professeur envoie l l ve chez le surveillant, parce quil a lanc des boulettes ,
pas de doute sur le il car on conna t le contexte scolaire, ce sont des connaissances
li es la culture. On aurait pu envisager des variantes : parce quil est exc d , pour
quil le punisse ou il renvoie au professeur puis au surveillant.
Ce cours MP2L portera sur lApprentissage.
12
Grands domaines de l'IA
n Reconnaissance et synth se de la parole (ex: r servation dh tel)
n Reconnaissance et synth se d'images (ex. recherche dinfo)
n Reconnaissance de l' criture (ex: reconnaissance ch ques, codes
postaux)
n Langage naturel (ex: interfaces, text mining, Web Mining)
n Planification (ex: Partage ressource satellite)
n Aide la d cision (ex: Syst me Embarqu s temps r els et
autonome : contr le de trajectoire du satellite Voyage)
n Aide la programmation (ex: agents dinterface)
n Apprentissage (ex: syst mes daide la d cision, classification
automatique de galaxies, pr diction de patients risques, analyse
automatique dimages m dicales...)
n Jeux (ex: Echecs (DeeperBlue), Checkers (Champion), Othello
(Champion), BackGammon (champion), GO (bon amateur).
13
On parle dApprentissage Artificiel ou Automatique : Machine Learning
13
Quest ce que
lApprentissage Artificiel ou
Machine Learning ?
14
14
Exemple introductif
Pr t Bancaire
n Objectif des banques : r duire
le risque des pr ts bancaires.
n Cr er un mod le partir de
caract ristiques des clients pour
discriminer les clients risque
des autres
15
Un client vient demander un cr dit une banque. Le banquier cherche savoir sil va
rembourser le cr dit ou pas (pour savoir sil doit accorder le cr dit ou pas).
Le client ne dira jamais quil ne va pas rembourser, mais le banquier peut inf rer sur le
comportement futur du client partir des informations signal tiques dont il dispose.
Pour inf rer, le banquier sappuie souvent :
- sur ses connaissances (lectures, tudes, ..)
- sur son exp rience (anciens clients, autres banques, &)
Or la banque poss de galement sa propre exp rience : la BD de ses anciens clients
(sur chacun deux on conna t les informations signal tiques, mais aussi le terme du pr t,
savoir a-t-il rembours enti rement le cr dit ou non).
On dispose donc dun historique de pr ts accord s avec la situation personnelle du
demandeur et le r sultat du pr t. Un syst me dapprentissage doit alors, partir de cet
ensemble dexemples extraire une proc dure qui, au vu de la situation personnelle dun
client, devra d cider de lattribution du pr t.
15
Exemple introductif
Exemples dinformation demand es
au client pour laccord dun pr t :
n Divorc
n 6 enfants
n Compte d couvert
n Ch meur
n Pas de biens immobiliers
16
16
Exemple introductif
n Un biologiste tudie la forme des diff rents
types diris. Il voudrait trouver un lien entre la
forme et lesp ce.
Sepal
length
Sepal
width
Petal
length
Petal
width
Iris type
5.4
4.6
6.1
7.7
3.9
3.4
2.9
3.0
1.7
1.4
4.7
6.1
0.4
0.3
1.4
2.3
Setosa
Setosa
Versicolour
Virginica
Mod le
pr dictif
17
A partir de donn es repr sent es dans une table, on cherche pr dire le mieux
possible la valeur dun des attributs (classe ou label) en fonction des autres.
Les donn es consid r es ici correspondent au benchmark classique, tr s tudi
en apprentissage : les Iris de Fisher.
Ces fleurs sont d crites par 4 attributs num riques, ainsi que par le type dIris
(cest la classe pr dire).
Vous pourrez trouver ces donn es sur le site de lUCI :
https://archive.ics.uci.edu/ml/datasets/iris
Vous pouvez notamment y trouver le descriptif de ces donn es. Voici un extrait
de ce descriptif :
5. Number of Instances: 150 (50 in each of three classes)
6. Number of Attributes: 4 numeric, predictive attributes and the class
7. Attribute Information:
1. sepal length in cm
2. sepal width in cm
3. petal length in cm
4. petal width in cm
5. class:
-- Iris Setosa
-- Iris Versicolour
-- Iris Virginica
17
Exemple introductif
Variables
explicatives
Variable expliquer
ou classe
Sepal
length
Sepal
width
Petal
length
Petal
width
Iris type
5.4
4.6
6.1
Publicité
7.7
3.9
3.4
2.9
3.0
1.7
1.4
4.7
6.1
0.4
0.3
1.4
2.3
Setosa
Setosa
Versicolour
Virginica
Exemples
Mod le
pr dictif
18
Les individus ou observations (lignes de la table) sont des exemples
dapprentissage ou des instances.
Ces exemples sont d crits par des variables explicatives et par leur classe
(variable expliquer)
A partir de ces donn es, on cherche construire un mod le pr dictif.
Une fois construit, ce mod le permettra de pr dire la classe inconnue (ici le type
dIris) dune nouvelle observation (une fleur dIris) d crite uniquement par ses
variables explicatives (ici par les valeurs des 4 attributs : sepal length, sepal
width, petal length et petal width).
Le mod le construit peut prendre diff rentes formes selon lalgorithme
dapprentissage utilis . Il peut prendre la forme dune base de r gles, dun arbre
de d cision, dune fonction discriminante dans lespace des donn es &
18
Exemple introductif
Un patient d crit par un ensemble
dattributs : ge, sexe, pression sanguine, ...
la classe : attribut binaire concluant ou
non laffection du patient par une
maladie
apprentissage automatique : apprendre
des r gles de classification partir dun
ensemble de descriptions de patients.
19
19
Exemple introductif
Les r gles dassociation
n Consiste d terminer les valeurs qui sont
associ es.
n Exemple type : d termination des articles qui se
retrouvent ensemble sur un m me ticket de
supermarch
Int ressant pour identifier des opportunit s
de vente crois e et concevoir des
groupements attractifs de produit.
N cessite de tr s grands jeux de donn es
20
Les r gles d'association (exemple de lanalyse du panier de la m nag re) : lobjectif est
de d terminer les valeurs qui sont associ es. L'exemple type est la d termination des
articles (les p tes et le concentr de tomates, les olives et lharissa, ...) qui se retrouvent
ensemble sur un m me ticket de supermarch . Cette t che peut tre effectu e pour
identifier des opportunit s de vente crois e et concevoir des groupements attractifs de
produit. C'est une des t ches qui n cessite de tr s grands jeux de donn es pour tre
effective.
Ici, contrairement aux exemples pr c dents, il ny a pas de classe pr dire. On cherche
d terminer quels sont les attributs (les produits) qui sont li s (souvent achet s en
m me temps).
20
Apprendre pour quoi faire ?
Recherche de r gularit s sous-jacentes
aux donn es dobservation
n Pour comprendre et expliquer
n Pour pr dire et d cider
21
21
Apprentissage Artificiel Machine
Learning :
les r gularit s sont automatiquement
extraites partir dun ensemble de donn es
Syst me d'apprentissage :
o Extrait tout seul l'expertise / la connaissance partir de
donn es
o D couvre de nouvelles connaissances
o Organise les donn es / propose une meilleure
repr sentation
22
22
Comment d finir lapprentissage ?
n La d finition classique de lapprentissage en
sciences cognitives est capacit
am liorer les performances au fur et
mesure de lexercice dune activit
23
Lapprentissage correspond une probl matique ancienne abord e dans de
nombreux domaines : Psychologie, Statistique, Didactique, Intelligence
Artificielle, ...
Nous nous int ressons lapprentissage artificiel, celui des machines.
23
Comment d finir lapprentissage ?
n Learning is any change in a system that allows it to
perform better the second time on repetition of the same
task or another task drawn from the same population
n Learning is the organization of experience
n Learning is constructing or modifying representations of
what is being experienced
24
Donner une d finition pr cise de lapprentissage artificiel reste un probl me
difficile et d licat, car il recouvre diff rentes t ches, il peut avoir diff rents
objectifs et il correspond diff rents algorithmes.
Lapprentissage je sais ce que cest tant quon ne me demande pas de le
d finir
S. Boucheron (1992)
24
D finir lapprentissage : une
tentative
En IA, lapprentissage (automatique) ou Machine
Learning correspond une caract ristique des
machines :
leur capacit organiser, construire et
g n raliser des connaissances pour une
utilisation ult rieure
leur capacit tirer profit de lexp rience
pour am liorer la r solution dun probl me
25
25
Apprentissage Artificiel :
Pourquoi?
Comprendre et analyser les donn es
Augmentation du volume des donn es
Dimension lev des donn es
Autonomie, capacit dadaptation
Aide la d cision, Pr diction
Difficult de la prise dexpertise dans les
Syst mes Experts
Mimer la capacit de lhomme apprendre
26
26
C'est quoi la science de
l'apprentissage artificiel ?
Publicité
n On tudie les apprentissages :
naturels
artificiels
ASIMO
Advanced Step in
Innovative MObility
27
Parmi les objectifs de lapprentissage artificiel figure celui de la simulation via la
construction de mod les du ph nom ne naturel de lapprentissage humain.
D s sa naissance, un enfant append reconna tre lodeur de sa m re, puis sa voix, il
apprend marcher, il apprend la structure de sa langue naturelle, segmenter et
cat goriser des sons puis les associer des significations, puis lire, crire, il apprend
organiser des connaissances sur le monde qui lentoure,&
ASIMO est un robot humano de d velopp par Honda. Asimo est lacronyme de
Advanced Step in Innovative MObility . La conception de ce robot est tourn e vers un
but utilitaire. terme, Asimo devra pouvoir venir en aide aux personnes handicap es,
g es ou malades. Il pourra aussi effectuer des t ches dangereuses pour les humains.
27
C'est quoi la science de
l'apprentissage artificiel ?
n On tudie les apprentissages :
naturels
artificiels
n des th ories
(s'appliquant tout syst me apprenant)
n des m thodes et des algorithmes
d'apprentissage
(impl mentables sur machines)
28
28
Tendances de lapprentissage
automatique
Les algorithmes dapprentissage peuvent diff rer par
le type de donn es utilis es et de connaissances
produites , leur repr sentation et leurs strat gies
dapprentissage.
Exemples :
les arbres de d cision,
les r gles de production,
les formalismes logiques,
les r seaux,
les graphes, ...
29
29
Les donn es
n Les donn es dapprentissage, utilis es en
entr e dun syst me dapprentissage,
peuvent tre de diff rents types.
n On distingue les donn es :
Vectorielles
S quences
Structures
Temporelles
Spatiales
30
30
Les donn es
n Vectorielles
n S quences
n Structures
n Temporelles
n Spatiales
(classe)
31
31
Les donn es
S quence g n tique
n Vectorielles
n S quences
n Structures
n Temporelles
n Spatiales
32
32
Les donn es
n Vectorielles
n S quences
n Structures
n Temporelles
n Spatiales
33
33
Les donn es
n Vectorielles
n S quences
n Structures
n Temporelles
n Spatiales
34
34
Les donn es
n Vectorielles
n S quences
n Structures
n Temporelles
n Spatiales
35
35
LExtraction de Connaissances partir de
Donn es (ECD - KDD : Knowledge
Discovery in Data Bases)
Connaissances
R gles
Formalisme logique
Graphes ...
Donn es pr trait es
Donn es
s lectionn es
Base de donn es
S lection
des donn es
Pr -traitement
Transformation
des attributs
Fouille
de donn es
(Data Mining)
Interpr tation
Evaluation
36
LECD est un domaine de recherche en pleine expansion qui r pond au besoin
dexploiter une quantit de donn es chaque jour plus importante , notamment avec
la g n ralisation dinternet, en fournissant des mod les interp tables.
Il est lintersection de plusieurs disciplines comme lapprentissage automatique, la
reconnaissance de formes, les statistiques ou encore les bases de donn es
LECD se r f re une d marche compl te dexploitation de donn es, elle int gre les
tapes suivantes :
0 - Acquisition des donn es (BD souvent h t rog nes et distribu es)
1- la s lection des donn es via les serveurs de bases de donn es ( chantillonnage)
2 - le pr traitement ou la pr paration des donn es ( limination du bruit, donn es
manquantes ,atypiques, recodage des variables,..), s lection des attributs pertinents,
la transformation des attributs.
3 - application dun op rateur de fouille de donn es. Cet op rateur va permettre de
mettre en vidence les formes sous jacentes qui structurent les observations. Il va
produire des mod les explicatifs ou pr dictifs. Le r sultat dun tel op rateur peut
sexprimer sous diff rentes formes, (r gles dassociation, fct de classement, graphes
de d cision..), selon la m thode adopt e.
4- interpr tation des formes extraites et validation. Lobjectif est de produire de la
connaissance sur le domaine, il est important de sassurer que les conclusions
mises correspondent des m canismes r els.
Ce processus nest pas rigide, il arrive souvent que lon boucle diff rents endroits
lorsque certaines sp cifications se r v lent insuffisantes.
36
LExtraction de Connaissances partir de
Donn es (ECD - KDD : Knowledge
Publicité
Discovery in Data Bases)
Connaissances
R gles
Formalisme logique
Graphes ...
Donn es pr trait es
Donn es
s lectionn es
Apprentissage
Base de donn es
S lection
des donn es
Pr -traitement
Transformation
des attributs
Fouille
de donn es
(Data Mining)
Interpr tation
Evaluation
37
37
Applications
38
38
Applications
n Reconnaissance de la parole, de l criture, de
lidentit (biom trie)
n Assistance des experts dans
la prise de d cision
Analyse des march s financiers
Diagnostics m dicaux &
39
Reconnaissances de formes
Un programme de reconnaissance de la parole augmente ses performances au
fur et mesure de son utilisation par la m me personne : cest une exp rience
quil est aujourdhui facile de faire si on ach te un logiciel personnel de dict e
vocale.
Il faut distinguer deux reconnaissances distinctes de l' criture manuscrite, avec
des probl matiques et des solutions diff rentes :
- la reconnaissance en-ligne ;
- la reconnaissance hors-ligne.
Diff rentes applications de la reconnaissance de l criture manuscrite : code/ tri
postal, traitement automatique des ch que, Identification de signature
39
Applications
n Apprendre mieux jouer
S'adapter l'adversaire
Ne pas r p ter ses fautes
Apprendre jouer en quipe ( quipes de robots)
n Robotique
exploration spatiale
d marche humaine
(ASIMO)
&
CURIOSITY
40
40
Applications
n Analyse automatique dimages.
D tection de zones de pollution
sur images satellitaires
Reconnaissance de visages, &
n Internet
n Bio informatique
n Apprendre faire des r sum s
n Fouilles dimmenses bases
de donn es : Data Mining
n &
n Big Data
41
Internet : e-commerce, S curit (d tection dintrusion,&)
Web Mining : fouille de donn es du Web. Moteurs de recherche sur le Web :, apprendre
les pr f rences d'un utilisateur, profil utilisateur, &
Probl matique du profil utilisateur tr s g n rale en Marketing : tablir un profil client,
mailing, pour des publicit s cibl es &
D couverte scientifique : D couverte de r gularit s (en biochimie, &)
Bioinformatique : Analyse du g nome, mise au point de m dicaments,...
41
Bibliographie
n Ouvrage de r f rence :
A. Cornu jols et L. Miclet.
Apprentissage artificiel
Deep learning, concepts et algorithmes
Eyrolles, 2018.
42
42
Bibliographie
n D. W. Aha, D. Kibler, M. K. Albert. Instance-based learning
algorithms. Machine Learning, 6, 37-66,1991.
n L. Breiman, J.H. Friedman, R.A. Olshen, C. J. Stone.
Classification and regression trees. Chapman and Hall, 1984.
n J. G. Carbonell, R. S. Michalski, T. M. Mitchell. An
Overview of Machine Learning. Machine Learning : an Artificial
Intelligence Approach, ch. 1, pp 3-23, CA, Morgan Kaufman, 1986.
n A. Cornu jols et L. Miclet. Apprentissage
artificiel, Deep learning, concepts et algorithmes Eyrolles, 2018.
n T.M. Cover, P. E. Hart. Nearest Neighbor Pattern
Classification. IEEE Trans. Infor. Theory, Vol. IT-13, No. 1, 1967.
n : G. dreyfus, J. mertinez, M. Samuelides, M. Gordon,
F. Badran, S. Thiria et L. H rault, R seaux de neurones, Eyrolles 2002.
n : Jean-Claude Heudin, Comprendre le DEEP LEARNING,
Une introduction aux r seaux de neurones. Auto- dition, 2016.
43
43
Bibliographie
n Y. Kodratoff et E. Diday. Pr ambule : Approche
Symbolique et Approche Num rique. Induction Symbolique et
Num rique partir de Donn es, Vol. 1, pp 3-7. C padu s, 1991.
n R.S. Michalski, S. Ryszard. A theory and
methodology of inductive learning. Machine Learning : An Artificial
Intelligence Approach, Vol I, 83-134. Morgan Kaufman Publishers, 1983.
n R.S. Michalski. Understanding The Nature of Learning :
Issues and Research Directions. Machine Learning, An Artificial
Intelligence Approach, Volume II, Morgan Kaufman Publishers, 1986
n : T. Mitchell, Generlization as search, Artificiel Intelligence,
18:203-226, 1982.
n T.M. Mitchell. Machine Learning. New York, Mc Graw Hill,
1997.
n J. R. Quinlan. Induction of Decision Trees. Machine
Learning, Vol. 1, 82-106, Kluwer Academic Publishers,1986.
44
44
Bibliographie
n J. R. Quinlan. C4.5 : Programs for Machine Learning.
Morgan Kaufman, 1993.
n G. Saporta. Probabilit s, Analyse des donn es et
Statistique. Editions Technip Paris, deuxi me dition, 2006.
n H. A. Simon. Why Should Machines Learn? Machine
Learning : an Artificial Intelligence Approach. Vol. 1, p25 - 37,
Springer-Verlag. 1984
n S. Tuffery. Data Mining et statistique d cisionnelle.
Edition Technip, 2010.
n : V. Vapnik. The nature of statistical learning theory,
Springer-Verlag, 1995
n J. Verducci. Statistical Analysis and Data Mining.
Wiley, 2012.
n Witten, I.H. & Frank, E., 2016. Data mining:
Practical machine learning tools and techniques. Morgan
Kaufmann
45
45