M2 - MP2L
Machine Deep Learning
Arbres de décision
Exercice : Exemple de Quinlan – algorithme ID3
Nous reprenons l’exemple de Quinlan dont l'échantillon est constitué de 8 exemples répartis
entre 2 classes : la classe + et la classe -.
Chaque individu est décrit par 3 attributs :
- Taille (noté T) à valeurs dans {petit, grand}
- Cheveux (noté Ch) à valeurs dans {noir, roux, blond}
- Yeux (noté Y) à valeurs dans {bleu, brun}
num T : Taille Ch : Cheveux Y : Yeux Classe
1 Petit
2 grand
3 grand
4 Petit
5 grand
6 grand
7 grand
Advertisement
8 Petit
blond
blond
roux
noir
noir
blond
noir
blond
bleu
brun
bleu
bleu
bleu
bleu
brun
Advertisement
brun
+
-
+
-
-
+
-
-
1. A partir de ces données, construisez l'arbre de décision en utilisant la fonction gain basée
sur l'entropie de Shannon. Vous indiquerez la valeur d’entropie de chaque nœud, et le gain
d’information
attribut.
Sur l’arbre, vous indiquerez à côté de chaque nœud le nombre d’individus de chaque
classe. Le critère d’arrêt de construction de l’arbre est l’obtention de nœuds homogènes.
2. Rappelez la définition de l’erreur empirique en apprentissage supervisé. Calculez cette
Advertisement
chaque
obtenu
choix
par
de
le
erreur pour l’arbre de décision que vous avez construit.
3. Rappelez la définition de l’erreur de prédiction en apprentissage supervisé. Estimez ce
taux d’erreur sur l'ensemble test T (schéma apprentissage-validation).
num T : Taille Ch : Cheveux Y : Yeux Classe
9 grand
10 Petit
11 Petit
12 Petit
blond
blond
Advertisement
roux
noir
bleu
brun
brun
brun
+
+
+
-
1/1