Aller au contenu

Classification Supervisée (par Apprentissage)

Classification supervisée par apprentissage La classification supervisée par apprentissage est une méthode qui permet de classifier des individus en utilisant des exemples préalablement étiquetés.

D'après le document Classification Supervisée (par Apprentissage)

Cet article a été rédigé automatiquement à partir du document source, puis vérifié avant publication.

Document source

Classification Supervisée (par Apprentissage)

Machine Learning, Decision Trees · PDF · 5 pages

Afficher l'aperçu du document

Consulter le document original →

Classification supervisée par apprentissage

La classification supervisée par apprentissage est une méthode qui permet de classifier des individus en utilisant des exemples préalablement étiquetés. Cette approche se distingue des systèmes experts traditionnels en ce qu'elle extrait automatiquement des règles de classification à partir d'un ensemble d'exemples, plutôt que de s'appuyer sur des connaissances d'experts. Dans cet article, nous explorerons les arbres de décision, leur fonctionnement, ainsi que les algorithmes associés tels que CART et ID3.

Les arbres de décision

Les arbres de décision sont des structures graphiques qui représentent des procédures de classification. Ils sont particulièrement utiles car ils permettent une interprétation facile des décisions prises. Chaque nœud interne de l'arbre représente un test sur un attribut, tandis que les feuilles représentent les classes de sortie.

Exemple d'arbre de décision

Considérons un exemple où nous classifions des patients en deux catégories : malade et bien portant. Les attributs utilisés pour la classification sont la température (valeurs décimales) et la gorge irritée (attribut logique). Un arbre de décision pourrait être construit comme suit :

SI Température < 37,5 ET gorge irritée ALORS malade
SI Température < 37,5 ET NON(gorge irritée) ALORS bien portant
SI NON(Température < 37,5) ALORS malade

Dans cet exemple, un patient ayant une température de 39 et une gorge non irritée serait classé comme malade.

Fonctionnement des algorithmes d'apprentissage par arbres de décision

Les algorithmes d'apprentissage par arbres de décision fonctionnent en divisant récursivement les exemples d'apprentissage à l'aide de tests basés sur les attributs. L'objectif est de créer des sous-ensembles d'exemples qui contiennent principalement des exemples d'une même classe.

Critères de décision

Pour décider si un nœud doit être terminal, plusieurs critères peuvent être utilisés, tels que :

  • Si tous les exemples appartiennent à la même classe.
  • Si le nombre d'exemples est inférieur à un seuil donné.

Une fois qu'un nœud est décidé comme non terminal, un test doit être sélectionné. Les choix de tests peuvent être basés sur des critères statistiques ou même aléatoires.

Mesure de la pureté des nœuds

Pour évaluer la qualité des tests, des fonctions telles que l'entropie et la fonction de Gini sont utilisées. Ces fonctions mesurent le degré de mélange des classes dans un nœud donné.

Par exemple, l'entropie est définie par :

Entropie(p) = -Σ P(k/p) × log(P(k/p))

où P(k/p) est la proportion d'éléments de la classe k à la position p.

Les algorithmes CART et ID3

Les algorithmes CART (Classification and Regression Trees) et ID3 (Iterative Dichotomiser 3) sont parmi les plus utilisés pour construire des arbres de décision. Ils diffèrent principalement par la manière dont ils choisissent les tests et les critères d'arrêt.

Algorithme CART

CART utilise la fonction de Gini pour mesurer la qualité des tests. L'algorithme construit l'arbre de manière binaire et peut également gérer des valeurs manquantes.

Algorithme ID3

ID3, quant à lui, utilise l'entropie pour choisir les tests. Il construit l'arbre de manière récursive et s'arrête lorsque tous les exemples d'un nœud appartiennent à la même classe ou lorsque les attributs sont épuisés.

Points clés à retenir

Voici les principaux points à retenir concernant la classification supervisée par apprentissage :

  • La classification supervisée utilise des exemples étiquetés pour créer des modèles prédictifs.
  • Les arbres de décision sont des outils graphiques permettant une interprétation facile des décisions.
  • Les algorithmes comme CART et ID3 sont essentiels pour construire des arbres de décision efficaces.
  • Des mesures de pureté comme l'entropie et la fonction de Gini sont utilisées pour évaluer la qualité des tests.

Questions fréquentes

Qu'est-ce que la classification supervisée par apprentissage ?

La classification supervisée par apprentissage est une méthode qui utilise des exemples préalablement étiquetés pour construire des modèles capables de classer de nouvelles données.

Comment fonctionne un arbre de décision ?

Un arbre de décision fonctionne en divisant les données en sous-ensembles basés sur des tests sur les attributs, jusqu'à ce que les sous-ensembles contiennent principalement des exemples d'une même classe.

Quelle est la différence entre l'entropie et la fonction de Gini ?

L'entropie mesure le degré de désordre dans un ensemble de données, tandis que la fonction de Gini mesure la pureté des nœuds dans un arbre de décision. Les deux sont utilisées pour évaluer la qualité des tests.

Quels sont les algorithmes d'apprentissage par arbres de décision ?

Les algorithmes d'apprentissage par arbres de décision incluent CART et ID3, qui diffèrent par leurs critères de sélection des tests et leurs méthodes de construction des arbres.

Pourquoi utiliser des arbres de décision ?

Les arbres de décision sont utilisés car ils sont faciles à interpréter, permettent de visualiser les décisions prises et sont efficaces pour classifier des données complexes.

Partager

Commentaires

Aucun commentaire pour le moment. Posez la première question.

Les commentaires sont relus avant publication. Votre e-mail n'est jamais affiché.

← Toutes les révisions