Clustering par méthodes hiérarchiques et non-hierarchiques : analyse des données numériques
Clustering par méthodes hiérarchiques et non-hierarchiques : analyse des données numériques
Programming, Math, etc. · textbook
Voir tous les documents en intelligence artificielle et données
Fiche de révisionExplication
Rédigée à partir de ce document, puis vérifiée avant publication.
Cet article traite des méthodes de classification, ou clustering, appliquées à l’analyse de données numériques. Il s’adresse aux étudiants et chercheurs débutants en statistique ou en data science qui souhaitent comprendre comment regrouper des individus en classes homogènes à partir de données multivariées. Le clustering est une étape clé pour explorer, segmenter et interpréter des ensembles de données complexes sans étiquettes préalables.
Le travail aborde le problème de regrouper un ensemble d’individus en classes homogènes, c’est-à-dire des groupes où les membres sont similaires entre eux et distincts des autres groupes. Cette question est importante car elle permet de découvrir des structures cachées dans les données, d’identifier des segments naturels, et de faciliter la prise de décision dans divers domaines comme le marketing, la sociologie ou la biologie. Le défi est de définir une méthode efficace et adaptée aux différents types de données numériques, et de mesurer la qualité des regroupements obtenus.
Les données sont généralement organisées sous forme d’un tableau où les lignes représentent les individus et les colonnes les variables observées. Pour réaliser un clustering, il faut d’abord définir une mesure de similarité ou de distance entre individus, qui dépend du type de variables :
Lorsque les données comportent plusieurs types de variables, on combine les distances par une formule pondérée adaptée à chaque type.
Un bon clustering est caractérisé par une forte similarité à l’intérieur des classes (within) et une faible similarité entre les classes (between). La qualité d’un regroupement dépend donc de la mesure de similarité choisie et de la méthode d’implémentation.
Deux grandes familles de méthodes de clustering sont présentées :
Pour évaluer la qualité d’une partition, on utilise des critères comme l’inertie intra-classe (within) et l’inertie inter-classe (between). La meilleure partition minimise l’inertie within ou maximise l’inertie between. Cependant, ce critère ne permet pas de comparer des partitions avec des nombres différents de classes.
Le travail montre que :
Le travail souligne plusieurs limites :