Clustering par méthodes hiérarchiques et non-hierarchiques : analyse des données numériques

Cet article traite des méthodes de classification, ou clustering, appliquées à l’analyse de données numériques. Il s’adresse aux étudiants et chercheurs débutants en statistique ou en data science qui souhaitent comprendre comment regrouper des individus en classes homogènes à partir de données multivariées. Le clustering est une étape clé pour explorer, segmenter et interpréter des ensembles de données complexes sans étiquettes préalables.

La question

Le travail aborde le problème de regrouper un ensemble d’individus en classes homogènes, c’est-à-dire des groupes où les membres sont similaires entre eux et distincts des autres groupes. Cette question est importante car elle permet de découvrir des structures cachées dans les données, d’identifier des segments naturels, et de faciliter la prise de décision dans divers domaines comme le marketing, la sociologie ou la biologie. Le défi est de définir une méthode efficace et adaptée aux différents types de données numériques, et de mesurer la qualité des regroupements obtenus.

Concepts de base

Les données sont généralement organisées sous forme d’un tableau où les lignes représentent les individus et les colonnes les variables observées. Pour réaliser un clustering, il faut d’abord définir une mesure de similarité ou de distance entre individus, qui dépend du type de variables :

• Variables numériques (intervalles) : on standardise les variables (centrage et réduction) pour éviter que certaines dominent. La distance de Minkowski est souvent utilisée, avec des cas particuliers comme la distance de Manhattan (q=1) ou la distance Euclidienne (q=2).
• Variables binaires : on utilise des coefficients comme le coefficient d’appariement simple ou le coefficient de Jaccard, selon que les variables sont symétriques (ex : sexe) ou asymétriques (ex : test médical).
• Variables nominales : généralisation des variables binaires, on peut utiliser un matching simple ou transformer chaque modalité en variable binaire.
• Variables ordinales : on remplace les valeurs par leurs rangs, puis on traite ces rangs comme des variables numériques pour calculer des distances.

Lorsque les données comportent plusieurs types de variables, on combine les distances par une formule pondérée adaptée à chaque type.

Un bon clustering est caractérisé par une forte similarité à l’intérieur des classes (within) et une faible similarité entre les classes (between). La qualité d’un regroupement dépend donc de la mesure de similarité choisie et de la méthode d’implémentation.

Approche

Deux grandes familles de méthodes de clustering sont présentées :

• Méthodes non hiérarchiques : elles construisent directement une partition en k classes. Parmi elles, les centres mobiles ou nuées dynamiques (k-means) sont les plus courantes. Ces méthodes nécessitent de fixer à l’avance le nombre de classes. L’algorithme k-means fonctionne par itérations : on choisit initialement k centres, on affecte chaque individu au centre le plus proche, puis on recalcul les centres comme barycentres des classes, et on répète jusqu’à convergence.
• Méthodes hiérarchiques : elles construisent une hiérarchie de regroupements par fusion successive. La classification ascendante hiérarchique (CAH) commence par considérer chaque individu comme une classe, puis fusionne itérativement les deux classes les plus proches selon un critère d’agrégation, jusqu’à obtenir une seule classe englobante. Le résultat est un dendrogramme représentant la hiérarchie des partitions.

Pour évaluer la qualité d’une partition, on utilise des critères comme l’inertie intra-classe (within) et l’inertie inter-classe (between). La meilleure partition minimise l’inertie within ou maximise l’inertie between. Cependant, ce critère ne permet pas de comparer des partitions avec des nombres différents de classes.

Résultats

Le travail montre que :

• Les méthodes non hiérarchiques, notamment k-means, sont adaptées aux grands ensembles de données mais nécessitent de fixer le nombre de classes à l’avance.
• Les méthodes hiérarchiques permettent d’obtenir une structure complète de regroupements, visualisable sous forme de dendrogramme, et offrent la possibilité de choisir le nombre de classes en tronquant l’arbre à différents niveaux.
• La mesure de distance choisie a un impact majeur sur la qualité du clustering, et il est crucial d’adapter la mesure au type de variables.
• La standardisation des variables numériques est indispensable pour éviter que certaines variables dominent le calcul des distances.
• Les méthodes présentées sont implémentées dans des outils statistiques comme R, avec des fonctions dédiées telles que kmeans() pour les nuées dynamiques et hclust() pour la classification hiérarchique.

Limitations et questions ouvertes

Le travail souligne plusieurs limites :

• Le choix du nombre de classes k dans les méthodes non hiérarchiques est arbitraire et peut influencer fortement les résultats.
• Les critères d’évaluation comme l’inertie ne permettent pas de comparer des partitions avec des nombres différents de classes, ce qui complique la sélection optimale.
• La combinaison de variables de types différents pose des défis pour définir une mesure de distance cohérente et équilibrée.
• Les méthodes hiérarchiques peuvent être coûteuses en temps de calcul pour des très grands ensembles de données.

Glossaire

• Clustering (classification) : regroupement d’individus en classes homogènes selon leurs caractéristiques.
• Distance de Minkowski : mesure de distance généralisée entre deux points, paramétrée par un entier q.
• Distance de Manhattan : cas particulier de la distance de Minkowski avec q=1, somme des distances absolues.
• Distance Euclidienne : cas particulier de la distance de Minkowski avec q=2, racine carrée de la somme des carrés des différences.
• Variables binaires : variables prenant deux modalités (0 ou 1), symétriques ou asymétriques selon leur signification.
• Coefficient de Jaccard : mesure de similarité pour variables binaires asymétriques.
• Variables nominales : variables catégorielles sans ordre (ex : couleur).
• Variables ordinales : variables avec un ordre naturel entre modalités.
• Inertie within (intra-classe) : mesure de la dispersion des individus à l’intérieur d’une même classe.
• Inertie between (inter-classe) : mesure de la dispersion entre les centres des différentes classes.
• Nuées dynamiques (k-means) : méthode non hiérarchique de clustering basée sur la minimisation de l’inertie intra-classe.
• Classification ascendante hiérarchique (CAH) : méthode hiérarchique construisant un dendrogramme par fusion successive des classes les plus proches.
• Dendrogramme : représentation arborescente des regroupements successifs dans une classification hiérarchique.