Segmentation de personnes dans les images et les vidéos

La segmentation de personnes dans les images et les vidéos est un domaine clé du traitement d’image, particulièrement utile pour les étudiants et chercheurs en vision par ordinateur, intelligence artificielle, robotique et multimédia. Cette étude porte sur la segmentation précise de personnes debout, un problème complexe en raison de la diversité des postures et apparences humaines. Elle présente deux méthodes originales, l’une automatique basée sur l’analyse de segments de contour, l’autre interactive utilisant des gabarits, adaptées aussi bien aux images fixes qu’aux séquences vidéo.

La question

Le travail aborde la problématique de la segmentation de personnes dans les images et vidéos, en se concentrant sur les silhouettes de personnes debout. Ce problème est important car la reconnaissance et l’isolation précises des individus dans une scène sont essentielles pour de nombreuses applications, telles que la vidéo-surveillance, l’assistance à la conduite, le comptage de personnes, les jeux vidéo interactifs, ou encore la robotique. La segmentation doit être robuste, rapide, et fonctionner avec des images de qualité variable, souvent issues de caméras amateurs ou de surveillance, sans nécessiter de dispositifs coûteux comme la stéréovision.

Le défi principal réside dans la variabilité des postures et apparences humaines, la complexité des arrière-plans, les occultations, ainsi que les contraintes de temps réel dans certaines applications. L’objectif est donc de développer des méthodes capables de segmenter automatiquement ou avec peu d’interaction des silhouettes humaines dans des conditions réalistes et contraignantes.

Concepts de base

Pour comprendre les méthodes proposées, il est nécessaire de maîtriser plusieurs concepts fondamentaux :

• Segmentation d’image : processus qui consiste à diviser une image en régions homogènes ou en objets distincts, ici pour isoler la silhouette humaine.
• Histogrammes de gradients orientés (HOG) : descripteurs visuels qui capturent la distribution des directions de contours locaux dans une image. Ils sont efficaces pour représenter la forme et la structure des objets, notamment des silhouettes humaines.
• Machines à vecteurs de support (SVM) : classifieurs supervisés qui apprennent à distinguer des classes (ici, segments de contour appartenant ou non à une silhouette humaine) à partir d’exemples d’apprentissage.
• Segments de contour : portions de contours détectés dans l’image, qui servent de base à la pré-segmentation. Chaque segment est évalué selon sa probabilité d’appartenir à une silhouette.
• Recherche de plus court chemin dans un graphe : méthode algorithmique pour trouver un chemin optimal reliant des segments de contour, permettant de reconstruire la silhouette complète.
• Coupe de graphe (graph cut) : technique de segmentation interactive qui modélise l’image sous forme de graphe où un découpage optimal sépare l’objet du fond, souvent guidée par des contraintes ou des gabarits.
• Gabarit non-binaire : modèle probabiliste représentant la silhouette humaine, où chaque pixel a une probabilité d’appartenir à la personne, permettant une segmentation plus souple et adaptée.
• Trimap : carte indiquant trois régions dans une image : objet certain, fond certain, et zone indéterminée, utilisée pour affiner la segmentation, notamment dans les vidéos.

Approche

La thèse présente deux méthodes principales :

• Méthode automatique basée sur la pré-segmentation et la recherche de chemin optimal :
  • Chaque segment de contour extrait de l’image est caractérisé par un descripteur HOG, évalué par un classifieur SVM pour estimer sa vraisemblance d’appartenance à une silhouette humaine.
  • Ces segments sont ensuite organisés en un graphe où les arcs représentent les affinités entre segments voisins, pondérées par ces probabilités.
  • La silhouette est reconstruite en recherchant le plus court chemin dans ce graphe, reliant des segments extrêmes, ce qui correspond à la frontière optimale de la personne.
  • Un processus itératif permet d’améliorer la segmentation en réévaluant les segments et affinant la silhouette obtenue.
  • Cette méthode est également étendue aux vidéos, où le flot optique est utilisé comme information supplémentaire pour guider la segmentation temporelle.
• Méthode interactive par coupe de graphe guidée par gabarit :
  • L’utilisateur intervient pour guider la segmentation via une coupe de graphe, où un gabarit non-binaire représentant la silhouette humaine sert de modèle probabiliste.
  • Un gabarit par parties est proposé pour s’adapter aux différentes postures de la personne, améliorant ainsi la précision.
  • Cette méthode interactive est adaptée à la segmentation d’images fixes et transposée à la segmentation vidéo, permettant aussi la génération automatique de trimaps.
  • Différents modes d’interaction sont étudiés, comme l’encadrement, les marqueurs, ou le pointage de sous-parties, pour rendre l’outil accessible même aux novices.

Résultats

Les deux méthodes ont été implémentées et testées sur des bases de données d’images et de vidéos de personnes debout. Les résultats montrent :

• La méthode automatique par analyse de segments de contour et recherche de plus court chemin produit des segmentations précises sans interaction utilisateur, même sur des images de qualité moyenne issues de caméras amateurs ou de surveillance.
• Le processus itératif améliore la qualité des silhouettes obtenues, en affinant la sélection des segments pertinents.
• L’intégration du flot optique dans les vidéos apporte une information temporelle précieuse, améliorant la cohérence et la précision de la segmentation sur les séquences.
• La méthode interactive par coupe de graphe guidée par gabarit permet une segmentation rapide et précise, avec une adaptation efficace aux différentes postures grâce au gabarit par parties.
• La transposition à la vidéo et la génération automatique de trimaps facilitent les applications de post-traitement comme le matting ou le montage vidéo.

Limites et questions ouvertes

Le travail souligne certaines limites :

• La segmentation automatique reste sensible à la qualité de l’image et à la complexité de la scène, notamment en cas d’occultations importantes ou d’arrière-plans très variés.
• La méthode interactive nécessite une intervention utilisateur, ce qui peut limiter son usage dans des contextes entièrement automatisés.
• Le traitement temps réel n’est pas garanti dans tous les cas, notamment pour les vidéos complexes ou de haute résolution.
• La thèse ne traite pas explicitement des personnes en postures très variées (assis, accroupi, en mouvement rapide), ce qui pourrait nécessiter des adaptations des gabarits ou des descripteurs.
• La robustesse face à des conditions d’éclairage extrêmes ou des caméras très basse résolution reste à approfondir.

Glossaire

• Histogrammes de gradients orientés (HOG) : descripteurs visuels basés sur la distribution des directions de contours locaux.
• Machine à vecteurs de support (SVM) : classifieur supervisé utilisé pour distinguer segments appartenant à la silhouette humaine.
• Segment de contour : portion de contour détectée dans l’image, unité de base pour la pré-segmentation.
• Recherche de plus court chemin : algorithme pour trouver un chemin optimal dans un graphe, utilisé pour reconstruire la silhouette.
• Coupe de graphe (graph cut) : méthode de segmentation interactive basée sur la séparation optimale d’un graphe représentant l’image.
• Gabarit non-binaire : modèle probabiliste de silhouette où chaque pixel a une probabilité d’appartenance.
• Gabarit par parties : modèle de silhouette découpé en parties pour mieux s’adapter aux postures.
• Flot optique : estimation du mouvement apparent des pixels entre images successives d’une vidéo.
• Trimap : carte segmentée en trois zones (objet, fond, incertain) utilisée pour affiner la segmentation.