Segmentation de personnes dans les images et les vid os
Cyrille Migniot
To cite this version:
Cyrille Migniot. Segmentation de personnes dans les images et les vid os. Autre. Universit de
Grenoble, 2012. Fran ais. <NNT : 2012GRENT012>. <tel-00728178>
HAL Id: tel-00728178
https://tel.archives-ouvertes.fr/tel-00728178
Submitted on 5 Sep 2012
HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.
Larchive ouverte pluridisciplinaire HAL, est
destin e au d p t et la diffusion de documents
scientifiques de niveau recherche, publi s ou non,
manant des tablissements denseignement et de
recherche fran ais ou trangers, des laboratoires
publics ou priv s.
TH `ESE
Pour obtenir le grade de
DOCTEUR DE LUNIVERSIT E DE GRENOBLE
Sp ecialit e : Signal, Image, Parole, T el ecommunications
Arr et e minist erial : 7 ao ut 2006
Pr esent ee par
Cyrille MIGNIOT
Th `ese dirig ee par Jean-Marc CHASSERY
et codirig ee par Pascal BERTOLINO
pr epar ee au sein du laboratoire Grenoble Image Parole Signal
et Automatique
et de l ecole doctorale Electronique, Electrotechnique, Automatique,
T el ecommunications, Signal
Segmentation de personnes dans
les images et les vid eos
Th `ese soutenue publiquement le 17 janvier 2012,
devant le jury compos e de :
Mr Bill TRIGGS
Directeur de recherche au laboratoire Jean Kuntzmann de Grenoble, Pr esident
Mme Sylvie PHILIPP-FOLIGUET
Professeur des universit es `a lENSEA, Rapporteur
Mr Jean-Louis DILLENSEGER
Ma 1tre de conf erences `a luniversit e de Rennes 1, Rapporteur
Mr Franc ois BREMOND
Directeur de recherche `a lINRIA Sophia Antipolis, Examinateur
Mr Jean-Marc CHASSERY
Directeur de recherche au Gipsa-Lab, Directeur de th `ese
Mr Pascal BERTOLINO
Ma 1tre de conf erences au Gipsa-Lab, Co-Directeur de th `ese
2
R esum e
La segmentation de personnes dans les images et les vid eos est une probl ematique
actuellement au coeur de nombreux travaux. Nous nous int eressons `a la segmentation de
personnes debout. Pour cela, nous avons mis au point deux m ethodes originales :
La premi`ere est une continuation dune m ethode de d etection ecace. On r ealise une
pr e-segmentation en associant aux segments de contour de limage une valeur de vraisem-
blance en tant qu el ement dune silhouette humaine par une combinaison dhistogrammes
de gradients orient es (HOG) et de machines a vecteurs de support (SVM) prises a
l echelle des ces segments. Une recherche darbre optimal dans un graphe int egrant les
donn ees de la pr e-segmentation permet de reconstruire la silhouette de la personne.
Enn, une utilisation it erative de ce processus permet den am eliorer la performance.
La seconde m ethode prend en compte linteraction de lutilisateur pour une image.
Une coupe de graphe est guid ee par un gabarit non binaire repr esentant une silhouette
humaine. Nous proposons egalement un gabarit par parties pour sadapter `a la posture
de la personne. Nous avons enn transpos e cette m ethode `a la segmentation de vid eos et
la r ealisation automatique de trimaps.
Mots cl es : segmentation de personnes, analyse de segments de contour, segmen-
tation interactive, coupe de graphe, gabarit non-binaire, g en eration automatique de
trimap.
3
4
Abstract
Human segmentation in images and videos is currently a dicult task. We are
interested in the upright people class. We have realized two original methods. After a
review of the state of the art, this thesis presents these two methods.
The rst one is the continuation of an eective segmentation method. The union of
Histogramms of Oriented Gradients based descriptors (HOG) and of a Support Vector
Machine (SVM) classier at the contour segment scale provides a likelihood degree of
being part of a human silhouette. The shortest path in a graph created from this data
provides the segmentation.
The second method is interactive. A graph cut is guided by a non-binary template of
silhouette that represents the probability of each pixel to be a part of the person. In
a second time, a part-based template is computed to be adapted to the person pos-
ture. This method can be transformed to segment videos or automaticaly produce trimaps.
Keywords : silhouette segmentation, contour segment analysis,
mentation, graph cut, template of silhouette, part-based template, trimap.
interactive seg-
5
6
Remerciements
Ces travaux de th`ese ont et e r ealis es au sein du d epartement images et signaux du
laboratoire GIPSA-lab `a Grenoble sous la direction de Messieurs Jean-Marc Chassery et
Pascal Bertolino.
Je tiens tout dabord `a les remercier pour leurs conseils et leur disponibilit e ainsi que
pour mavoir permis de travailler sur ce sujet passionnant.
Je les remercie egalement pour la conance quils mont port ee et pour la libert ee
scientique dont jai dispos ee.
Je tiens a remercier tout particulierement Madame Sylvie Philipp-Foliguet et Messieurs
Bill Triggs, Jean-Louis Dillenseger et Fran cois Bremond davoir accept e de faire partie
de mon jury et pour lint er et quils ont bien voulu porter a mes travaux de these.
Merci `a Messieurs Jean-Marc Chassery, Jean-Michel Dion et Jean-Marc Thiriet de
mavoir accueilli dans leur laboratoire.
Merci egalement `a Jean-Marc Sache pour son soutien technique et sa bonne humeur.
Je tiens aussi `a remercier Laurent Bonnaud, Alice Caplier, R emy Chollet, Franck Corset,
Yves Delnondedieu, C edric Gerot, Hayate Khenouf, Annick Montanvert et C ecile Roisin
pour leur aide et leur conance durant mes vacations au sein de lENSE3, de PHELMA,
de lIUT1 et de lIUT2.
Merci aux membres du conseil de laboratoire pour mavoir acceuilli et mavoir fait
partager la vie administrative du laboratoire.
Un grand merci aux coincheurs du midi, aux rollistes, au GipsaDoc et `a l equipe
de foot du Gipsa pour tous les bons moments pass es.
Je noublie pas non plus de remercier tous les doctorants du GIPSA-lab pour leur
contribution `a lambiance de ce laboratoire : Bastien, Jeanne, Luiz, Olivier, Vincent,
J er emie, Jonathan, David, Mathieu, Eric, Benjamin, Damien, Rodrigo, Antoine, Gailene,
Tomasz, Thibaud, Lo 1c, Emilie, Gabriel, Chlo e, Lionel, Christian, Fabien, Hussein,
Bertrand, C edric et Nicolas.
Advertisement
Une pens ee aussi aux gourmets de lentracte : Antoine, Seb, Claudio, Philippe, Romain,
Luc, Ali, Andy, Anthony, Joachim, Hilal, Klodjan, Nathalie, Juliette, Laure, C eline,
Aur elie, Rachel, Richard, Pierrick, Nicolas, Delphine et Samuel. Une autre pens ee pour
les rollistes : Marc, Aurore, Edouard, Ga etan, Yoyo, Hadrien, Thomas et Louis.
Je remercie nalement mes parents et mes soeurs chez qui jai toujours pu trouver
soutien et r econfort.
7
8
Table des mati`eres
1 Introduction
13
1.1 Applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.1.1 Traitement temps r eel
. . . . . . . . . . . . . . . . . . . . . . . . . 14
1.1.2 Post-traitement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
1.2.1 Principales dicult es inh erentes `a cet objectif
. . . . . . . . . . . . 19
1.2.2 Pr ecision de lobjectif . . . . . . . . . . . . . . . . . . . . . . . . . . 20
1.3 Vue globale de notre approche . . . . . . . . . . . . . . . . . . . . . . . . . 21
1.4 Structure du document . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
1.2 Objectif
2 Etat de lart
23
2.1 D etection de personnes dans les images . . . . . . . . . . . . . . . . . . . . 24
2.1.1
Structure descripteur-classieur . . . . . . . . . . . . . . . . . . . . 24
2.1.2 Autres d emarches de d etection . . . . . . . . . . . . . . . . . . . . . 30
2.2 D etection et segmentation simultann ee . . . . . . . . . . . . . . . . . . . . 33
2.2.1 Par analyse de r egions dinter ets . . . . . . . . . . . . . . . . . . . . 33
2.2.2 Par comparaison `a un catalogue de gabarits
. . . . . . . . . . . . . 34
2.2.3 Par analyse de segments . . . . . . . . . . . . . . . . . . . . . . . . 35
2.2.4 Par dautres m ethodes . . . . . . . . . . . . . . . . . . . . . . . . . 36
2.2.5 Validation de la d etection par la segmentation . . . . . . . . . . . . 37
2.3 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
3.3
3 Pr e-segmentation par recherche de segments de contour pertinents
39
3.1 Objectifs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
3.2 Outils utilis es . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.2.1 Machines `a vecteurs de support . . . . . . . . . . . . . . . . . . . . 41
3.2.2 Histogrammes de gradients orient es . . . . . . . . . . . . . . . . . . 42
3.2.3 Vue g en erale de la m ethode de Dalal et Triggs . . . . . . . . . . . . 44
Etude locale de la fen etre de d etection . . . . . . . . . . . . . . . . . . . . 45
3.3.1 Le descripteur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.3.2 Le classieur
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
3.3.3 Vraissemblance des segments de contours . . . . . . . . . . . . . . . 51
3.4 R esultats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
3.4.1 Modes d evaluations des r esultats . . . . . . . . . . . . . . . . . . . 52
3.4.2 Optimisation de la m ethode . . . . . . . . . . . . . . . . . . . . . . 55
3.4.3 Cas particuliers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
3.5 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
9
TABLE DES MATI`ERES
4 Reconstitution de la silhouette par recherche de plus court chemin `a
4.4 Processus it eratif
partir de la pr e-segmentation
63
4.1 Utilisation des segments de contour pour la segmentation . . . . . . . . . . 64
. . . . . . . . 65
4.1.1 Caract erisation et notations des segments de contour
4.1.2 M ethodes utilisant des el ements du contour pour la segmentation . 65
4.2 Recherche de plus court chemin . . . . . . . . . . . . . . . . . . . . . . . . 66
4.2.1 Algorithme de Dijkstra . . . . . . . . . . . . . . . . . . . . . . . . . 67
4.2.2 Algorithme de Dantzig-Ford . . . . . . . . . . . . . . . . . . . . . . 68
4.2.3 Conclusion et choix de lalgorithme de recherche de larbre optimal
68
4.3 Adaptation de lalgorithme pour notre approche . . . . . . . . . . . . . . . 69
. . . . . . . . . . . . . . . . . . . . . . . . . 69
4.3.1 R ealisation du graphe
4.3.2 Anit e entre segments . . . . . . . . . . . . . . . . . . . . . . . . . 70
4.3.3 Dicult es propres au probl`eme . . . . . . . . . . . . . . . . . . . . 73
4.3.4 Algorithme complet . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
4.3.5 Premiers r esultats . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
4.4.1 Raisons et aboutissements . . . . . . . . . . . . . . . . . . . . . . . 76
4.4.2 Fonctionnement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
4.5 R esultats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
4.5.1 Crit`eres d evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . 78
. . . . . . . . . . . . . . . . . . . . . . . 80
4.5.2
4.5.3 Choix de lalgorithme de recherche du plus court chemin . . . . . . 80
4.5.4
. . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
4.5.5 Pond eration des arcs . . . . . . . . . . . . . . . . . . . . . . . . . . 82
. . . . . . . . . . . . . . . . . . . . . 83
4.5.6 Choix des segments extr emes
. . . . . . . . . . . . . . . . . . . . . . . . . . 83
4.5.7 Le processus it eratif
4.6 Passage `a la vid eo : un nouvel apport dinformation . . . . . . . . . . . . . 84
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
4.6.1 Le ot optique
4.6.2 Un compl ement au descripteur . . . . . . . . . . . . . . . . . . . . . 88
4.6.3 Un guide `a la segmentation . . . . . . . . . . . . . . . . . . . . . . 90
4.6.4 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
4.7 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
Evaluation de la m ethode
Seuil `a optimiser
5 Segmentation automatique par coupe de graphe et gabarits
95
5.1 La coupe de graphe : une segmentation interactive . . . . . . . . . . . . . . 96
5.1.1 M ethode dint eraction . . . . . . . . . . . . . . . . . . . . . . . . . 97
5.1.2 Coupe de graphe . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
5.2 Segmentation par un gabarit unique . . . . . . . . . . . . . . . . . . . . . . 100
5.2.1 Ar etes de voisinage . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
5.2.2 Ar etes de liaisons . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
5.3 Segmentation avec un gabarit par parties . . . . . . . . . . . . . . . . . . . 104
5.4 R esultats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
5.4.1 Optimisation du processus . . . . . . . . . . . . . . . . . . . . . . . 105
5.4.2 Gabarit unique ou par parties ? . . . . . . . . . . . . . . . . . . . . 105
. . . . . . . . . . . . . . . . . . . . . 106
. . . . . . . . . . . . . . . . . . . . . . 107
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
5.5.1 Pr esentation de la m ethode
Advertisement
5.5.2 R esultats
5.5 Ajout de linformation de luminance
10
TABLE DES MATI`ERES
Segmentation de fen etres de tailles quelconques
5.6 Fen etres de tailles quelconques . . . . . . . . . . . . . . . . . . . . . . . . . 109
5.6.1
. . . . . . . . . . . 111
5.6.2 Modes dinteractions . . . . . . . . . . . . . . . . . . . . . . . . . . 113
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
5.6.3 Encadrement
5.6.4 Marqueurs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
. . . . . . . . . . . . . . . . . . . . . . . . 116
5.6.5 Pointage de sous-parties
5.7 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
6 Adaptation de la coupe de graphe sur les s equences vid eo et pour la
recherche de trimaps
6.1
119
Etude de s equences vid eo . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
6.1.1 Consid eration 3D . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
6.1.2 Choix de la coupe 2D de la vid eo disponible pour linteraction . . . 122
6.1.3 Attribution dun gabarit par parties sur les frames dune fen etre
glissante . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127
6.1.4 Gabarit spatio-temporel
. . . . . . . . . . . . . . . . . . . . . . . . 131
6.1.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
Segmentation adaptative `a lechelle . . . . . . . . . . . . . . . . . . 136
6.1.6
. . . . . . . . . . . . . . . . . . . . . . . . . 137
6.2.1 Recherche automatique de Trimap . . . . . . . . . . . . . . . . . . . 139
6.2.2 Coupe de graphe duale . . . . . . . . . . . . . . . . . . . . . . . . . 140
6.2.3 R esultats et conclusion . . . . . . . . . . . . . . . . . . . . . . . . . 142
6.2 Recherche dun trimap pr ecis
7 Conclusion
147
7.1 Principales contributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148
7.2 Contexte et limites . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149
7.3 Perspectives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149
Appendices
163
A Bases de donn ees statiques
165
A.1 La base de donn ees statique de personnes de lINRIA . . . . . . . . . . . . 165
. . . . . . . . . . . . . . . 166
A.2 La base de donn ees de silhouettes de personnes
B Bases de donn ees de s equences vid eo
169
C Fermeture de contour
173
C.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173
C.2 Calcul de lanit e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173
. . . . . . . . . . . . . . . . . 174
C.2.1 D etermination des nSuds du graphe
C.2.2 Description dun couple de segments voisins
. . . . . . . . . . . . . 174
C.2.3 Probabilit e que deux segments tangentes se suivent . . . . . . . . . 174
C.3 Utilisation de lanit e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176
D Calcul du ot optique
177
D.1 M ethode pyramidale de Lucas et Kanade . . . . . . . . . . . . . . . . . . . 177
D.2 Estimation robuste du mouvement par un ltrage spatial proche de Gabor 179
11
TABLE DES MATI`ERES
12
Chapitre 1
Introduction
Sommaire
Lhomme est mortel par ses
craintes, immortel par ses d esirs.
Pythagore
1.2 Objectif
1.1 Applications
1.1.1 Traitement temps r eel
. . . . . . . . . . . . . . . . . . . . . . .
1.1.2 Post-traitement . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
14
17
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
19
20
1.3 Vue globale de notre approche . . . . . . . . . . . . . . . . . . 21
1.4 Structure du document . . . . . . . . . . . . . . . . . . . . . . . 22
1.2.1 Principales dicult es inh erentes `a cet objectif . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . .
1.2.2 Pr ecision de lobjectif
Ces derni`eres ann ees, le domaine du traitement et de lanalyse num erique des images
a connu un essor consid erable engendrant un nombre cons equent de travaux de recherche.
En eet, la r ecente expansion des possibilit es des ordinateurs a grandement facilit e le
traitement de masse dinformations num eriques. De gigantesques quantit es de calculs
peuvent d esormais etre trait es dans des temps toujours plus courts. Des traitements plus
complexes sont alors accessibles, ce qui ouvre considerablement les perspectives.
Limage est aujourdhui un objet des plus importants dans notre soci et e. Elle est
un m edia dinformation (journaux papiers et t el evisuelles, internet), publicitaire, artis-
tique (cin ema, photographie,...) et social (Facebook, Picasa,...) parmi les plus utilis es.
Beaucoup de travaux visent donc `a en am eliorer et en faciliter laccessibilit e. Que ce soit
au niveau de son acquisition (appareil photographique, cam era num erique, webCam), de
sa capacit e de stockage et d echange (formats, compression, ...) ou de son edition (par
des logiciels tels que Photoshop ou Gimp pouvoir corriger des yeux rouges ou recadrer
une photo).
13
Introduction
Mais limage est aussi un moyen de r ecup erer de linformation. Une machine doit
souvent etre la plus autonome possible. Il faut minimiser le travail de lutilisateur. Pour
cela, la machine doit conna 1tre lenvironnement quelle manipule. Elle prend alors lin-
formation n ecessaire par linterm ediaire dun certain nombre de capteurs. Linformation
visuelle donn ee par une cam era en fait partie. Elle a notamment lavantage de ne pas
n ecessiter de contact avec lobjet etudi e. Il faut alors tirer linformation pertinente de
limage.
La reconnaissance et la segmentation des el ements dune classe est alors un domaine
tr`es important du traitement de limage. Elles permettent de reconna 1tre, de localiser et
disoler lobjet dint er et. Ces informations sont n ecessaires et susantes aux fonctionne-
ments de nombreuses applications.
Pour cela, la machine a besoin dun apprentissage. Cest-`a-dire dune connaissance sur
la classe recherch ee qui permette sa reconnaissance et guide sa segmentation. Elle peut,
Advertisement
par exemple, prendre pour forme une base de donn ees dimages correspondant `a la classe
recherch ee. La taille de cet apprentissage d epend de la complexit e de la classe.
Au vu de lint er et evident des communications entre la machine et lhomme, l etude de
la classe des personnes est lune des plus importantes. Elle est donc le sujet dun tr`es
grand nombre de travaux. Elle se trouve etre aussi lune des plus complexes du fait de la
vari et e dapparence et de posture quune personne peut prendre.
1.1 Applications
La d etection et la segmentation de personnes dans les images et les vid eos est un
domaine en pleine expansion qui regroupe bon nombre de projets de recherche. Cela sex-
plique en grande partie par le nombre important dapplications pratiques et industrielles
qui en d ecoulent. De nombreuses entreprises investissent ainsi dans ce domaine au vue
des perspectives oertes.
1.1.1 Traitement temps r eel
Une contrainte essentielle du traitement de donn ees est le temps de traitement accep-
table accord e `a la machine. En eet, de nombreuses applications n ecessitent un traitement
temps r eel an davoir une interaction imm ediate avec lenvironnement. Cela permet de
r eagir `a une action avant quelle ne soit nie ou bien danticiper un ev enement an de
lemp echer dadvenir.
Parfois un d ecalage avec le r eel peut etre accept e mais le syst`eme sera plus attractif et
plus agr eable `a lutilisation sil donne un r esultat en un temps r eduit.
La vid eo surveillance
Dans un lieu public, comme un hall de gare ou da eroport, il est utile de surveiller
le comportement des personnes an de pr evenir les actes dangereux. De m eme, dans
un espace priv e comme une maison, une surveillance permet dagir contre les intrusions
ind esirables. A partir du visionnage et de larchivage des images issues dun systeme de
cam eras, la vid eo-surveillance permet de r epondre `a ces probl ematiques essentielles car
traitant de la s ecurit e (gure 1.1(a)).
14
Applications
Fig. 1.1 De nombreuses m ethodes n ecessitent un traitement temps r eel. Que ce soit
la vid eo surveillance (en (a) selon la m ethode de Beleznai et al. ),
les jeux vid eos avec int egration du joueur dans un environnement virtuel (en (b) Eye-
Toy de PlayStation), lassistance de conduite pour eviter les obstacles et les pi etons
imprudents (en (c)), le comptage de personnes (en (d) avec la m ethode de Tuzel et
al. ) ou lintelligence articielle (en (e) le robot Asimo de Honda).
Lacquisition se r ealise `a partir dune cam era xe ou dont le mouvement est control e. De
cette fa con, larri`ere-plan est connu (ou facilement d etermin e) et les r egions dint er ets
que sont les di erents premiers plans peuvent etre ais ement isol ees. La d etection est
facilit ee puisque larri`ere plan ne vient pas encombrer le signal et la segmentation est
assez souvent d ej`a r ealis ee par lisolement des r egions dint er ets continues.
N eanmoins, an davoir une vue assez globale et de rester assez discr`etes, les cam eras
de vid eo surveillance sont dans la plupart des cas plac ees en hauteur. Les silhouettes des
personnes sont alors d eform ees (eet de contre champ) et de petite taille. De plus, les
cam eras de vid eo surveillance r ealisent souvent des acquisitions de mauvaise qualit e (pour
des raisons de co ut et de stockage des donn ees). Enn, dans les lieux publics, l etude des
sc`enes de foules implique de nombreuses occultations et de nombreux mouvements.
Syst`eme dassistance de conduite
La s ecurit e des personnes est un domaine plus prioritaire que la s ecurit e des biens.
Cest pourquoi lindustrie automobile investit beaucoup dargent dans la recherche en
vue de rendre les voitures plus s ures pour le conducteur mais aussi pour les pi etons
. Un syst`eme dassistance de conduite permet de d etecter la pr esence
dun pi eton imprudent sur la route et donc d eviter la collision (gure 1.1(c)). Mitsubishi
a mis en oeuvre certains syst`emes permettant cette op eration en embarquant une cam era
sur le devant du v ehicule comme montr e dans les articles
.
15
Introduction
La principale dicult e du domaine r eside dans le changement rapide de larri`ere
plan lorsque le v ehicule se d eplace et particuli`erement lorsquil r ealise un virage. De
plus, le temps de r eaction du systeme doit etre tres rapide (tr`es proche du temps r eel)
puisquil faut le temps a lutilisateur (ou a un syst`eme interne au v ehicule) de d enir
puis de r ealiser la manoeuvre qui permettra d eviter la collision.
N eanmoins, le constructeur a ici la possibilit e de choisir le syst`eme dacquisition de
limage. Une image de bonne qualit e peut permettre une d etection avec peu de non
d etection ou de fausse alarme. De plus, utiliser un syst`eme de cam era st er eo (avec
deux cam eras lmant la m eme sc`ene avec un petit d ecalage spatial qui permet dobtenir
une information sur la profondeur des el ements visualis es) permet dobtenir rapidement
et s urement les di erentes r egions dint er ets (premiers plans). Le traitement et lanalyse
de linformation sont alors grandement facilit es et le temps de calcul diminu e.
Comptage de personnes
Le comptage de personnes (gure 1.1(d)) permet de d eterminer le nombre de personnes
se trouvant dans un lieu ou bien le nombre de personnes passant `a travers un passage
(une porte, un pont, un couloir...). Cette application est utile pour evaluer le succ`es dune
exposition, lauence dans une salle, le nombre de personnes entr ees dans un bus...
Pour ce genre dapplication, les cam eras du syst`eme dacquisition peuvent etre xes et les
divers premiers plans observ es sont alors facilement isol es. N eanmoins, dans une foule, il
est dicile de voir chaque el ement de celle-ci en int egralit e. Il y a souvent dimportantes
occultations.
Dans ce cas, un suivi des personnes est n ecessaire. En eet, ce traitement est essentiel
pour eviter de compter plusieurs fois une m eme personne sur deux frames di erentes.
Dans le cas dun passage, ce suivi permet aussi de sassurer quun individu a bien travers e
ce passage et ne sest pas seulement arr et e devant. Il permet egalement de faciliter la
d etection. En eet,compte tenu des occultations, il est plus probable de r eussir `a r eunir
lensemble de la personne sur un ensemble de frames que sur une image xe.
Jeux vid eo
Dans le domaine des loisirs, lindustrie des jeux vid eos est assez active pour orir `a sa
client`ele des nouveaut es attractives. Avec EyeToy, PlayStation a, par exemple, int egr e
limage du joueur dans le jeu an quil apparaisse sur l ecran de sa t el evision. Le principe
est de placer une cam era sur son t el eviseur, limage du joueur est alors isol ee et plac ee
dans un environnement virtuel correspondant au jeu (gure 1.1(b)). Le joueur peut alors
interagir avec cet environnement en d epla cant ses bras.
Ici aussi,
le constructeur a la possibilit e de choisir son syst`eme dacquisition et
donc dutiliser la st er eo an de d elimiter facilement le premier plan. Le syst`eme a aussi
la-priori que le joueur doit se situer devant la cam era, `a une distance connue an
dappara 1tre au centre de son t el eviseur. Le traitement est plus simple, ce qui lui permet
d etre temps r eel. La seule dicult e est de bien segmenter la personne. Il ne faut pas,
en eet, quune partie dun membre manque ou bien quun objet de larri`ere plan soit
ajout e lors de lint egration dans le nouvel environnement.
16
Applications
Intelligence articielle
Le but de la robotique est de concevoir des robots eectuant des t aches d etermin ees en
sadaptant `a leur environnement (gure 1.1(e)). Une des perspectives les plus novatrices
est la cr eation dune intelligence articielle dans le sens o`u le robot prend des d ecisions de
fa con ind ependante. Dans cette optique, il est important quil puisse evaluer la situation
dans laquelle il se trouve et donc analyser son signal visuel. D etecter et reconna 1tre une
personne est alors une t ache prioritaire puisque le but nal est quil puisse interagir avec
un etre humain pour pouvoir laider.
Par exemple, Honda a cr e e le robot Asimo qui sait adapter son comportement avec celui
des personnes pr esentes dans son environnement. Pour cela il doit initialement d etecter
les personnes et reconna 1tre leur comportement et leurs actions.
Dans la robotique,
le syst`eme dacquisition est libre mais le traitement doit etre
temps r eel. De plus, la d etection doit etre certaine puisque le robot a pour fonction
d etre en contact avec des personnes. Un mauvais comportement de sa part peut sav erer
Advertisement
dangereux.
1.1.2 Post-traitement
Pour dautres applications, le temps de calcul peut etre plus important. Cest le cas
de toutes les m ethodes utilisant un post-traitement. Apr`es lacquisition de limage ou de
la vid eo, un traitement plus long sur lensemble du signal est r ealis e. Dans la plupart des
cas, laboutissement du travail est dam eliorer la qualit e du rendu ou bien de transformer
la r ealit e pour cr eer une image ou une vid eo irr ealisable autrement.
Une interaction de lutilisateur est souvent n ecessaire mais par commodit e, productivit e
et besoin de pr ecision elle se doit d etre la plus r eduite possible.
Fig. 1.2 Exemple de post-traitements. Lindexation de vid eos cliquables permet de lier
une action au passage de la souris sur un objet dune vid eo (en (a) cliquer sur le pull donne
acc`es au site de vente de ce pull). La cr eation davatar donne de bons eets de cin ema (en
(b) des capteurs sont plac es sur un acteur pour r ealiser le mouvement dun personnage
virtuel). Enn le photo montage est un eet tr`es utilis e (en (c) un pr esentateur m et eo est
lm e sur un fond bleu, puis est segment e et enn rajout e sur la carte quil commente).
17
Introduction
Indexation de vid eos et vid eos cliquables
Lobjectif est ici prioritairement denrichir le contenu de la vid eo pour des vues pu-
blicitaires ou autre. Lid ee est de cr eer une interaction possible de lutilisateur avec les
el ements composant une vid eo (gure 1.2(a)). Une vid eo cliquable est une vid eo sur la-
quelle lutilisateur peut s electionner des el ements la composant et o`u ces el ements sont
associ es `a un lien. Laboutissement est quune personne qui visionne une vid eo sur internet
et qui rep`ere un objet qui lint eresse, puisse cliquer sur cet objet pour etre redirig e sur
une page Web dont lobjet cliqu e est le sujet (une personne clique sur un v etement et est
redirig ee vers le site de vente en ligne o`u il peut acheter ce v etement). Lobjet en question
peut etre une personne (par exemple une personne c elebre dont le lien associ e menerait `a
sa biographie).
Une grande pr ecision nest pas obligatoire car lutilisateur a tendance `a cliquer au centre
de lobjet et non `a ses extr emit es. Par contre, le plus souvent, le traitement doit se faire
sur des vid eos existantes et ni le format ni le syst`eme dacquisition ne peuvent alors etre
choisis. Le traitement doit alors sadapter `a tout genre de vid eos.
Eets sp eciaux pour le cin ema
Dans le monde du cin ema, il existe une forte demande en eets sp eciaux. Pour faire
croire `a des situations ou des personnages de plus en plus insens es, il est indispensable
que la modication de limage soit la plus r ealiste possible.
Assez couramment, un personnage doit etre ins er e dans un autre d ecor (si le d ecor ne
peut etre construit ou, par exemple, sil nest pas `a la m eme echelle que le personnage).
Pour cela est r ealis e un vid eo-montage. Cest-`a-dire que le premier plan dune vid eo doit
etre superpos e `a une seconde vid eo.
Ce proc ed e est egalement utilis e lors de la r ealisation dune emission m et eorologique
(gure 1.2(c)). Le pr esentateur est lm e puis ajout e `a la carte achant le temps ou les
temp eratures.
An de r ealiser une segmentation dun premier plan en vue dun vid eo-montage, la
m ethode la plus couramment utilis ee est celle dite du fond bleu .
L el ement `a segmenter est plac e devant un fond de couleur bleu lors de lacquisition.
Larri`ere plan etant pr ecis ement connu, il est assez ais e de s eparer le premier plan de
larri`ere plan.
Pour etre r ealiste, la segmentation doit tres pr ecise car une petite erreur sera tres visible
et d ecr edibilisera leet. Une m ethode souvent utilis ee est le matting. Aux bords du
premier plan, le vid eo-montage sera un m elange des couleurs du premier plan et du
nouvel arri`ere plan. Ainsi la transition est plus douce et leet plus r ealiste.
Cr eation davatar
Un autre eet assez appr eci e dans le cin ema est la cr eation de personnages virtuels.
La cr eation et la mise en animation de personnages enti`erement r ealis es par ordinateur
ouvrent les perspectives de personnages plus originaux. Une des dicult es majeures de
ce proc ed e est le mouvement donn e `a ce personnage. Pour quil soit cr edible, le mou-
vement humain est imit e. Dans cette optique, un squelette du personnage est cr e e avec
un certain nombre darticulations qui d enissent les mouvements possibles. Une personne
18
Objectif
est ensuite lm ee r ealisant les mouvements que le personnage virtuel doit r ealiser. En
associant `a chaque articulation du squelette une articulation de la personne lm ee et en
enregistrant le mouvement de la personne au niveau de ses articulations, le mouvement
de la personne est transmis au personnage virtuel (gure 1.2(b)). Ce personnage virtuel
est appel e un avatar.
Pour faciliter ce proc ed e, des capteurs sont plac es sur la personne au niveau des articu-
lations recherch ees. La d etection est alors evidente. Une m ethode automatique pourrait
cependant etre cr e ee an de fournir une application tous publics.
1.2 Objectif
Lobjectif de cette th`ese est de mettre au point et dimpl ementer en vue de tests, de
nouvelles m ethodes permettant la segmentation de personnes dans les images xes et les
s equences vid eo. Les th`emes trait es sont donc l etude des caract eristiques discriminantes
de la classe des personnes, la reconnaissance des ses el ements puis leur segmentation
pr ecise.
Les m ethodes cr e ees se doivent davoir un maximum de robustesse.
"
"
"
Le logiciel de tests doit sapprocher le plus souvent des r esultats optimaux sans
interactions (ou avec tr`es peu) avec lutilisateur. Un novice doit aussi pouvoir utiliser
la m ethode sans avoir a evaluer les valeurs des parametres les plus aptes `a optimiser
le traitement.
Le systeme dacquisition de limage ou de la s equence vid eo doit etre tres simple.
Pas de cam era st er eo ou haute d enition facilitant le traitement. La m ethode doit
pouvoir traiter correctement une acquisition dune cam era amateur ou dune petite
cam era de surveillance (donnant un rendu de faible qualit e).
Le sujet etudi e doit etre soumis au minimum de contraintes possibles : pas darri`ere
plan xe ou connu, une personne immobile, marchant ou courant, pas dhabillage
sp ecial ou de sp ecication physique (couleur de peau)...
Au nal, le but est de r ealiser des m ethodes fonctionnant correctement pour le plus de cas
possibles. En eet, pour que les m ethodes puissent etre utilis ees pour un usage familial ou
sur des images et des vid eos d ej`a acquises (et dont on na pas pu contr oler lacquisition),
il est important davoir le moins de contraintes possibles.
1.2.1 Principales dicult es inh erentes `a cet objectif
Selon les situations, la qualit e de lacquisition ou lenvironnement autour du sujet
etudi e, la dicult e pour un algorithme de reconna 1tre une certaine classe est plus ou
moins importante. Voici les obstacles les plus fr equemment rencontr es :
"
Une partie de lobjet peut etre cach ee par un el ement de lenvironnement se
trouvant entre le sujet recherch e et le syst`eme dacquisition. Cest ce quon appelle
une occultation. Si la m ethode se base sur une forme, il faut quelle puisse la
reconna 1tre m eme si elle est tronqu ee. Le probl`eme peut aussi causer l echec de la
d etection si cette derni`ere se base sur la reconnaissance de toutes les sous-parties.
19
Introduction
"
"
"
"
La cam era peut aussi bouger lors de lacquisition. Larri`ere plan nest plus xe et
il est alors dicile de trouver une r ef erence et de focaliser l etude sur une partie
de limage en particulier. De plus, certaines sous-parties de larri`ere plan peuvent
avoir des mouvements rapides et complexes comme par e...