Estimation des densité de
Estimation des densité de
probabilité
Solution
(cid:1) Méthodes paramétriques:
On fait appel à une famille paramétrable de densités ou de
surfaces et on optimise le(s) paramètre(s) pour minimiser la
probabilité d’erreur.
Exemple: Estimation de gaussiennes
Exemple: Estimation de gaussiennes
(cid:1) Méthodes non paramétriques:
On développe un algorithme qui converge vers la densité
ou la surface la plus proche (moyennant certaines
hypothèses)
Exemple: K plus proches voisins, fenêtres de Parzen
Position du problème
(cid:1) On a supposé connu
(cid:1) la distribution des caractéristiques pour chaque classe
(vraisemblance)
(cid:1) les probabilités a priori des classes
(cid:1) de manière optionnelle, les coûts d'une (fausse) décision
(cid:1) Problème : comment estimer ces grandeurs ?
(cid:1) la vraisemblance est rarement connue
(cid:1) les probabilités a priori ne sont pas toujours connues
70
ENSI--SI3
2014-2015
Méthodes Non Paramétriques
(cid:1) Il n'est pas toujours possible de trouver une fonction de
densité qui s’ajuste sur les données et de pouvoir
modéliser sous forme paramétrique
(cid:1) surtout dans les cas de distributions complexes ou
multimodales (avec plusieurs maxima locaux)
(cid:1) Solution
L'apprentissage non paramétrique consiste à estimer ces
densités directement à partir des échantillons
d'apprentissage
71
ENSI--SI3
2014-2015
72
ENSI--SI3
2014-2015
Méthodes Non Paramétriques
Méthodes Non Paramétriques
(cid:1) Idée de localité : pour estimer la probabilité d'une
nouvelle donnée, on estime la densité dans le voisinage de
cette donnée (e.g. histogramme: le casier; KNN:
l'hypersphère occupée par les K voisins)
(cid:1) L'étendue ou le volume du voisinage est déterminée par
le paramètre de lissage (ex. histo: ∆i ou ∆ ; KNN: K)
le paramètre de lissage (ex. histo: ∆i ou ∆ ; KNN: K)
(cid:1) Pour déterminer le voisinage on peut
(cid:1) soit fixer le nb de points K habitant cette région (cid:1) KNN
(cid:1) soit fixer le l‘étendue h (cid:1) méthode des noyaux
(KDE = Kernel Density Estimation) = fenêtres de Parzen
(cid:1) Notation:
(cid:1) Soit (X1,X2,……,XN) les N réalisations d’une variable aléatoire
X ayant pour densité de probabilité f
inconnue
(cid:1) Nous nous intéressons à l’estimation de f à partir de
l’observation (X1,X2,……,XN).
Définition
(cid:1) Définition
(cid:1) Un estimateur de la densité de probabilité f est une application
telle que :
:ˆ
f
N
n
(
x
1
,......,
x
n
)
R
ˆ
f
N
(
x
1
,.....,
xx
;
n
)
=
( )x
ˆ
f
N
73
ENSI--SI3
2014-2015
74
ENSI--SI3
2014-2015
fi
fi
Y
Y
Méthode de l’histogramme
(cid:1) Elle consiste à subdiviser l'espace image de la variable
aléatoire en une partition.
Méthode de l’histogramme
(cid:1)
( )kNˆ
dans
: le nombre de points de l’échantillon se trouvant
( N
kI
)
(cid:1) Dans le cas où l'espace image est la droite réelle, cette
dernière est divisée en intervalles de mesure constante
hN
(cid:1) Soit ,
Soit ,
le kème intervalle de l’histogramme
le kème intervalle de l’histogramme
(cid:1) pas de l’histogramme.
)
)
( N
( N
kI
N
)
I
(
k
=
[
a
+
kh
N
,
a
+
(
k
+
)
1
h
N
[
=
[
a
)
(
N
k
[N
)
+
1
(
k
,
a
( )
ˆ
kN
Publicité
=
N
∑
=
1
i
) (
X
i
)
1
N
(
k
I
(cid:1) f peut alors être estimé par pour tout x
( N
kI
appartenant à l’intervalle
=
N
N
ˆ
f
)
( )
x
( )
ˆ
kN
Nh
75
ENSI--SI3
2014-2015
76
ENSI--SI3
2014-2015
Méthode de l’histogramme
(cid:1) Convergence
(cid:1) Pour obtenir la convergence de vers
en moyenne
( )x
ˆ
f N
( )xf
quadratique intégrée, il est nécessaire et suffisant que NhN
tende vers + ¥
et que hN tende 0.
(cid:2)le pas hN ne doit pas tendre trop vite vers 0.
(cid:1) En pratique, le pas est déterminé en fonction de la taille de
l'échantillon. Généralement, on choisit :
1-
3
hN
= N
77
ENSI--SI3
2014-2015
78
Méthode de l’histogramme
(cid:1) Importance du choix du pas :
0.5
0.45
0.4
0.35
0.3
0.25
0.2
0.15
0.15
0.1
0.05
0
-4
h =
N
Opt
h
N
-3
-2
-1
0
1
2
3
4
0.5
0.45
0.4
0.35
0.3
0.25
0.2
0.15
0.15
0.1
0.05
0
-4
h <
N
Opt
h
N
-3
-2
-1
0
1
2
3
4
0.5
0.45
0.4
0.35
0.3
0.25
0.2
0.15
0.1
0.05
0
-4
h >
N
Opt
h
N
-3
-2
-1
0
1
2
3
4
ENSI--SI3
2014-2015
est le plus petit voisinage symétrique de x
)x
( )
(
Nˆ,
rxI
contenant k(N) points de l’échantillon
{
P X
(
p x r
(
I x r
,
+
x r
=
)
f
,
(cid:1) On pose
}
)
= ∫
1
x r
( )
t dt
Publicité
(cid:2)
(cid:2)
lim
r
r
0
0
)
(
,
p x r
r
2
2
r
=
( )
( )
f x
(cid:1) On définira par
( )x
ˆ
f N
( )
x
=
ˆ
f
N
(
Nk
ˆ
rN
N
)
( )x
2
( )xf
(cid:1) L'étude de la convergence montre que
(
)
Nk
lorsque et
N
(
fiNk
( )
x
¥+
ˆ
f N
0
)
Méthode du k-plus proche voisin
Méthode du k-plus proche voisin
(cid:1) Il s'agit pour cette méthode de fixer un entier que l'on
(cid:1)
notera k(N) avec 1≤ k(N) ≤N
(cid:1) puis de rechercher le plus petit intervalle centré sur x et
contenant k(N) points de l'échantillon.
(
,
rxI
)
=
[
x
,
xr
+
]r
(cid:1) Soit l’intervalle
(cid:1)
)rxN ,
(
ˆ
)rxI
(
tombant dans
,
(cid:1) On pose également
le nombre de points de l’échantillon (X1,……,XN)
{
(
ˆ
N x r
(
k N
}
)
inf
0 /
>
=
x
(
)
)
r
,
ˆ
Nr
79
ENSI--SI3
2014-2015
80
ENSI--SI3
2014-2015
-
‡
-
˛
fi
fi
fi
fi
La méthode des noyaux
La méthode des noyaux
(cid:1) Il s’agit de sommer les contributions des différents xi en
normalisant par l’entité hN appelée "paramètre de lissage"
ou plus simplement "pas".
(cid:1) Il est défini par :
ˆ
f
N
( )
x
=
1
1
Nh
N
N
∑
K
i
x X
x X
h
N
iN
=
1
(cid:1) K une densité de probabilité appelée noyau
(cid:1) le noyau K est centré sur le point x dont on veut estimer
l’image par f
(cid:1) les noyaux K utilisés répondent aux propriétés suivantes :
)uK
(
( )
uK
=
(cid:1) K est symétrique, i.e
∫
(cid:1)
du
( )
uK
=
1
Publicité
R
( )
j
uKu
=
du
0
pour
j
=
1
,.....,
k
1
( )
uKu
k
du
0
(cid:1)
∫
R
(cid:1)
∫
R
K est dit noyau d'ordre k. Il est à noter qu'en raison de la
symétrie K est nécessairement paire
81
ENSI--SI3
2014-2015
82
ENSI--SI3
2014-2015
La méthode des noyaux
(cid:1) Exemples de noyaux d'ordre 2
Noyaux
Uniforme
Triangle
Epanechnikov
Gaussien
( )uK
(
£uI
)1
1
2
(
(
1
1
) (
) (
uIu
uIu
)1
)1
) (
uIu
2
)1
(
1
3
4
1
p
2
-
exp
2
u
1
2
La méthode des noyaux
(cid:1) Importance du paramètre de lissage
(cid:1) Largeur h du noyau : détermine le degré de lissage de la
fonction
(cid:1) h trop petit : sensible au bruit. h trop grand : perd les traits
essentiels (la bimodalité dans l'exemple)
(cid:1) La largeur du noyau a généralement un impact plus
(cid:1) La largeur du noyau a généralement un impact plus
important que sa forme
83
ENSI--SI3
2014-2015
84
ENSI--SI3
2014-2015
La méthode des noyaux
Estimation par les fonctions orthogonales
h >
N
Opt
h
N
Densité théorique
Densité estimée
(cid:1) L’estimation de f est ramenée à l’estimation d’un
paramètre à valeurs dans Rk
(cid:1) f s’écrit sous la forme d’une série :
0.4
hn optimal = 0.0307
0.2
0
-1.5
Densité théorique
Densité estimée
-1
-0.5
0
0.5
1
1.5
1.5
1
Opt
h
N
0.5
h =
N
(
(
f x
)
)
∑
= ∑
(
(
)
)
f e
m
m
( )
( )
x
a
m
m
+¥
m=
0
(cid:1) où les em sont des fonctions connues et les coefficients
ma
f
(
)
de Fourier de la densité de probabilité à estimer f.
h <
(cid:1)
N
Opt
h
N
Densité théorique
Densité estimée
2
1.8
1.6
1.4
1.2
Publicité
1
0.8
0.6
2
1.8
1.6
1.4
1.2
1
0.8
0.6
0.4
0.2
0
-1.5
-1
-0.5
0
85
2
1.8
1.6
1.4
1.2
1
0.8
0.6
0.4
0.2
0
-1.5
-1
-0.5
0
0.5
1
1.5
ENSI--SI3
2014-2015
86
ENSI--SI3
2014-2015
-
-
-
-
„
£
-
£
-
£
-
Estimation par les fonctions orthogonales
Estimation par les fonctions orthogonales
trigonométriques dans
(cid:1) Exemple de fonctions orthogonales : la base des fonctions
[
-=X
(
cos
ix
p
]pp ,
)
(
ix
p
sin
i
12
=
=
=
e
e
e
)
;
;
;
0
2
i
1
p
2
(cid:1) La méthode d’estimation consiste à tronquer la série :
( )
x
f
k
= ∑
(
)
f e
m
(
)
x
a
m
k
m
=
1
)f
)
(cid:1) puis à estimer les paramètres .
)
,.....,
(
(
fa
1
a
(
k
(cid:1) Il s’agit d’estimer, pour chaque m, le coefficient de Fourier
am(f) à partir des observations (X1,……,XN)
ˆ
a
,
Nm
=
N
1
∑
=mN 1
N
=
1
m
(
Xe
m
i
)
(cid:1) Par conséquent, f (x) peut être estimée par :
(
X
)
=
ˆ
f
N
1
N
NK
∑
m
=
1
,ˆ
a
mNm
(
Xe
)
87
ENSI--SI3
2014-2015
88
ENSI--SI3
2014-2015
-