Méthodes Paramétriques
(cid:1) On considère que la densité recherchée appartient à une
famille paramétrée par des vecteurs et on indique
cette dépendance en écrivant au lieu de
( qxp
)(xp
˛q
)
(cid:1) L’échantillon X étant issu de variables i.i.d., nous pouvons
écrire
(
Xp
Xp
(
q
q
(cid:213)=
=
)
)
N
(
ixp
ixp
(
q
q
)
)
Méthodes Paramétriques
(cid:1) Un cas simple : loi normale 1D
(cid:1) Considérons le cas suivant :
(cid:1) La famille paramétrée candidate est celle des lois normales
T]
donc
sm
,
q =
[
=
i
1
qXp
(
(cid:1) Comme fonction de , est la vraisemblance
q
)
(likelihood) de par rapport à l’échantillon X
q
(cid:1) Il est en général plus facile de travailler avec le logarithme
de la vraisemblance (log-likelihood)
∑
(
Xp
q
)(
ln[
)]
=
q
l
N
ln[
(
ixp
q
)]
=
1
i
90
ENSI--SI3
2014-2015
91
ENSI--SI3
2014-2015
Maximum de Vraisemblance (MV)
Maximum de Vraisemblance (MV)
qˆ
(cid:1) L’estimation la plus en accord avec les observations X
est celle qui correspond au maximum de la vraisemblance
qXp
(
)
(cid:1) Le logarithme en base e étant une fonction monotone
(cid:1) Le logarithme en base e étant une fonction monotone
croissante, le maximum de la vraisemblance est atteint pour
le même que le maximum de
)(ql
qˆ
(cid:1) Exemple : pour le cas normal unidimensionnel considéré,
q
)(
l
=
Publicité
N
∑
=
1
i
ln[
xp
(
i
q
=
)]
N
∑
=
1
i
s
ln
p
2
1
s
2
(
x
i
2
m
2
)
(cid:1) donc en dérivant on obtient
(cid:1) donc en dérivant on obtient
N
∑
=
1
i
[
ln
q
(
xp
i
]
)
m
=
1
2
s
N
∑
=
1
i
(
x
i
m
)
N
∑
=
1
i
[
ln
q
(
xp
i
s
]
)
-=
N
s
+
1
3
s
N
∑
=
1
i
(
x
Publicité
i
m
2
)
92
ENSI--SI3
2014-2015
93
ENSI--SI3
2014-2015
W
(cid:213)
”
-
-
-
-
¶
¶
-
¶
¶
Maximum de Vraisemblance (MV)
Maximum de Vraisemblance (MV)
(cid:1) Les dérivées partielles sont nulles
+
et
N
m
=
0)ˆ
1
s
2
ˆ
-∑
ix
(
=
1
i
N
s
ˆ
1
s
3
ˆ
N
∑
=
1
i
(
ix
2
m
)ˆ
=
0
N
pour
m
m
ˆ
ˆ
1
= ∑
= ∑
N
N i
(cid:1) Remarques
x
x
i
i
=
1
=
=
(
(
x
x
)
)
et
et
2
s
s
ˆ
ˆ
=
=
Publicité
N
1
∑ -
∑
(
(
ix
ix
N 1
=
i
2
m
m
)ˆ
)ˆ
(cid:1) L’estimation pour est non biaisée (son espérance sur tous les
échantillons de taille n est égale à la vraie valeur de )
m
(cid:1) L’estimation de est en revanche biaisée ; une estimation non
m
2s
biaisée est
2
s
ˆ
=
1
N
1
N
∑
=
1
i
(
ix
2
m
)ˆ
(cid:1) Exemple 2 : lois normales multidimensionnelles
IR˛
d
(cid:1) X
(cid:1) La famille paramétrée candidate est celle des lois normales
xp
(
q
=
)
1
d
2/
(
x
m
T
)
1
(
x
m
)
1
2
e
)2( p
p
)2(
(cid:1) Dans ce cas, le maximum de la vraisemblance est donné
par :
ˆm
=
N
1
∑
N 1
=
i
ix
et
ˆ
=S
N
1
∑
N 1
=
i
(
x
i
m
)(ˆ
x
Publicité
i
T
m
)ˆ
94
ENSI--SI3
2014-2015
95
ENSI--SI3
2014-2015
Maximum de Vraisemblance (MV)
(cid:1) Ici encore, l’estimation de est non biaisée mais celle de
m
la matrice de variances-covariances est biaisée
(simplement asymptotiquement non biaisée) ; une
estimation non biaisée est
Maximum a posteriori (MAP)
)(qp
(cid:1) Si on connaît la densité de probabilité a priori pour ,
q
il est préférable de choisir la solution qui maximise la
q
probabilité a posteriori
Xp
(
Xp
(
q
)(
p
q
)
)
ˆ
ˆ
=S
=S
1
1
N
1
N
∑
∑
=
1
i
(
(
x
x
i
m
m
)(ˆ
)(ˆ
x
x
i
T
T
m
m
)ˆ
)ˆ
96
ENSI--SI3
2014-2015
97
ENSI--SI3
2014-2015
-
-
-
-
-
-
S
-
-
-
S
S
-
-
S
-
-
-
-
-
(cid:181)