Méthodes Paramétriques
(cid:1) On considère que la densité recherchée appartient à une famille paramétrée par des vecteurs et on indique cette dépendance en écrivant au lieu de
( qxp
)(xp
˛q
)
(cid:1) L’échantillon X étant issu de variables i.i.d., nous pouvons
écrire
( Xp Xp (
q q
(cid:213)= =
) )
N
( ixp ixp (
q q
) )
Méthodes Paramétriques
(cid:1) Un cas simple : loi normale 1D (cid:1) Considérons le cas suivant :
(cid:1) La famille paramétrée candidate est celle des lois normales
T] donc
sm ,
q =
[
= i 1 qXp ( (cid:1) Comme fonction de , est la vraisemblance
q
)
(likelihood) de par rapport à l’échantillon X
q
(cid:1) Il est en général plus facile de travailler avec le logarithme
de la vraisemblance (log-likelihood) ∑
( Xp
q )(
ln[
)]
=
q
l
N
ln[
( ixp
q
)]
= 1
i
90
ENSI--SI3
2014-2015
91
ENSI--SI3
2014-2015
Maximum de Vraisemblance (MV)
Maximum de Vraisemblance (MV)
qˆ
(cid:1) L’estimation la plus en accord avec les observations X est celle qui correspond au maximum de la vraisemblance qXp (
)
(cid:1) Le logarithme en base e étant une fonction monotone (cid:1) Le logarithme en base e étant une fonction monotone
croissante, le maximum de la vraisemblance est atteint pour le même que le maximum de
)(ql
qˆ
(cid:1) Exemple : pour le cas normal unidimensionnel considéré,
q )(
l
=
N
∑
= 1
i
ln[
xp ( i
q
Publicité
=
)]
N
∑
= 1
i
s
ln
p 2
1 s 2
(
x i
2
m
2
)
(cid:1) donc en dérivant on obtient (cid:1) donc en dérivant on obtient
N
∑
= 1
i
[
ln
q
( xp i
]
)
m
=
1 2
s
N
∑
= 1
i
(
x i
m
)
N
∑
= 1
i
[
ln
q
( xp i
s
] ) -=
N s
+
1 3
s
N
∑
= 1
i
(
x i
m
2
)
92
ENSI--SI3
2014-2015
93
ENSI--SI3
2014-2015
Publicité
W (cid:213) ” - - - - ¶ ¶ - ¶ ¶ Maximum de Vraisemblance (MV)
Maximum de Vraisemblance (MV)
(cid:1) Les dérivées partielles sont nulles +
et
N
m = 0)ˆ
1 s 2 ˆ
-∑ ix (
= 1
i
N s ˆ
1 s 3 ˆ
N
∑
= 1
i
(
ix
2
m )ˆ
=
0
N
pour m m ˆ ˆ
1 = ∑ = ∑ N N i (cid:1) Remarques
x x i i
= 1
= =
( (
x x
) )
et et
2
s s ˆ ˆ
= =
N
1 ∑ - ∑ ( ( ix ix N 1 = i
2
m m )ˆ )ˆ
(cid:1) L’estimation pour est non biaisée (son espérance sur tous les
échantillons de taille n est égale à la vraie valeur de )
m
(cid:1) L’estimation de est en revanche biaisée ; une estimation non
m
2s
biaisée est
2
s ˆ
=
1
N
1
N
∑
= 1
i
(
ix
2
m )ˆ
(cid:1) Exemple 2 : lois normales multidimensionnelles
IR˛
d
(cid:1) X (cid:1) La famille paramétrée candidate est celle des lois normales
xp (
q
=
)
1 d 2/
(
Publicité
x
m
T
)
1
(
x
m
)
1 2
e
)2( p p )2( (cid:1) Dans ce cas, le maximum de la vraisemblance est donné
par :
ˆm
=
N
1 ∑ N 1 = i
ix
et
ˆ =S
N
1 ∑ N 1 = i
(
x i
m )(ˆ
x i
T
m )ˆ
94
ENSI--SI3
2014-2015
95
ENSI--SI3
2014-2015
Maximum de Vraisemblance (MV)
(cid:1) Ici encore, l’estimation de est non biaisée mais celle de
m
la matrice de variances-covariances est biaisée (simplement asymptotiquement non biaisée) ; une estimation non biaisée est
Maximum a posteriori (MAP)
)(qp (cid:1) Si on connaît la densité de probabilité a priori pour ,
q
il est préférable de choisir la solution qui maximise la q probabilité a posteriori Xp (
Xp (
q )(
p
q
)
)
ˆ ˆ =S =S
1 1
N
1
N
∑ ∑
= 1
i
( (
x x i
m m )(ˆ )(ˆ
x x i
T T
m m )ˆ )ˆ
96
ENSI--SI3
2014-2015
97
ENSI--SI3
2014-2015
- - - - - - S - - - S S - - S - - - - - (cid:181)