Introduction
Simulation de la loi uniforme sur (0,1)
Simulation d’une v.a. de loi donnée
Nécessité des simulations
Nombres aléatoires
Conclusions
Simulation de phénomènes physiques
Simulation d’expériences physiques où des variables doivent être
rendues aléatoires afin d’éliminer des biais.
Probabilités Appliquées I – Simulation
Introduction
Simulation de la loi uniforme sur (0,1)
Simulation d’une v.a. de loi donnée
Nécessité des simulations
Nombres aléatoires
Conclusions
Résolution de problèmes diciles
Résolution de problèmes impliquant des processus physiques complexes.
(ici théorie cinétique des gaz)
Probabilités Appliquées I – Simulation
Introduction
Simulation de la loi uniforme sur (0,1)
Simulation d’une v.a. de loi donnée
Nécessité des simulations
Nombres aléatoires
Conclusions
Approximation d’intégrales
Calcul de la valeur approchée d’un intégrale comportant beaucoup
de variables
cos(3x) + sin(7
1 + x 2 + y 2
p
Z ZB
avec (xi , yi ) « bien répartis » dans la boule unité.
⇡ ⇠
1
M
dxdy
Xi=1
y
|
(0,1)
)
|
M
cos(3xi ) + sin(7
)
yi |
|
i + y 2
1 + x 2
p
i
,
1
0.8
0.6
0.4
0.2
0
−0.2
−0.4
−0.6
−0.8
−1
−1
−0.5
0
0.5
1
Probabilités Appliquées I – Simulation
Toutes les autres formes d’alea seront simulés à partir de la loi
uniforme (cf. théorème fondamental de la simulation).
Nécessité d’élaborer des procédures pour tester les
distributions de nombres.
Introduction
Simulation de la loi uniforme sur (0,1)
Simulation d’une v.a. de loi donnée
Nécessité des simulations
Nombres aléatoires
Conclusions
Buts
On va s’intéresser aux méthodes de simulations de nombres
uniformément répartis sur [0,1], c.-à-d. suivant une loi
uniforme.
Probabilités Appliquées I – Simulation
Nécessité d’élaborer des procédures pour tester les
distributions de nombres.
Introduction
Simulation de la loi uniforme sur (0,1)
Simulation d’une v.a. de loi donnée
Nécessité des simulations
Nombres aléatoires
Conclusions
Buts
On va s’intéresser aux méthodes de simulations de nombres
uniformément répartis sur [0,1], c.-à-d. suivant une loi
uniforme.
Toutes les autres formes d’alea seront simulés à partir de la loi
uniforme (cf. théorème fondamental de la simulation).
Probabilités Appliquées I – Simulation
Introduction
Simulation de la loi uniforme sur (0,1)
Simulation d’une v.a. de loi donnée
Nécessité des simulations
Nombres aléatoires
Conclusions
Buts
On va s’intéresser aux méthodes de simulations de nombres
uniformément répartis sur [0,1], c.-à-d. suivant une loi
uniforme.
Toutes les autres formes d’alea seront simulés à partir de la loi
uniforme (cf. théorème fondamental de la simulation).
Nécessité d’élaborer des procédures pour tester les
distributions de nombres.
Probabilités Appliquées I – Simulation
Introduction
Simulation de la loi uniforme sur (0,1)
Simulation d’une v.a. de loi donnée
Opérations sur les v.a. et premières applications
Méthodes de rejet
Méthode de Box-Müller
Plan
1 Introduction
Nécessité des simulations
Nombres aléatoires
Conclusions
2 Simulation de la loi uniforme sur (0,1)
Le théorème de représentation de Skorohod
Définition mathématique
Générateurs congruentiels
3 Simulation d’une v.a. de loi donnée
Opérations sur les v.a. et premières applications
Méthodes de rejet
Méthode de Box-Müller
Probabilités Appliquées I – Simulation
Introduction
Simulation de la loi uniforme sur (0,1)
Simulation d’une v.a. de loi donnée
Opérations sur les v.a. et premières applications
Méthodes de rejet
Méthode de Box-Müller
Quelques v.a. importantes
Symbole
(µ, 2)
N
f (x)
(x
e
1
p2⇡
µ)2
22
E(X ) Var(X )
F (x)
µ
2
cf .cdfnor
G (a, b)
1
(a)ba x a
1e
x/b
ab
ab2
cf .cdfgam
()
E
e
x 1[0,+
[
1
1/
1/2
x
e
1
Probabilités Appliquées I – Simulation
Introduction
Simulation de la loi uniforme sur (0,1)
Simulation d’une v.a. de loi donnée
Opérations sur les v.a. et premières applications
Méthodes de rejet
Méthode de Box-Müller
Transformation de v.a.
On peut obtenir de nombreuses v.a. à partir d’autres selon diverses
opérations :
1 changement de variables, transformation ;
2 mélanges ;
3
tri, statistique d’ordre ;
4 convolution des densités = somme de v.a.
Probabilités Appliquées I – Simulation
Alors Y = h(X ) ssi X = h
1(Y ) = g (Y ) où g : Rd
Rd .
!
Si de plus les dérivées partielles gi,j =
existent et sont
@gi
@yj
continues alors Y a pour densité
f (g (y ))det(J),
où J désigne la matrice jacobienne du changement de
variable, c.-à-d.
J = [gi,j ]
Introduction
Simulation de la loi uniforme sur (0,1)
Simulation d’une v.a. de loi donnée
Opérations sur les v.a. et premières applications
Méthodes de rejet
Méthode de Box-Müller
Changement de variables
Théorème
X de densité f continue sur Rd . On pose S = Supp(f ). Soit
h : Rd
Rd bijective de S sur T = h(S).
!
Probabilités Appliquées I – Simulation
Si de plus les dérivées partielles gi,j =
existent et sont
continues alors Y a pour densité
@gi
@yj
f (g (y ))det(J),
où J désigne la matrice jacobienne du changement de
variable, c.-à-d.
J = [gi,j ]
Introduction
Simulation de la loi uniforme sur (0,1)
Simulation d’une v.a. de loi donnée
Opérations sur les v.a. et premières applications
Méthodes de rejet
Méthode de Box-Müller
Changement de variables
Théorème
X de densité f continue sur Rd . On pose S = Supp(f ). Soit
h : Rd
Rd bijective de S sur T = h(S).
!
Alors Y = h(X ) ssi X = h
1(Y ) = g (Y ) où g : Rd
Rd .
!
Probabilités Appliquées I – Simulation
Introduction
Simulation de la loi uniforme sur (0,1)
Simulation d’une v.a. de loi donnée
Opérations sur les v.a. et premières applications
Méthodes de rejet
Méthode de Box-Müller
Changement de variables
Théorème
X de densité f continue sur Rd . On pose S = Supp(f ). Soit
h : Rd
Rd bijective de S sur T = h(S).
!
Alors Y = h(X ) ssi X = h
Si de plus les dérivées partielles gi,j =
existent et sont
1(Y ) = g (Y ) où g : Rd
@gi
@yj
Rd .
!
continues alors Y a pour densité
f (g (y ))det(J),
où J désigne la matrice jacobienne du changement de
variable, c.-à-d.
J = [gi,j ]
Probabilités Appliquées I – Simulation
Introduction
Simulation de la loi uniforme sur (0,1)
Simulation d’une v.a. de loi donnée
Opérations sur les v.a. et premières applications
Méthodes de rejet
Méthode de Box-Müller
Un bon changement de variable
X : ⌦
!
R de loi image sur R : µ = P
X
1.
But : simuler xn = Xn(!),
Xn}n
{
On dit que les xn sont distribués selon la loi image µ.
0 v.a. i.i.d., Xn
d
= X .
Soit F (x) = µ(]
, x]) = P
X
{
x
}
1
. La fonction F est
croissante ;
continue a droite et admet une limite a gauche (propriété de
la mesure)
Lemme
Supposons F strictement croissante et continue. Alors si U suit
une loi uniforme sur (0, 1) on a
F
1(U)
d
= X .
Probabilités Appliquées I – Simulation
Introduction
Simulation de la loi uniforme sur (0,1)
Simulation d’une v.a. de loi donnée
Opérations sur les v.a. et premières applications
Méthodes de rejet
Méthode de Box-Müller
Variantes et cas particuliers
Si µ admet une densité qui ne charge pas 0 alors
x
F (x) =
f (u) du
est continue et strictement croissante.
Z
1
Dans le cas où F est seulement croissante et/ou discontinue
en seulement certains points, le lemme reste vrai à condition
de remplacer F par son inverse continu à gauche
F
g
1
(u)
def
= inf
F (s)
s
{
|
u
.
}
Alors F
g
1
est croissante, continue à gauche et
u
8
2
(0, 1),
F
g
1
(u)
x
F (x)
u.
()
Probabilités Appliquées I – Simulation
Introduction
Simulation de la loi uniforme sur (0,1)
Simulation d’une v.a. de loi donnée
Opérations sur les v.a. et premières applications
Méthodes de rejet
Méthode de Box-Müller
Nombreuses applications
Le lemme précédent permet de simuler les lois suivantes :
E
1 Loi de la v.a. exponentielle
() de paramètre > 0.
2 Loi de la v.a. de Cauchy, Cauchy(c), paramètre c > 0.
3 Loi de la v.a. de Pareto P✓ de paramètre ✓ > 0.
4 Loi supportée par un ensemble fini E =
.
x1; . . . ; xN }
{
5 Loi de la v.a. de Bernoulli B(p) de paramètre p
[0, 1].
2
6 Loi de la v.a. binomiale B(n, p) de paramètre (n, p),
p
[0, 1], n
1.
2
7 Loi de la v.a. géométrique G (p) de paramètre p :
⌧ = min
{
k
0
Xk = 1
}
|
d
= G (p)
Probabilités Appliquées I – Simulation
Introduction
Simulation de la loi uniforme sur (0,1)
Simulation d’une v.a. de loi donnée
Opérations sur les v.a. et premières applications
Méthodes de rejet
Méthode de Box-Müller
v.a. ne prenant qu’un nombre fini de valeurs
i
(xi )1
Publicité
pk = P(
{
N distincts X : ⌦
X = xk }
).
x1, . . . , xN }
! {
de loi
L’inverse continue à gauche de la fonction de re´partition de X est
u
8
2
(0, 1),
1
F
g
(u) =
N
Xk=1
xk 1
{
p1+
+pk
1<u
p1+
+pk }
···
···
.
Donc
d
=
X
N
Xk=1
xk 1
{
p1+
+pk
···
1<U
p1+
+pk }
···
, U
d
=
([0, 1]).
U
Probabilités Appliquées I – Simulation
Introduction
Simulation de la loi uniforme sur (0,1)
Simulation d’une v.a. de loi donnée
Opérations sur les v.a. et premières applications
Méthodes de rejet
Méthode de Box-Müller
Mélanges de v.a.
Mélange discret : Y : ⌦
Y = n
sachant
{
!
, c.-à-d. de densité
}
N et X de densité conditionnelle fn
f (x) =
+
1
Xn=1
P(Y = n)fn(x)
R de densité g et X de densité
Mélange continu : Y : ⌦
!
, Y ), c.-à-d. de densité
conditionnelle sachant Y , f (
·
f (x) =
f (x, y )g (y )dy
Z
Probabilités Appliquées I – Simulation
Introduction
Simulation de la loi uniforme sur (0,1)
Simulation d’une v.a. de loi donnée
Opérations sur les v.a. et premières applications
Méthodes de rejet
Méthode de Box-Müller
Une densité simulable, l’autre pas
Soit f et g deux densités de probabilités (par rapport à la mesure
de Lebesgue ) sur Rd telles que g > 0 -p.s. et pour lesquelles il
existe un réel c > 0 tel que
x
8
2
d ,
R
f (x)
c g (x).
On souhaite simuler X de densité f et on fait les hypothèses de
simulation suivantes :
on sait simuler une suite i.i.d. de vecteurs aléatoires
de loi g (y ) et
Yk }k
{
1
on sait calculer f et g ,
à un coût raisonnable.
Probabilités Appliquées I – Simulation
Introduction
Simulation de la loi uniforme sur (0,1)
Simulation d’une v.a. de loi donnée
Opérations sur les v.a. et premières applications
Méthodes de rejet
Méthode de Box-Müller
Un lemme de Von Neumann
Lemme (Von Neumann, 1951)
Soit (Un, Yn)n
(⌦,
A
1 une suite de v.a. i.i.d. de lois
PY définie sur
⌦
, P) où PY (dy ) = g (y )dy . Posons
⌧ = min
{
k
1
cUk g (Yk )
.
f (Yk )
}
Alors, ⌧ suit une loi géométrique G ?(p) de paramètre
p = P
= 1
|
c et
cU1g (Y1)
{
f (Y1)
}
X
d
= Y⌧ .
Probabilités Appliquées I – Simulation
Introduction
Simulation de la loi uniforme sur (0,1)
Simulation d’une v.a. de loi donnée
Opérations sur les v.a. et premières applications
Méthodes de rejet
Méthode de Box-Müller
Simulation
Corollaire
On définit par récurrence pour tout n
suivantes :
1 les v.a. a valeurs entieres
⌧1 = min
{
k
1
|
cUk g (Yk )
f (Yk )
}
,
puis
⌧n+1 = min
{
k
Alors la suite (⌧n
loi commune G ?(p) et la suite
⌧n
⌧n + 1
cUk g (Yk )
1)n
|
1 est i.i.d. (par convention ⌧0 = 0) de
.
f (Yk )
}
Xn = Y⌧n
est i.i.d. de loi PX .
Probabilités Appliquées I – Simulation
D
⇢
Alors
[
M, M]d , Y
d
=
M, M]d ) et ⌧ = min
n
([
U
Yn 2
D
.
}
|
{
Y⌧
d
=
(D).
U
Appliquer le lemme précédent à g (x) = (2M)
d 1[
M,M]d (x)
et f (x) = 1
(D) 1D(x).
Loi normale sur R. (cf. exercices)
Loi (↵), ↵ > 0.
Introduction
Simulation de la loi uniforme sur (0,1)
Simulation d’une v.a. de loi donnée
Opérations sur les v.a. et premières applications
Méthodes de rejet
Méthode de Box-Müller
Applications
Loi uniforme sur des domaines bornés D
Rd :
⇢
Probabilités Appliquées I – Simulation
Introduction
Simulation de la loi uniforme sur (0,1)
Simulation d’une v.a. de loi donnée
Opérations sur les v.a. et premières applications
Méthodes de rejet
Méthode de Box-Müller
Applications
Loi uniforme sur des domaines bornés D
d
=
D
⇢
Alors
Rd :
M, M]d ) et ⌧ = min
{
M, M]d , Y
[
⇢
([
U
n
Yn 2
D
.
}
|
Y⌧
d
=
(D).
U
Appliquer le lemme précédent à g (x) = (2M)
et f (x) = 1
(D) 1D(x).
Loi normale sur R. (cf. exercices)
Loi (↵), ↵ > 0.
d 1[
M,M]d (x)
Probabilités Appliquées I – Simulation
I 0 < ↵ < 1 : méthode de rejet
f↵(x)
↵ + e
↵e(↵)
I ↵ = n
N :
2
g↵(x),
g↵(x) =
x ↵
11(0,1)(x) + exp(
x)1[1,+
[(x)
1
X d= (↵), X 0
d= (↵0) =
X + X 0
d= (↵) + (↵0)
↵e
↵ + e
)
(1) =
(1)
E
Introduction
Simulation de la loi uniforme sur (0,1)
Simulation d’une v.a. de loi donnée
Opérations sur les v.a. et premières applications
Méthodes de rejet
Méthode de Box-Müller
SImulation de la loi (↵)
X : ⌦
[0, +
1
!
[ de loi PX (dx) = f↵(x)(dx) où
f↵(x) =
1
(↵)
x ↵
1 exp(
x)1[0,+
[(x).
1
Probabilités Appliquées I – Simulation
Introduction
Simulation de la loi uniforme sur (0,1)
Simulation d’une v.a. de loi donnée
Opérations sur les v.a. et premières applications
Méthodes de rejet
Méthode de Box-Müller
SImulation de la loi (↵)
X : ⌦
[0, +
1
!
[ de loi PX (dx) = f↵(x)(dx) où
f↵(x) =
1
(↵)
x ↵
1 exp(
x)1[0,+
[(x).
1
I 0 < ↵ < 1 : méthode de rejet
f↵(x)
↵ + e
↵e(↵)
I ↵ = n
N :
2
g↵(x),
g↵(x) =
↵e
↵ + e
x ↵
11(0,1)(x) + exp(
x)1[1,+
[(x)
1
X d= (↵), X 0
d= (↵0) =
)
(1) =
X + X 0
d= (↵) + (↵0)
(1)
E
Probabilités Appliquées I – Simulation
On pose X = pR cos(⇥), Y = pR sin(⇥) et f , g fonctions boréliennes sur R :
E f (X )g (Y ) =
f (px cos(✓))g (px sin(✓)),
+
1
dx
exp
2
+
1
r dr exp
x
2
“
0
” Z
r 2
2⇡
d✓
2⇡
2⇡
2
Publicité
„
0
« Z
d✓
2⇡
dx 0dy 0
2⇡
f (x 0)g (y 0) exp(
(x 0
2 + y 0
2)/2),
=
=
0
Z
0
Z
ZR2
f (r cos(✓))g (r sin(✓)),
La dernière égalité se factorise en
E f (X )g (Y ) =
dx 0
p2⇡
exp(
2/2)f (x 0)
x 0
„ZR
dy 0
p2⇡
exp(
2/2)g (y 0)
y 0
«
= E f (X 0)g (Y 0),
où X 0, Y 0
d=
(0, 1).
« „ZR
N
En appliquant cette derniere relation a f = 1 puis g = 1, on en déduit dans un
premier temps que X et Y suivent des lois normales et dans un deuxième
temps qu’elles sont indépendantes.
Introduction
Simulation de la loi uniforme sur (0,1)
Simulation d’une v.a. de loi donnée
Opérations sur les v.a. et premières applications
Méthodes de rejet
Méthode de Box-Müller
Un changement de variable en polaire
Soit R d=
( 1
2 )
E
??
⇥ d=
U
([0, 2⇡]).
Probabilités Appliquées I – Simulation
E f (X )g (Y ) =
f (px cos(✓))g (px sin(✓)),
+
1
dx
exp
2
+
1
r dr exp
x
2
“
0
” Z
r 2
2⇡
d✓
2⇡
2⇡
2
„
0
« Z
d✓
2⇡
dx 0dy 0
2⇡
f (x 0)g (y 0) exp(
(x 0
2 + y 0
2)/2),
=
=
0
Z
0
Z
ZR2
f (r cos(✓))g (r sin(✓)),
La dernière égalité se factorise en
E f (X )g (Y ) =
dx 0
p2⇡
exp(
2/2)f (x 0)
x 0
„ZR
dy 0
p2⇡
exp(
2/2)g (y 0)
y 0
«
= E f (X 0)g (Y 0),
où X 0, Y 0
d=
(0, 1).
« „ZR
N
En appliquant cette derniere relation a f = 1 puis g = 1, on en déduit dans un
premier temps que X et Y suivent des lois normales et dans un deuxième
temps qu’elles sont indépendantes.
Introduction
Simulation de la loi uniforme sur (0,1)
Simulation d’une v.a. de loi donnée
Opérations sur les v.a. et premières applications
Méthodes de rejet
Méthode de Box-Müller
Un changement de variable en polaire
Soit R d=
( 1
2 )
E
??
⇥ d=
U
([0, 2⇡]).
On pose X = pR cos(⇥), Y = pR sin(⇥) et f , g fonctions boréliennes sur R :
Probabilités Appliquées I – Simulation
+
1
r dr exp
r 2
2
„
0
« Z
=
=
0
Z
ZR2
dx 0dy 0
2⇡
2⇡
d✓
2⇡
f (x 0)g (y 0) exp(
(x 0
2 + y 0
2)/2),
f (r cos(✓))g (r sin(✓)),
La dernière égalité se factorise en
E f (X )g (Y ) =
dx 0
p2⇡
exp(
2/2)f (x 0)
x 0
„ZR
dy 0
p2⇡
exp(
2/2)g (y 0)
y 0
«
= E f (X 0)g (Y 0),
où X 0, Y 0
d=
(0, 1).
« „ZR
N
En appliquant cette derniere relation a f = 1 puis g = 1, on en déduit dans un
premier temps que X et Y suivent des lois normales et dans un deuxième
temps qu’elles sont indépendantes.
Introduction
Simulation de la loi uniforme sur (0,1)
Simulation d’une v.a. de loi donnée
Opérations sur les v.a. et premières applications
Méthodes de rejet
Méthode de Box-Müller
Un changement de variable en polaire
Soit R d=
( 1
2 )
E
??
⇥ d=
U
([0, 2⇡]).
On pose X = pR cos(⇥), Y = pR sin(⇥) et f , g fonctions boréliennes sur R :
E f (X )g (Y ) =
+
1
dx
2
exp
x
2
“
0
” Z
2⇡
d✓
2⇡
0
Z
f (px cos(✓))g (px sin(✓)),
Probabilités Appliquées I – Simulation
dx 0dy 0
2⇡
=
ZR2
f (x 0)g (y 0) exp(
(x 0
2 + y 0
2)/2),
La dernière égalité se factorise en
E f (X )g (Y ) =
dx 0
p2⇡
exp(
2/2)f (x 0)
x 0
„ZR
dy 0
p2⇡
exp(
2/2)g (y 0)
y 0
«
= E f (X 0)g (Y 0),
où X 0, Y 0
d=
(0, 1).
« „ZR
N
En appliquant cette derniere relation a f = 1 puis g = 1, on en déduit dans un
premier temps que X et Y suivent des lois normales et dans un deuxième
temps qu’elles sont indépendantes.
Introduction
Simulation de la loi uniforme sur (0,1)
Simulation d’une v.a. de loi donnée
Opérations sur les v.a. et premières applications
Méthodes de rejet
Méthode de Box-Müller
Un changement de variable en polaire
Soit R d=
( 1
2 )
E
??
⇥ d=
U
([0, 2⇡]).
On pose X = pR cos(⇥), Y = pR sin(⇥) et f , g fonctions boréliennes sur R :
E f (X )g (Y ) =
=
+
1
+
1
0
Z
0
Z
2⇡
0
d✓
2⇡
2⇡
dx
2
exp
“
r dr exp
x
2
” Z
r 2
2
„
0
« Z
d✓
2⇡
f (px cos(✓))g (px sin(✓)),
f (r cos(✓))g (r sin(✓)),
Probabilités Appliquées I – Simulation
La dernière égalité se factorise en
E f (X )g (Y ) =
dx 0
p2⇡
exp(
2/2)f (x 0)
x 0
„ZR
dy 0
p2⇡
exp(
2/2)g (y 0)
y 0
«
= E f (X 0)g (Y 0),
où X 0, Y 0
d=
(0, 1).
« „ZR
N
En appliquant cette derniere relation a f = 1 puis g = 1, on en déduit dans un
premier temps que X et Y suivent des lois normales et dans un deuxième
temps qu’elles sont indépendantes.
Introduction
Simulation de la loi uniforme sur (0,1)
Simulation d’une v.a. de loi donnée
Opérations sur les v.a. et premières applications
Méthodes de rejet
Méthode de Box-Müller
Un changement de variable en polaire
Soit R d=
( 1
2 )
E
??
⇥ d=
U
([0, 2⇡]).
On pose X = pR cos(⇥), Y = pR sin(⇥) et f , g fonctions boréliennes sur R :
+
1
+
1
dx
2
exp
“
r dr exp
x
2
” Z
r 2
2
2⇡
0
d✓
2⇡
2⇡
„
0
« Z
d✓
2⇡
f (px cos(✓))g (px sin(✓)),
f (r cos(✓))g (r sin(✓)),
E f (X )g (Y ) =
=
=
0
Z
0
Z
dx 0dy 0
2⇡
ZR2
f (x 0)g (y 0) exp(
(x 0
2 + y 0
2)/2),
Probabilités Appliquées I – Simulation
En appliquant cette derniere relation a f = 1 puis g = 1, on en déduit dans un
premier temps que X et Y suivent des lois normales et dans un deuxième
temps qu’elles sont indépendantes.
Introduction
Simulation de la loi uniforme sur (0,1)
Simulation d’une v.a. de loi donnée
Opérations sur les v.a. et premières applications
Méthodes de rejet
Méthode de Box-Müller
Un changement de variable en polaire
Soit R d=
( 1
Publicité
2 )
E
??
⇥ d=
U
([0, 2⇡]).
On pose X = pR cos(⇥), Y = pR sin(⇥) et f , g fonctions boréliennes sur R :
E f (X )g (Y ) =
=
=
0
Z
0
Z
ZR2
+
1
+
1
dx
2
exp
“
r dr exp
x
2
” Z
r 2
2
2⇡
0
d✓
2⇡
2⇡
„
0
« Z
d✓
2⇡
f (px cos(✓))g (px sin(✓)),
f (r cos(✓))g (r sin(✓)),
dx 0dy 0
2⇡
f (x 0)g (y 0) exp(
(x 0
2 + y 0
2)/2),
La dernière égalité se factorise en
E f (X )g (Y ) =
dx 0
p2⇡
exp(
„ZR
2/2)f (x 0)
x 0
= E f (X 0)g (Y 0),
où X 0, Y 0
(0, 1).
« „ZR
d=
N
dy 0
p2⇡
exp(
2/2)g (y 0)
y 0
«
Probabilités Appliquées I – Simulation
Introduction
Simulation de la loi uniforme sur (0,1)
Simulation d’une v.a. de loi donnée
Opérations sur les v.a. et premières applications
Méthodes de rejet
Méthode de Box-Müller
Un changement de variable en polaire
Soit R d=
( 1
2 )
E
??
⇥ d=
U
([0, 2⇡]).
On pose X = pR cos(⇥), Y = pR sin(⇥) et f , g fonctions boréliennes sur R :
E f (X )g (Y ) =
=
=
0
Z
0
Z
ZR2
+
1
+
1
dx
2
exp
“
r dr exp
x
2
” Z
r 2
2
2⇡
0
d✓
2⇡
2⇡
„
0
« Z
d✓
2⇡
f (px cos(✓))g (px sin(✓)),
f (r cos(✓))g (r sin(✓)),
dx 0dy 0
2⇡
f (x 0)g (y 0) exp(
(x 0
2 + y 0
2)/2),
La dernière égalité se factorise en
E f (X )g (Y ) =
dx 0
p2⇡
exp(
„ZR
2/2)f (x 0)
x 0
= E f (X 0)g (Y 0),
où X 0, Y 0
(0, 1).
« „ZR
d=
N
dy 0
p2⇡
exp(
2/2)g (y 0)
y 0
«
En appliquant cette derniere relation a f = 1 puis g = 1, on en déduit dans un
premier temps que X et Y suivent des lois normales et dans un deuxième
temps qu’elles sont indépendantes.
Probabilités Appliquées I – Simulation
Outline
Introduction to Markov Chain Monte Carlo
Gibbs Sampling
The Metropolis-Hastings Algorithm
Outline
Introduction to Markov Chain Monte Carlo
Gibbs Sampling
The Metropolis-Hastings Algorithm
Markov Chain: a stochastic process in which future states are
independent of past states given the present state
Monte Carlo: simulation
Up until now, we’ve done a lot of Monte Carlo simulation to find
integrals rather than doing it analytically, a process called Monte
Carlo Integration.
Basically a fancy way of saying we can take quantities of interest of
a distribution from simulated draws from the distribution.
What is Markov Chain Monte Carlo (MCMC)?
Monte Carlo: simulation
Up until now, we’ve done a lot of Monte Carlo simulation to find
integrals rather than doing it analytically, a process called Monte
Carlo Integration.
Basically a fancy way of saying we can take quantities of interest of
a distribution from simulated draws from the distribution.
What is Markov Chain Monte Carlo (MCMC)?
Markov Chain: a stochastic process in which future states are
independent of past states given the present state
Up until now, we’ve done a lot of Monte Carlo simulation to find
integrals rather than doing it analytically, a process called Monte
Carlo Integration.
Basically a fancy way of saying we can take quantities of interest of
a distribution from simulated draws from the distribution.
What is Markov Chain Monte Carlo (MCMC)?
Markov Chain: a stochastic process in which future states are
independent of past states given the present state
Monte Carlo: simulation
Basically a fancy way of saying we can take quantities of interest of
a distribution from simulated draws from the distribution.
What is Markov Chain Monte Carlo (MCMC)?
Markov Chain: a stochastic process in which future states are
independent of past states given the present state
Monte Carlo: simulation
Up until now, we’ve done a lot of Monte Carlo simulation to find
integrals rather than doing it analytically, a process called Monte
Carlo Integration.
What is Markov Chain Monte Carlo (MCMC)?
Markov Chain: a stochastic process in which future states are
independent of past states given the present state
Monte Carlo: simulation
Up until now, we’ve done a lot of Monte Carlo simulation to find
integrals rather than doing it analytically, a process called Monte
Carlo Integration.
Basically a fancy way of saying we can take quantities of interest of
a distribution from simulated draws from the distribution.
Suppose we have a distribution p(✓) (perhaps a posterior) that we
want to take quantities of interest from.
To derive it analytically, we need to take integrals:
I =
g (✓)p(✓)d✓
Z⇥
where g (✓) is some function of ✓ (g (✓) = ✓ for the mean and
g (✓) = (✓
E (✓))2 for the variance).
We can approximate the integrals via Monte Carlo Integration by
simulating M values from p(✓) and calculating
ÎM =
g (✓(i))
1
M
M
Xi=1
Monte Carlo Integration
To derive it analytically, we need to take integrals:
I =
g (✓)p(✓)d✓
Z⇥
where g (✓) is some function of ✓ (g (✓) = ✓ for the mean and
g (✓) = (✓
E (✓))2 for the variance).
We can approximate the integrals via Monte Carlo Integration by
simulating M values from p(✓) and calculating
ÎM =
g (✓(i))
1
M
M
Xi=1
Monte Carlo Integration
Suppose we have a distribution p(✓) (perhaps a posterior) that we
want to take quantities of interest from.
We can approximate the integrals via Monte Carlo Integration by
simulating M values from p(✓) and calculating
ÎM =
g (✓(i))
1
M
M
Xi=1
Monte Carlo Integration
Suppose we have a distribution p(✓) (perhaps a posterior) that we
want to take quantities of interest from.
To derive it analytically, we need to take integrals:
I =
g (✓)p(✓)d✓
Z⇥
where g (✓) is some function of ✓ (g (✓) = ✓ for the mean and
g (✓) = (✓
E (✓))2 for the variance).
Monte Carlo Integration
Suppose we have a distribution p(✓) (perhaps a posterior) that we
want to take quantities of interest from.
To derive it analytically, we need to take integrals:
I =
g (✓)p(✓)d✓
Z⇥
where g (✓) is some function of ✓ (g (✓) = ✓ for the mean and
g (✓) = (✓
E (✓))2 for the variance).
We can approximate the integrals via Monte Carlo Integration by
simulating M values from p(✓) and calculating
ÎM =
1
M
M
Xi=1
g (✓(i))
Let X1, X2, . . . be a sequence of independent and identically
distributed random variables, each having a finite mean µ = E (Xi ).
Then with probability 1,
X1 + X2 +
+ XM
· · ·
M
µ as M
!
! 1
In our previous example, each simulation draw was independent
and distributed from the same Beta(3,3) distribution.
This also works with variances and other quantities of interest,
since a function of i.i.d. random variables are also i.i.d. random
variables.
But what if we can’t generate draws that are independent?
Strong Law of Large Numbers (SLLN)
In our previous example, each simulation draw was independent
and distributed from the same Beta(3,3) distribution.
This also works with variances and other quantities of interest,
since a function of i.i.d. random variables are also i.i.d. random
variables.
But what if we can’t generate draws that are independent?
Strong Law of Large Numbers (SLLN)
Let X1, X2, . . . be a sequence of independent and identically
distributed random variables, each having a finite mean µ = E (Xi ).
Then with probability 1,
X1 + X2 +
M
· · ·
+ XM
µ as M
!
! 1
This also works with variances and other quantities of interest,
since a function of i.i.d. random variables are also i.i.d. random
variables.
But what if we can’t generate draws that are independent?
Strong Law of Large Numbers (SLLN)
Let X1, X2, . . . be a sequence of independent and identically
distributed random variables, each having a finite mean µ = E (Xi ).
Then with probability 1,
X1 + X2 +
M
· · ·
+ XM
µ as M
!
! 1
In our previous example, each simulation draw was independent
and distributed from the same Beta(3,3) distribution.
But what if we can’t generate draws that are independent?
Strong Law of Large Numbers (SLLN)
Let X1, X2, . . . be a sequence of independent and identically
distributed random variables, each having a finite mean µ = E (Xi ).
Then with probability 1,
X1 + X2 +
M
· · ·
+ XM
µ as M
!
! 1
In our previous example, each simulation draw was independent
and distributed from the same Beta(3,3) distribution.
This also works with variances and other quantities of interest,
since a function of i.i.d. random variables are also i.i.d. random
variables.
Strong Law of Large Numbers (SLLN)
Let X1, X2, . . . be a sequence of independent and identically
distributed random variables, each having a finite mean µ = E (Xi ).
Then with probability 1,
X1 + X2 +
M
· · ·
+ XM
µ as M
!
! 1
In our previous example, each simulation draw was independent
and distributed from the same Beta(3,3) distribution.
This also works with variances and other quantities of interest,
since a function of i.i.d. random variables are also i.i.d. random
variables.
But what if we can’t generate draws that are independent?
For example, we often do not know the normalizing constant.
However, we may be able to sample draws from p(✓
y ) that are
|
slightly dependent.
If we can sample slightly dependent draws using a Markov chain,
then we can still find quantities of interests from those draws.
Suppose we want to draw from our posterior distribution p(✓
but we cannot sample independent draws from it.
y ),
|
However, we may be able to sample draws from p(✓
y ) that are
|
slightly dependent.
If we can sample slightly dependent draws using a Markov chain,
then we can still find quantities of interests from those draws.
Suppose we want to draw from our posterior distribution p(✓
but we cannot sample independent draws from it.
y ),
|
For example, we often do not know the normalizing constant.
If we can sample slightly dependent draws using a Markov chain,
then we can still find quantities of interests from those draws.
Suppose we want to draw from our posterior distribution p(✓
but we cannot sample independent draws from it.
y ),
|
For example, we often do not know the normalizing constant.
However, we may be able to sample draws from p(✓
slightly dependent.
y ) that are
|
Suppose we want to draw from our posterior distribution p(✓
but we cannot sample independent draws from it.
y ),
|
For example, we often do not know the normalizing constant.
However, we may be able to sample draws fro...