Introduction
Simulation de la loi uniforme sur (0,1)
Simulation d’une v.a. de loi donn´ee
N´ecessit´e des simulations
Nombres al´eatoires
Conclusions
Simulation de ph´enom`enes physiques
Simulation d’exp´eriences physiques o`u des variables doivent ˆetre
rendues al´eatoires afin d’´eliminer des biais.
Probabilit´es Appliqu´ees I – Simulation
Introduction
Simulation de la loi uniforme sur (0,1)
Simulation d’une v.a. de loi donn´ee
N´ecessit´e des simulations
Nombres al´eatoires
Conclusions
R´esolution de probl`emes diciles
R´esolution de probl`emes impliquant des processus physiques complexes.
(ici th´eorie cin´etique des gaz)
Probabilit´es Appliqu´ees I – Simulation
Introduction
Simulation de la loi uniforme sur (0,1)
Simulation d’une v.a. de loi donn´ee
N´ecessit´e des simulations
Nombres al´eatoires
Conclusions
Approximation d’int´egrales
Calcul de la valeur approch´ee d’un int´egrale comportant beaucoup
de variables
cos(3x) + sin(7
1 + x 2 + y 2
p
Z ZB
avec (xi , yi ) « bien r´epartis » dans la boule unit´e.
⇡ ⇠
1
M
dxdy
Xi=1
y
|
(0,1)
)
|
M
cos(3xi ) + sin(7
)
yi |
|
i + y 2
1 + x 2
p
i
,
1
0.8
0.6
0.4
0.2
0
−0.2
−0.4
−0.6
−0.8
−1
−1
−0.5
0
0.5
1
Probabilit´es Appliqu´ees I – Simulation
Toutes les autres formes d’alea seront simul´es `a partir de la loi
uniforme (cf. th´eor`eme fondamental de la simulation).
N´ecessit´e d’´elaborer des proc´edures pour tester les
distributions de nombres.
Introduction
Simulation de la loi uniforme sur (0,1)
Simulation d’une v.a. de loi donn´ee
N´ecessit´e des simulations
Nombres al´eatoires
Conclusions
Buts
On va s’int´eresser aux m´ethodes de simulations de nombres
uniform´ement r´epartis sur [0,1], c.-`a-d. suivant une loi
uniforme.
Probabilit´es Appliqu´ees I – Simulation
N´ecessit´e d’´elaborer des proc´edures pour tester les
distributions de nombres.
Introduction
Simulation de la loi uniforme sur (0,1)
Simulation d’une v.a. de loi donn´ee
N´ecessit´e des simulations
Nombres al´eatoires
Conclusions
Buts
On va s’int´eresser aux m´ethodes de simulations de nombres
uniform´ement r´epartis sur [0,1], c.-`a-d. suivant une loi
uniforme.
Toutes les autres formes d’alea seront simul´es `a partir de la loi
uniforme (cf. th´eor`eme fondamental de la simulation).
Probabilit´es Appliqu´ees I – Simulation
Introduction
Simulation de la loi uniforme sur (0,1)
Simulation d’une v.a. de loi donn´ee
N´ecessit´e des simulations
Nombres al´eatoires
Conclusions
Buts
On va s’int´eresser aux m´ethodes de simulations de nombres
uniform´ement r´epartis sur [0,1], c.-`a-d. suivant une loi
uniforme.
Toutes les autres formes d’alea seront simul´es `a partir de la loi
uniforme (cf. th´eor`eme fondamental de la simulation).
N´ecessit´e d’´elaborer des proc´edures pour tester les
distributions de nombres.
Probabilit´es Appliqu´ees I – Simulation
Introduction
Simulation de la loi uniforme sur (0,1)
Simulation d’une v.a. de loi donn´ee
Op´erations sur les v.a. et premi`eres applications
M´ethodes de rejet
M´ethode de Box-M¨uller
Plan
1 Introduction
N´ecessit´e des simulations
Nombres al´eatoires
Conclusions
2 Simulation de la loi uniforme sur (0,1)
Le th´eor`eme de repr´esentation de Skorohod
D´efinition math´ematique
G´en´erateurs congruentiels
3 Simulation d’une v.a. de loi donn´ee
Op´erations sur les v.a. et premi`eres applications
M´ethodes de rejet
M´ethode de Box-M¨uller
Probabilit´es Appliqu´ees I – Simulation
Introduction
Simulation de la loi uniforme sur (0,1)
Simulation d’une v.a. de loi donn´ee
Op´erations sur les v.a. et premi`eres applications
M´ethodes de rejet
M´ethode de Box-M¨uller
Quelques v.a. importantes
Symbole
(µ, 2)
N
f (x)
(x
e
1
p2⇡
µ)2
22
E(X ) Var(X )
F (x)
µ
2
cf .cdfnor
G (a, b)
1
(a)ba x a
1e
x/b
ab
ab2
cf .cdfgam
()
E
e
x 1[0,+
[
1
1/
1/2
x
e
1
Probabilit´es Appliqu´ees I – Simulation
Introduction
Simulation de la loi uniforme sur (0,1)
Simulation d’une v.a. de loi donn´ee
Op´erations sur les v.a. et premi`eres applications
M´ethodes de rejet
M´ethode de Box-M¨uller
Transformation de v.a.
On peut obtenir de nombreuses v.a. `a partir d’autres selon diverses
op´erations :
1 changement de variables, transformation ;
2 m´elanges ;
3
tri, statistique d’ordre ;
4 convolution des densit´es = somme de v.a.
Probabilit´es Appliqu´ees I – Simulation
Alors Y = h(X ) ssi X = h
1(Y ) = g (Y ) o`u g : Rd
Rd .
!
Si de plus les d´eriv´ees partielles gi,j =
existent et sont
@gi
@yj
continues alors Y a pour densit´e
f (g (y ))det(J),
o`u J d´esigne la matrice jacobienne du changement de
variable, c.-`a-d.
J = [gi,j ]
Introduction
Simulation de la loi uniforme sur (0,1)
Simulation d’une v.a. de loi donn´ee
Op´erations sur les v.a. et premi`eres applications
M´ethodes de rejet
M´ethode de Box-M¨uller
Changement de variables
Th´eor`eme
X de densit´e f continue sur Rd . On pose S = Supp(f ). Soit
h : Rd
Rd bijective de S sur T = h(S).
!
Probabilit´es Appliqu´ees I – Simulation
Si de plus les d´eriv´ees partielles gi,j =
existent et sont
continues alors Y a pour densit´e
@gi
@yj
f (g (y ))det(J),
o`u J d´esigne la matrice jacobienne du changement de
variable, c.-`a-d.
J = [gi,j ]
Introduction
Simulation de la loi uniforme sur (0,1)
Simulation d’une v.a. de loi donn´ee
Op´erations sur les v.a. et premi`eres applications
M´ethodes de rejet
M´ethode de Box-M¨uller
Changement de variables
Th´eor`eme
X de densit´e f continue sur Rd . On pose S = Supp(f ). Soit
h : Rd
Rd bijective de S sur T = h(S).
!
Alors Y = h(X ) ssi X = h
1(Y ) = g (Y ) o`u g : Rd
Rd .
!
Probabilit´es Appliqu´ees I – Simulation
Introduction
Simulation de la loi uniforme sur (0,1)
Simulation d’une v.a. de loi donn´ee
Op´erations sur les v.a. et premi`eres applications
M´ethodes de rejet
M´ethode de Box-M¨uller
Changement de variables
Th´eor`eme
X de densit´e f continue sur Rd . On pose S = Supp(f ). Soit
h : Rd
Rd bijective de S sur T = h(S).
!
Alors Y = h(X ) ssi X = h
Si de plus les d´eriv´ees partielles gi,j =
existent et sont
1(Y ) = g (Y ) o`u g : Rd
@gi
@yj
Rd .
!
continues alors Y a pour densit´e
f (g (y ))det(J),
o`u J d´esigne la matrice jacobienne du changement de
variable, c.-`a-d.
J = [gi,j ]
Probabilit´es Appliqu´ees I – Simulation
Introduction
Simulation de la loi uniforme sur (0,1)
Simulation d’une v.a. de loi donn´ee
Op´erations sur les v.a. et premi`eres applications
M´ethodes de rejet
M´ethode de Box-M¨uller
Un bon changement de variable
X : ⌦
!
R de loi image sur R : µ = P
X
1.
But : simuler xn = Xn(!),
Xn}n
{
On dit que les xn sont distribu´es selon la loi image µ.
0 v.a. i.i.d., Xn
d
= X .
Soit F (x) = µ(]
, x]) = P
X
{
x
}
1
. La fonction F est
croissante ;
continue a droite et admet une limite a gauche (propri´et´e de
la mesure)
Lemme
Supposons F strictement croissante et continue. Alors si U suit
une loi uniforme sur (0, 1) on a
F
1(U)
d
= X .
Probabilit´es Appliqu´ees I – Simulation
Introduction
Simulation de la loi uniforme sur (0,1)
Simulation d’une v.a. de loi donn´ee
Op´erations sur les v.a. et premi`eres applications
M´ethodes de rejet
M´ethode de Box-M¨uller
Variantes et cas particuliers
Si µ admet une densit´e qui ne charge pas 0 alors
x
F (x) =
f (u) du
est continue et strictement croissante.
Z
1
Dans le cas o`u F est seulement croissante et/ou discontinue
Advertisement
en seulement certains points, le lemme reste vrai `a condition
de remplacer F par son inverse continu `a gauche
F
g
1
(u)
def
= inf
F (s)
s
{
|
u
.
}
Alors F
g
1
est croissante, continue `a gauche et
u
8
2
(0, 1),
F
g
1
(u)
x
F (x)
u.
()
Probabilit´es Appliqu´ees I – Simulation
Introduction
Simulation de la loi uniforme sur (0,1)
Simulation d’une v.a. de loi donn´ee
Op´erations sur les v.a. et premi`eres applications
M´ethodes de rejet
M´ethode de Box-M¨uller
Nombreuses applications
Le lemme pr´ec´edent permet de simuler les lois suivantes :
E
1 Loi de la v.a. exponentielle
() de param`etre > 0.
2 Loi de la v.a. de Cauchy, Cauchy(c), param`etre c > 0.
3 Loi de la v.a. de Pareto P✓ de param`etre ✓ > 0.
4 Loi support´ee par un ensemble fini E =
.
x1; . . . ; xN }
{
5 Loi de la v.a. de Bernoulli B(p) de param`etre p
[0, 1].
2
6 Loi de la v.a. binomiale B(n, p) de param`etre (n, p),
p
[0, 1], n
1.
2
7 Loi de la v.a. g´eom´etrique G (p) de param`etre p :
⌧ = min
{
k
0
Xk = 1
}
|
d
= G (p)
Probabilit´es Appliqu´ees I – Simulation
Introduction
Simulation de la loi uniforme sur (0,1)
Simulation d’une v.a. de loi donn´ee
Op´erations sur les v.a. et premi`eres applications
M´ethodes de rejet
M´ethode de Box-M¨uller
v.a. ne prenant qu’un nombre fini de valeurs
i
(xi )1
pk = P(
{
N distincts X : ⌦
X = xk }
).
x1, . . . , xN }
! {
de loi
L’inverse continue `a gauche de la fonction de re´partition de X est
u
8
2
(0, 1),
1
F
g
(u) =
N
Xk=1
xk 1
{
p1+
+pk
1<u
p1+
+pk }
···
···
.
Donc
d
=
X
N
Xk=1
xk 1
{
p1+
+pk
···
1<U
p1+
+pk }
···
, U
d
=
([0, 1]).
U
Probabilit´es Appliqu´ees I – Simulation
Introduction
Simulation de la loi uniforme sur (0,1)
Simulation d’une v.a. de loi donn´ee
Op´erations sur les v.a. et premi`eres applications
M´ethodes de rejet
M´ethode de Box-M¨uller
M´elanges de v.a.
M´elange discret : Y : ⌦
Y = n
sachant
{
!
, c.-`a-d. de densit´e
}
N et X de densit´e conditionnelle fn
f (x) =
+
1
Xn=1
P(Y = n)fn(x)
R de densit´e g et X de densit´e
M´elange continu : Y : ⌦
!
, Y ), c.-`a-d. de densit´e
conditionnelle sachant Y , f (
·
f (x) =
f (x, y )g (y )dy
Z
Probabilit´es Appliqu´ees I – Simulation
Introduction
Simulation de la loi uniforme sur (0,1)
Simulation d’une v.a. de loi donn´ee
Op´erations sur les v.a. et premi`eres applications
M´ethodes de rejet
M´ethode de Box-M¨uller
Une densit´e simulable, l’autre pas
Soit f et g deux densit´es de probabilit´es (par rapport `a la mesure
de Lebesgue ) sur Rd telles que g > 0 -p.s. et pour lesquelles il
existe un r´eel c > 0 tel que
x
8
2
d ,
R
f (x)
c g (x).
On souhaite simuler X de densit´e f et on fait les hypoth`eses de
simulation suivantes :
on sait simuler une suite i.i.d. de vecteurs al´eatoires
de loi g (y ) et
Yk }k
{
1
on sait calculer f et g ,
`a un coˆut raisonnable.
Probabilit´es Appliqu´ees I – Simulation
Introduction
Simulation de la loi uniforme sur (0,1)
Simulation d’une v.a. de loi donn´ee
Op´erations sur les v.a. et premi`eres applications
M´ethodes de rejet
M´ethode de Box-M¨uller
Un lemme de Von Neumann
Lemme (Von Neumann, 1951)
Soit (Un, Yn)n
(⌦,
A
1 une suite de v.a. i.i.d. de lois
PY d´efinie sur
⌦
, P) o`u PY (dy ) = g (y )dy . Posons
⌧ = min
{
k
1
cUk g (Yk )
.
f (Yk )
}
Alors, ⌧ suit une loi g´eom´etrique G ?(p) de param`etre
p = P
= 1
|
c et
cU1g (Y1)
{
f (Y1)
}
X
d
= Y⌧ .
Probabilit´es Appliqu´ees I – Simulation
Introduction
Simulation de la loi uniforme sur (0,1)
Simulation d’une v.a. de loi donn´ee
Op´erations sur les v.a. et premi`eres applications
M´ethodes de rejet
M´ethode de Box-M¨uller
Simulation
Corollaire
On d´efinit par r´ecurrence pour tout n
suivantes :
1 les v.a. a valeurs entieres
⌧1 = min
{
k
1
|
cUk g (Yk )
f (Yk )
}
,
puis
⌧n+1 = min
{
k
Alors la suite (⌧n
loi commune G ?(p) et la suite
⌧n
⌧n + 1
cUk g (Yk )
1)n
|
1 est i.i.d. (par convention ⌧0 = 0) de
.
f (Yk )
}
Xn = Y⌧n
est i.i.d. de loi PX .
Probabilit´es Appliqu´ees I – Simulation
D
⇢
Alors
[
M, M]d , Y
d
=
M, M]d ) et ⌧ = min
n
([
U
Yn 2
D
.
}
|
{
Y⌧
d
=
(D).
U
Appliquer le lemme pr´ec´edent `a g (x) = (2M)
d 1[
M,M]d (x)
et f (x) = 1
(D) 1D(x).
Loi normale sur R. (cf. exercices)
Loi (↵), ↵ > 0.
Introduction
Simulation de la loi uniforme sur (0,1)
Simulation d’une v.a. de loi donn´ee
Op´erations sur les v.a. et premi`eres applications
M´ethodes de rejet
M´ethode de Box-M¨uller
Applications
Loi uniforme sur des domaines born´es D
Rd :
⇢
Probabilit´es Appliqu´ees I – Simulation
Introduction
Simulation de la loi uniforme sur (0,1)
Simulation d’une v.a. de loi donn´ee
Op´erations sur les v.a. et premi`eres applications
M´ethodes de rejet
Advertisement
M´ethode de Box-M¨uller
Applications
Loi uniforme sur des domaines born´es D
d
=
D
⇢
Alors
Rd :
M, M]d ) et ⌧ = min
{
M, M]d , Y
[
⇢
([
U
n
Yn 2
D
.
}
|
Y⌧
d
=
(D).
U
Appliquer le lemme pr´ec´edent `a g (x) = (2M)
et f (x) = 1
(D) 1D(x).
Loi normale sur R. (cf. exercices)
Loi (↵), ↵ > 0.
d 1[
M,M]d (x)
Probabilit´es Appliqu´ees I – Simulation
I 0 < ↵ < 1 : m´ethode de rejet
f↵(x)
↵ + e
↵e(↵)
I ↵ = n
N :
2
g↵(x),
g↵(x) =
x ↵
11(0,1)(x) + exp(
x)1[1,+
[(x)
1
X d= (↵), X 0
d= (↵0) =
X + X 0
d= (↵) + (↵0)
↵e
↵ + e
)
(1) =
(1)
E
Introduction
Simulation de la loi uniforme sur (0,1)
Simulation d’une v.a. de loi donn´ee
Op´erations sur les v.a. et premi`eres applications
M´ethodes de rejet
M´ethode de Box-M¨uller
SImulation de la loi (↵)
X : ⌦
[0, +
1
!
[ de loi PX (dx) = f↵(x)(dx) o`u
f↵(x) =
1
(↵)
x ↵
1 exp(
x)1[0,+
[(x).
1
Probabilit´es Appliqu´ees I – Simulation
Introduction
Simulation de la loi uniforme sur (0,1)
Simulation d’une v.a. de loi donn´ee
Op´erations sur les v.a. et premi`eres applications
M´ethodes de rejet
M´ethode de Box-M¨uller
SImulation de la loi (↵)
X : ⌦
[0, +
1
!
[ de loi PX (dx) = f↵(x)(dx) o`u
f↵(x) =
1
(↵)
x ↵
1 exp(
x)1[0,+
[(x).
1
I 0 < ↵ < 1 : m´ethode de rejet
f↵(x)
↵ + e
↵e(↵)
I ↵ = n
N :
2
g↵(x),
g↵(x) =
↵e
↵ + e
x ↵
11(0,1)(x) + exp(
x)1[1,+
[(x)
1
X d= (↵), X 0
d= (↵0) =
)
(1) =
X + X 0
d= (↵) + (↵0)
(1)
E
Probabilit´es Appliqu´ees I – Simulation
On pose X = pR cos(⇥), Y = pR sin(⇥) et f , g fonctions bor´eliennes sur R :
E f (X )g (Y ) =
f (px cos(✓))g (px sin(✓)),
+
1
dx
exp
2
+
1
r dr exp
x
2
“
0
” Z
r 2
2⇡
d✓
2⇡
2⇡
2
„
0
« Z
d✓
2⇡
dx 0dy 0
2⇡
f (x 0)g (y 0) exp(
(x 0
2 + y 0
2)/2),
=
=
0
Z
0
Z
ZR2
f (r cos(✓))g (r sin(✓)),
La derni`ere ´egalit´e se factorise en
E f (X )g (Y ) =
dx 0
p2⇡
exp(
2/2)f (x 0)
x 0
„ZR
dy 0
p2⇡
exp(
2/2)g (y 0)
y 0
«
= E f (X 0)g (Y 0),
o`u X 0, Y 0
d=
(0, 1).
« „ZR
N
En appliquant cette derniere relation a f = 1 puis g = 1, on en d´eduit dans un
premier temps que X et Y suivent des lois normales et dans un deuxi`eme
temps qu’elles sont ind´ependantes.
Introduction
Simulation de la loi uniforme sur (0,1)
Simulation d’une v.a. de loi donn´ee
Op´erations sur les v.a. et premi`eres applications
M´ethodes de rejet
M´ethode de Box-M¨uller
Un changement de variable en polaire
Soit R d=
( 1
2 )
E
??
⇥ d=
U
([0, 2⇡]).
Probabilit´es Appliqu´ees I – Simulation
E f (X )g (Y ) =
f (px cos(✓))g (px sin(✓)),
+
1
dx
exp
2
+
1
r dr exp
x
2
“
0
” Z
r 2
2⇡
d✓
2⇡
2⇡
2
„
0
« Z
d✓
2⇡
dx 0dy 0
2⇡
f (x 0)g (y 0) exp(
(x 0
2 + y 0
2)/2),
=
=
0
Z
0
Z
ZR2
f (r cos(✓))g (r sin(✓)),
La derni`ere ´egalit´e se factorise en
E f (X )g (Y ) =
dx 0
p2⇡
exp(
2/2)f (x 0)
x 0
„ZR
dy 0
p2⇡
exp(
2/2)g (y 0)
y 0
«
= E f (X 0)g (Y 0),
o`u X 0, Y 0
d=
(0, 1).
« „ZR
N
En appliquant cette derniere relation a f = 1 puis g = 1, on en d´eduit dans un
premier temps que X et Y suivent des lois normales et dans un deuxi`eme
temps qu’elles sont ind´ependantes.
Introduction
Simulation de la loi uniforme sur (0,1)
Simulation d’une v.a. de loi donn´ee
Op´erations sur les v.a. et premi`eres applications
M´ethodes de rejet
M´ethode de Box-M¨uller
Un changement de variable en polaire
Soit R d=
( 1
2 )
E
??
⇥ d=
U
([0, 2⇡]).
On pose X = pR cos(⇥), Y = pR sin(⇥) et f , g fonctions bor´eliennes sur R :
Probabilit´es Appliqu´ees I – Simulation
+
1
r dr exp
r 2
2
„
0
« Z
=
=
0
Z
ZR2
dx 0dy 0
2⇡
2⇡
d✓
Advertisement
2⇡
f (x 0)g (y 0) exp(
(x 0
2 + y 0
2)/2),
f (r cos(✓))g (r sin(✓)),
La derni`ere ´egalit´e se factorise en
E f (X )g (Y ) =
dx 0
p2⇡
exp(
2/2)f (x 0)
x 0
„ZR
dy 0
p2⇡
exp(
2/2)g (y 0)
y 0
«
= E f (X 0)g (Y 0),
o`u X 0, Y 0
d=
(0, 1).
« „ZR
N
En appliquant cette derniere relation a f = 1 puis g = 1, on en d´eduit dans un
premier temps que X et Y suivent des lois normales et dans un deuxi`eme
temps qu’elles sont ind´ependantes.
Introduction
Simulation de la loi uniforme sur (0,1)
Simulation d’une v.a. de loi donn´ee
Op´erations sur les v.a. et premi`eres applications
M´ethodes de rejet
M´ethode de Box-M¨uller
Un changement de variable en polaire
Soit R d=
( 1
2 )
E
??
⇥ d=
U
([0, 2⇡]).
On pose X = pR cos(⇥), Y = pR sin(⇥) et f , g fonctions bor´eliennes sur R :
E f (X )g (Y ) =
+
1
dx
2
exp
x
2
“
0
” Z
2⇡
d✓
2⇡
0
Z
f (px cos(✓))g (px sin(✓)),
Probabilit´es Appliqu´ees I – Simulation
dx 0dy 0
2⇡
=
ZR2
f (x 0)g (y 0) exp(
(x 0
2 + y 0
2)/2),
La derni`ere ´egalit´e se factorise en
E f (X )g (Y ) =
dx 0
p2⇡
exp(
2/2)f (x 0)
x 0
„ZR
dy 0
p2⇡
exp(
2/2)g (y 0)
y 0
«
= E f (X 0)g (Y 0),
o`u X 0, Y 0
d=
(0, 1).
« „ZR
N
En appliquant cette derniere relation a f = 1 puis g = 1, on en d´eduit dans un
premier temps que X et Y suivent des lois normales et dans un deuxi`eme
temps qu’elles sont ind´ependantes.
Introduction
Simulation de la loi uniforme sur (0,1)
Simulation d’une v.a. de loi donn´ee
Op´erations sur les v.a. et premi`eres applications
M´ethodes de rejet
M´ethode de Box-M¨uller
Un changement de variable en polaire
Soit R d=
( 1
2 )
E
??
⇥ d=
U
([0, 2⇡]).
On pose X = pR cos(⇥), Y = pR sin(⇥) et f , g fonctions bor´eliennes sur R :
E f (X )g (Y ) =
=
+
1
+
1
0
Z
0
Z
2⇡
0
d✓
2⇡
2⇡
dx
2
exp
“
r dr exp
x
2
” Z
r 2
2
„
0
« Z
d✓
2⇡
f (px cos(✓))g (px sin(✓)),
f (r cos(✓))g (r sin(✓)),
Probabilit´es Appliqu´ees I – Simulation
La derni`ere ´egalit´e se factorise en
E f (X )g (Y ) =
dx 0
p2⇡
exp(
2/2)f (x 0)
x 0
„ZR
dy 0
p2⇡
exp(
2/2)g (y 0)
y 0
«
= E f (X 0)g (Y 0),
o`u X 0, Y 0
d=
(0, 1).
« „ZR
N
En appliquant cette derniere relation a f = 1 puis g = 1, on en d´eduit dans un
premier temps que X et Y suivent des lois normales et dans un deuxi`eme
temps qu’elles sont ind´ependantes.
Introduction
Simulation de la loi uniforme sur (0,1)
Simulation d’une v.a. de loi donn´ee
Op´erations sur les v.a. et premi`eres applications
M´ethodes de rejet
M´ethode de Box-M¨uller
Un changement de variable en polaire
Soit R d=
( 1
2 )
E
??
⇥ d=
U
([0, 2⇡]).
On pose X = pR cos(⇥), Y = pR sin(⇥) et f , g fonctions bor´eliennes sur R :
+
1
+
1
dx
2
exp
“
r dr exp
x
2
” Z
r 2
2
2⇡
0
d✓
2⇡
2⇡
„
0
« Z
d✓
2⇡
f (px cos(✓))g (px sin(✓)),
f (r cos(✓))g (r sin(✓)),
E f (X )g (Y ) =
=
=
0
Z
0
Z
dx 0dy 0
2⇡
ZR2
f (x 0)g (y 0) exp(
(x 0
2 + y 0
2)/2),
Probabilit´es Appliqu´ees I – Simulation
En appliquant cette derniere relation a f = 1 puis g = 1, on en d´eduit dans un
premier temps que X et Y suivent des lois normales et dans un deuxi`eme
temps qu’elles sont ind´ependantes.
Introduction
Simulation de la loi uniforme sur (0,1)
Simulation d’une v.a. de loi donn´ee
Op´erations sur les v.a. et premi`eres applications
M´ethodes de rejet
M´ethode de Box-M¨uller
Un changement de variable en polaire
Soit R d=
( 1
2 )
E
??
⇥ d=
U
([0, 2⇡]).
On pose X = pR cos(⇥), Y = pR sin(⇥) et f , g fonctions bor´eliennes sur R :
E f (X )g (Y ) =
=
=
0
Z
0
Z
ZR2
+
1
+
1
dx
2
exp
“
r dr exp
x
2
” Z
r 2
2
2⇡
0
d✓
2⇡
2⇡
„
0
« Z
d✓
2⇡
f (px cos(✓))g (px sin(✓)),
f (r cos(✓))g (r sin(✓)),
dx 0dy 0
2⇡
f (x 0)g (y 0) exp(
(x 0
2 + y 0
2)/2),
La derni`ere ´egalit´e se factorise en
E f (X )g (Y ) =
dx 0
p2⇡
exp(
„ZR
2/2)f (x 0)
x 0
= E f (X 0)g (Y 0),
o`u X 0, Y 0
(0, 1).
« „ZR
d=
N
dy 0
p2⇡
exp(
2/2)g (y 0)
y 0
«
Probabilit´es Appliqu´ees I – Simulation
Introduction
Simulation de la loi uniforme sur (0,1)
Simulation d’une v.a. de loi donn´ee
Op´erations sur les v.a. et premi`eres applications
M´ethodes de rejet
M´ethode de Box-M¨uller
Un changement de variable en polaire
Soit R d=
Advertisement
( 1
2 )
E
??
⇥ d=
U
([0, 2⇡]).
On pose X = pR cos(⇥), Y = pR sin(⇥) et f , g fonctions bor´eliennes sur R :
E f (X )g (Y ) =
=
=
0
Z
0
Z
ZR2
+
1
+
1
dx
2
exp
“
r dr exp
x
2
” Z
r 2
2
2⇡
0
d✓
2⇡
2⇡
„
0
« Z
d✓
2⇡
f (px cos(✓))g (px sin(✓)),
f (r cos(✓))g (r sin(✓)),
dx 0dy 0
2⇡
f (x 0)g (y 0) exp(
(x 0
2 + y 0
2)/2),
La derni`ere ´egalit´e se factorise en
E f (X )g (Y ) =
dx 0
p2⇡
exp(
„ZR
2/2)f (x 0)
x 0
= E f (X 0)g (Y 0),
o`u X 0, Y 0
(0, 1).
« „ZR
d=
N
dy 0
p2⇡
exp(
2/2)g (y 0)
y 0
«
En appliquant cette derniere relation a f = 1 puis g = 1, on en d´eduit dans un
premier temps que X et Y suivent des lois normales et dans un deuxi`eme
temps qu’elles sont ind´ependantes.
Probabilit´es Appliqu´ees I – Simulation
Outline
Introduction to Markov Chain Monte Carlo
Gibbs Sampling
The Metropolis-Hastings Algorithm
Outline
Introduction to Markov Chain Monte Carlo
Gibbs Sampling
The Metropolis-Hastings Algorithm
Markov Chain: a stochastic process in which future states are
independent of past states given the present state
Monte Carlo: simulation
Up until now, we’ve done a lot of Monte Carlo simulation to find
integrals rather than doing it analytically, a process called Monte
Carlo Integration.
Basically a fancy way of saying we can take quantities of interest of
a distribution from simulated draws from the distribution.
What is Markov Chain Monte Carlo (MCMC)?
Monte Carlo: simulation
Up until now, we’ve done a lot of Monte Carlo simulation to find
integrals rather than doing it analytically, a process called Monte
Carlo Integration.
Basically a fancy way of saying we can take quantities of interest of
a distribution from simulated draws from the distribution.
What is Markov Chain Monte Carlo (MCMC)?
Markov Chain: a stochastic process in which future states are
independent of past states given the present state
Up until now, we’ve done a lot of Monte Carlo simulation to find
integrals rather than doing it analytically, a process called Monte
Carlo Integration.
Basically a fancy way of saying we can take quantities of interest of
a distribution from simulated draws from the distribution.
What is Markov Chain Monte Carlo (MCMC)?
Markov Chain: a stochastic process in which future states are
independent of past states given the present state
Monte Carlo: simulation
Basically a fancy way of saying we can take quantities of interest of
a distribution from simulated draws from the distribution.
What is Markov Chain Monte Carlo (MCMC)?
Markov Chain: a stochastic process in which future states are
independent of past states given the present state
Monte Carlo: simulation
Up until now, we’ve done a lot of Monte Carlo simulation to find
integrals rather than doing it analytically, a process called Monte
Carlo Integration.
What is Markov Chain Monte Carlo (MCMC)?
Markov Chain: a stochastic process in which future states are
independent of past states given the present state
Monte Carlo: simulation
Up until now, we’ve done a lot of Monte Carlo simulation to find
integrals rather than doing it analytically, a process called Monte
Carlo Integration.
Basically a fancy way of saying we can take quantities of interest of
a distribution from simulated draws from the distribution.
Suppose we have a distribution p(✓) (perhaps a posterior) that we
want to take quantities of interest from.
To derive it analytically, we need to take integrals:
I =
g (✓)p(✓)d✓
Z⇥
where g (✓) is some function of ✓ (g (✓) = ✓ for the mean and
g (✓) = (✓
E (✓))2 for the variance).
We can approximate the integrals via Monte Carlo Integration by
simulating M values from p(✓) and calculating
ˆIM =
g (✓(i))
1
M
M
Xi=1
Monte Carlo Integration
To derive it analytically, we need to take integrals:
I =
g (✓)p(✓)d✓
Z⇥
where g (✓) is some function of ✓ (g (✓) = ✓ for the mean and
g (✓) = (✓
E (✓))2 for the variance).
We can approximate the integrals via Monte Carlo Integration by
simulating M values from p(✓) and calculating
ˆIM =
g (✓(i))
1
M
M
Xi=1
Monte Carlo Integration
Suppose we have a distribution p(✓) (perhaps a posterior) that we
want to take quantities of interest from.
We can approximate the integrals via Monte Carlo Integration by
simulating M values from p(✓) and calculating
ˆIM =
g (✓(i))
1
M
M
Xi=1
Monte Carlo Integration
Suppose we have a distribution p(✓) (perhaps a posterior) that we
want to take quantities of interest from.
To derive it analytically, we need to take integrals:
I =
g (✓)p(✓)d✓
Z⇥
where g (✓) is some function of ✓ (g (✓) = ✓ for the mean and
g (✓) = (✓
E (✓))2 for the variance).
Monte Carlo Integration
Suppose we have a distribution p(✓) (perhaps a posterior) that we
want to take quantities of interest from.
To derive it analytically, we need to take integrals:
I =
g (✓)p(✓)d✓
Z⇥
where g (✓) is some function of ✓ (g (✓) = ✓ for the mean and
g (✓) = (✓
E (✓))2 for the variance).
We can approximate the integrals via Monte Carlo Integration by
simulating M values from p(✓) and calculating
ˆIM =
1
M
M
Xi=1
g (✓(i))
Let X1, X2, . . . be a sequence of independent and identically
distributed random variables, each having a finite mean µ = E (Xi ).
Then with probability 1,
X1 + X2 +
+ XM
· · ·
M
µ as M
!
! 1
In our previous example, each simulation draw was independent
and distributed from the same Beta(3,3) distribution.
This also works with variances and other quantities of interest,
since a function of i.i.d. random variables are also i.i.d. random
variables.
But what if we can’t generate draws that are independent?
Strong Law of Large Numbers (SLLN)
In our previous example, each simulation draw was independent
and distributed from the same Beta(3,3) distribution.
This also works with variances and other quantities of interest,
since a function of i.i.d. random variables are also i.i.d. random
variables.
But what if we can’t generate draws that are independent?
Strong Law of Large Numbers (SLLN)
Let X1, X2, . . . be a sequence of independent and identically
distributed random variables, each having a finite mean µ = E (Xi ).
Then with probability 1,
X1 + X2 +
M
· · ·
+ XM
µ as M
!
! 1
This also works with variances and other quantities of interest,
since a function of i.i.d. random variables are also i.i.d. random
variables.
But what if we can’t generate draws that are independent?
Strong Law of Large Numbers (SLLN)
Let X1, X2, . . . be a sequence of independent and identically
distributed random variables, each having a finite mean µ = E (Xi ).
Then with probability 1,
X1 + X2 +
M
· · ·
+ XM
µ as M
!
! 1
In our previous example, each simulation draw was independent
and distributed from the same Beta(3,3) distribution.
But what if we can’t generate draws that are independent?
Strong Law of Large Numbers (SLLN)
Let X1, X2, . . . be a sequence of independent and identically
distributed random variables, each having a finite mean µ = E (Xi ).
Then with probability 1,
X1 + X2 +
M
· · ·
+ XM
µ as M
!
! 1
In our previous example, each simulation draw was independent
and distributed from the same Beta(3,3) distribution.
This also works with variances and other quantities of interest,
since a function of i.i.d. random variables are also i.i.d. random
variables.
Strong Law of Large Numbers (SLLN)
Let X1, X2, . . . be a sequence of independent and identically
distributed random variables, each having a finite mean µ = E (Xi ).
Then with probability 1,
X1 + X2 +
M
· · ·
+ XM
µ as M
!
! 1
In our previous example, each simulation draw was independent
and distributed from the same Beta(3,3) distribution.
This also works with variances and other quantities of interest,
since a function of i.i.d. random variables are also i.i.d. random
variables.
But what if we can’t generate draws that are independent?
For example, we often do not know the normalizing constant.
However, we may be able to sample draws from p(✓
y ) that are
|
slightly dependent.
If we can sample slightly dependent draws using a Markov chain,
then we can still find quantities of interests from those draws.
Suppose we want to draw from our posterior distribution p(✓
but we cannot sample independent draws from it.
y ),
|
However, we may be able to sample draws from p(✓
y ) that are
|
slightly dependent.
If we can sample slightly dependent draws using a Markov chain,
then we can still find quantities of interests from those draws.
Suppose we want to draw from our posterior distribution p(✓
but we cannot sample independent draws from it.
y ),
|
For example, we often do not know the normalizing constant.
If we can sample slightly dependent draws using a Markov chain,
then we can still find quantities of interests from those draws.
Suppose we want to draw from our posterior distribution p(✓
but we cannot sample independent draws from it.
y ),
|
For example, we often do not know the normalizing constant.
However, we may be able to sample draws from p(✓
slightly dependent.
y ) that are
|
Suppose we want to draw from our posterior distribution p(✓
but we cannot sample independent draws from it.
y ),
|
For example, we often do not know the normalizing constant.
However, we may be able to sample draws fro...