Simulation de la loi uniforme sur (0,1)

Ce matériel couvre les méthodes fondamentales de simulation de variables aléatoires, en particulier la simulation de la loi uniforme sur l’intervalle (0,1) et la simulation de variables aléatoires suivant une loi donnée. Il s’adresse aux étudiants en probabilités appliquées et en statistiques souhaitant comprendre les bases théoriques et pratiques des simulations, ainsi que leurs applications dans le calcul d’intégrales, la génération de lois complexes, et les méthodes de Monte Carlo et chaînes de Markov.

Simulation de la loi uniforme sur (0,1)

La simulation de variables aléatoires uniformément réparties sur l’intervalle [0,1] est la base de toutes les autres simulations de variables aléatoires. En effet, selon le théorème fondamental de la simulation, toutes les autres formes d’aléa peuvent être simulées à partir de la loi uniforme.

Les générateurs congruentiels sont une méthode classique pour produire des suites de nombres pseudo-aléatoires uniformes sur (0,1). Il est nécessaire d’élaborer des procédures pour tester la qualité de ces générateurs et la distribution des nombres produits.

Simulation d’une variable aléatoire de loi donnée

Changement de variable

Soit X une variable aléatoire de densité f continue sur ℝ^d, avec support S. Soit h : ℝ^d → ℝ^d une bijection de S sur T = h(S). On définit Y = h(X). Si les dérivées partielles de l’inverse g = h⁻¹ sont continues, alors Y a pour densité :

f_Y(y) = f_X(g(y)) · det(J),

où J est la matrice jacobienne du changement de variable, c’est-à-dire J = [∂g_i/∂y_j].

Simulation par inversion de la fonction de répartition

Soit X une variable aléatoire de loi µ avec fonction de répartition F. Si F est strictement croissante et continue, alors pour U uniformément distribuée sur (0,1), la variable aléatoire :

X = F⁻¹(U)

a la même loi que X. Cette méthode permet de simuler de nombreuses lois, notamment :

• La loi exponentielle de paramètre λ > 0.
• La loi de Cauchy de paramètre c > 0.
• La loi de Pareto de paramètre θ > 0.
• Les lois discrètes sur un ensemble fini.
• La loi de Bernoulli B(p) de paramètre p ∈ [0,1].
• La loi binomiale B(n,p) de paramètres n ∈ ℕ, p ∈ [0,1].
• La loi géométrique G(p) de paramètre p.

Dans le cas où F est seulement croissante et/ou discontinue en certains points, on utilise l’inverse continue à gauche :

F_g⁻¹(u) = inf { s | F(s) ≥ u }, u ∈ (0,1).

Simulation de variables discrètes

Pour une variable X prenant un nombre fini de valeurs distinctes x₁, ..., x_N avec probabilités p₁, ..., p_N, la fonction de répartition inverse continue à gauche s’écrit :

F_g⁻¹(u) = x_k  si  p₁ + ... + p_{k-1} < u ≤ p₁ + ... + p_k.

On simule X en tirant U uniforme sur (0,1) et en posant X = F_g⁻¹(U).

Mélanges de variables aléatoires

Un mélange discret de variables aléatoires consiste à définir Y tel que :

f(x) = Σ P(Y = n) f_n(x),

où f_n sont des densités conditionnelles. Un mélange continu s’écrit :

f(x) = ∫ f(x,y) g(y) dy,

avec g la densité de Y et f(·,y) la densité conditionnelle de X sachant Y = y.

Méthode de rejet

Soient f et g deux densités sur ℝ^d telles que g(x) > 0 presque partout et il existe c > 0 tel que :

f(x) ≤ c · g(x)  pour tout x.

On sait simuler une suite i.i.d. (Y_k) de loi g et calculer f et g. La méthode de rejet permet de simuler une variable X de densité f à partir de g :

• On génère indépendamment U_k uniformes sur (0,1) et Y_k de loi g.
• On définit :

τ = min { k ≥ 1 | c U_k g(Y_k) ≤ f(Y_k) }.

Alors X = Y_τ suit la loi f. Le temps d’attente τ suit une loi géométrique de paramètre :

p = P(c U_1 g(Y_1) ≤ f(Y_1)) = 1/c.

Exemple d’application

Pour simuler une variable uniforme sur un domaine borné D ⊂ ℝ^d, on peut choisir g uniforme sur un cube contenant D, et f la densité uniforme sur D. La méthode de rejet consiste à tirer dans le cube et à accepter uniquement les points dans D.

Méthode de Box-Müller

La méthode de Box-Müller permet de simuler deux variables aléatoires indépendantes suivant la loi normale centrée réduite N(0,1) à partir de deux variables uniformes indépendantes U_1 et U_2 sur (0,1).

On pose :

R = -2 ln(U_1),

Θ = 2π U_2,

X = √R cos(Θ),

Y = √R sin(Θ).

Alors X et Y sont indépendantes et suivent la loi N(0,1).

Justification par changement de variable polaire

Soit R une variable de densité :

f_R(r) = (1/2) exp(-r/2), r > 0,

et Θ une variable uniforme sur [0, 2π], indépendante de R. En posant :

X = √R cos(Θ),

Y = √R sin(Θ),

on obtient deux variables indépendantes normales centrées réduites. Cette transformation exploite la symétrie radiale de la densité normale en coordonnées polaires.

Introduction aux chaînes de Markov et Monte Carlo par chaînes de Markov (MCMC)

La simulation Monte Carlo classique repose sur la génération de variables aléatoires indépendantes et identiquement distribuées (i.i.d.). Cependant, dans certains cas, il est impossible de générer des tirages indépendants d’une distribution cible, notamment lorsque la constante de normalisation est inconnue.

Une chaîne de Markov est un processus stochastique où l’état futur dépend uniquement de l’état présent, et non des états passés. Formellement, pour une chaîne (θ(t)) :

p(θ(t+1) | θ(1), ..., θ(t)) = p(θ(t+1) | θ(t)).

Les méthodes MCMC exploitent cette propriété pour générer des tirages dépendants mais convergeant vers la distribution cible. Ces tirages peuvent ensuite être utilisés pour estimer des quantités d’intérêt par intégration de Monte Carlo.

Intégration de Monte Carlo

Pour une fonction g et une distribution p(θ), on cherche à calculer :

I = ∫ g(θ) p(θ) dθ.

Si l’on dispose d’un échantillon (θ(i))_{i=1}^M de variables i.i.d. de loi p, on peut approximer I par :

Ĩ_M = (1/M) Σ_{i=1}^M g(θ(i)).

La loi forte des grands nombres garantit la convergence de Ĩ_M vers I lorsque M tend vers l’infini.

Cas des tirages dépendants

Lorsque les tirages ne sont pas indépendants, comme dans une chaîne de Markov, il est toujours possible d’estimer I à condition que la chaîne soit ergodique et converge vers p. Les méthodes MCMC, telles que l’algorithme de Metropolis-Hastings ou l’échantillonnage de Gibbs, sont des outils pour générer ces chaînes.

Glossaire des termes clés

• Variable aléatoire (v.a.) : une fonction définie sur un espace probabilisé associant à chaque événement un nombre réel.
• Loi uniforme sur (0,1) : distribution continue où chaque valeur dans l’intervalle (0,1) est également probable.
• Fonction de répartition (F) : fonction donnant la probabilité que la variable aléatoire soit inférieure ou égale à une valeur donnée.
• Inverse continue à gauche : généralisation de l’inverse d’une fonction de répartition pour les fonctions non strictement croissantes.
• Méthode de rejet : technique de simulation consistant à générer des candidats selon une densité facile à simuler et à les accepter selon une condition liée à la densité cible.
• Transformation de Box-Müller : méthode pour générer des variables normales à partir de variables uniformes.
• Chaîne de Markov : processus stochastique où la distribution du futur état dépend uniquement de l’état présent.
• Monte Carlo Integration : approximation numérique d’intégrales par simulation aléatoire.
• MCMC (Monte Carlo par chaînes de Markov) : méthodes utilisant des chaînes de Markov pour générer des échantillons dépendants d’une distribution cible.

Points clés à retenir

• La simulation de la loi uniforme sur (0,1) est la base de toutes les autres simulations de variables aléatoires.
• La méthode d’inversion de la fonction de répartition permet de simuler une grande variété de lois à partir d’une variable uniforme.
• La méthode de rejet est une technique générale pour simuler une variable de densité complexe à partir d’une densité plus simple.
• La méthode de Box-Müller fournit un moyen efficace de générer des variables normales indépendantes à partir de variables uniformes.
• Les chaînes de Markov permettent de générer des échantillons dépendants, utiles lorsque la simulation de variables i.i.d. est impossible.
• Les méthodes MCMC sont essentielles pour estimer des intégrales et des quantités d’intérêt dans des distributions complexes, notamment en statistique bayésienne.