Aide Mémoire de Probabilité

Ce document présente un aide-mémoire complet sur les probabilités, destiné aux étudiants en mathématiques et disciplines connexes. Il couvre les notions fondamentales des probabilités ensemblistes, les variables aléatoires réelles et vectorielles, les lois classiques, les probabilités conditionnelles, ainsi que les convergences et vecteurs aléatoires gaussiens.

Probabilités ensemblistes

On considère un espace fondamental Ω, ensemble des résultats possibles d'une expérience aléatoire. Une tribu A est une collection d'événements stable par union et complémentaire :

• Si Ω est dénombrable, alors A = P(Ω), l'ensemble des parties de Ω.
• Si Ω est non dénombrable, par exemple un sous-ensemble de R^k, alors A est la tribu de Borel B(R^k).

Une fonction probabilité P : A → [0, 1] associe à chaque événement A sa probabilité P(A). L'espace de probabilité est noté (Ω, A, P).

Dans le cas fini, la probabilité uniforme est définie par :

P(A) = Card(A) / Card(Ω)

Les axiomes de Kolmogorov sont :

1. P(Ω) = 1
2. Pour une famille d'événements disjoints deux à deux (Ai), P(∪i Ai) = Σi P(Ai)

En particulier, pour deux événements disjoints A et B :

P(A ∪ B) = P(A) + P(B)

Dénombrement

Le dénombrement est essentiel pour calculer les probabilités dans des espaces finis :

• Arrangements de k éléments parmi N (sans remise, ordre important) :

A_k^N = N × (N − 1) × ... × (N − k + 1) = N! / (N − k)!

Exemple : le tiercé.

• Combinaisons de k éléments parmi N (sans remise, ordre non important) :

C_k^N = N! / (k! (N − k)!)

Exemple : le loto.

• Permutations de k éléments :

n! = A_n^n

Modèles avec ou sans remise

• Avec remise (modèle multinomial) : Ω = {suites ordonnées de k éléments parmi N avec répétition} = {1,...,N}^k, Card(Ω) = N^k. La probabilité de chaque tirage est constante.
• Exemple : k lancées d'une pièce truquée (N=2) avec p1 = p, p2 = 1 − p, suit une loi binomiale.
• Sans remise : Ω = {suites ordonnées de k éléments parmi N sans répétition}, Card(Ω) = A_k^N. La probabilité varie à chaque tirage.
• Exemple : tirer k cartes sans remise dans un jeu de N cartes.

Pour N très grand, le modèle sans remise se rapproche du modèle avec remise.

Probabilités conditionnelles

La probabilité conditionnelle de A sachant B est :

P(A|B) = P(A ∩ B) / P(B)

On a la relation :

P(A|B) P(B) = P(B|A) P(A)

Si (Bi) est une partition de Ω, alors la formule des probabilités totales s'écrit :

P(A) = Σi P(A|Bi) P(Bi)

Deux événements A et B sont indépendants si et seulement si :

P(A ∩ B) = P(A) × P(B)

Ce qui équivaut à :

P(A|B) = P(A) si P(B) ≠ 0.

Une famille (Ai) est mutuellement indépendante si pour tout sous-ensemble J :

P(∩i∈J Ai) = ∏i∈J P(Ai)

La mutuelle indépendance implique l'indépendance deux à deux, mais la réciproque est fausse.

Variables aléatoires réelles

Une variable aléatoire réelle X est une fonction X : Ω → R, mesurable, définie sur un espace de probabilité (Ω, A, P). Elle induit une loi PX sur (R, B(R)).

Définitions équivalentes d'une variable aléatoire réelle

1. Fonction densité :
• Discrète : X n'admet pas de densité, la loi est donnée par les points {(xi, P(X=xi))}.
• Continue : fX : R → R+ est une fonction intégrable telle que ∫ fX(x) dx = 1.
2. Fonction de répartition FX : R → [0, 1], définie par :

FX(x) = P(X ≤ x)

Pour une variable continue :

FX(x) = ∫_{−∞}^x fX(t) dt

Propriétés :

• FX est croissante, continue à droite.
• P(a ≤ X ≤ b) = FX(b) − FX(a).
• P(X = a) = 0 pour tout a ∈ R.

3. Fonction quantile :

F_X^{-1}(p) = inf{x ∈ R | FX(x) > p}

La médiane est la valeur x telle que FX(x) = 1/2.

4. Fonction caractéristique :

ϕX(t) = E(e^{i t X})

Elle permet de retrouver les moments et la loi de X.

Espérance et variance

L'espérance de X est :

• Discrète : E(X) = Σi xi P(X = xi)
• Continue : E(X) = ∫ x fX(x) dx

Propriétés :

• Linéarité : E(aX + b) = a E(X) + b, E(X + Y) = E(X) + E(Y)
• Changement de variable : si Y = g(X), alors E(Y) = ∫ g(x) fX(x) dx
• Si g convexe, alors g(E(X)) ≤ E(g(X))

La variance est :

Var(X) = E((X − E(X))^2) = E(X^2) − (E(X))^2

Si Var(X) = 0, alors X est constante presque sûrement.

L'écart-type est la racine carrée de la variance :

σX = √Var(X)

Inégalité de Tchebychev

Pour tout a > 0 :

P(|X − E(X)| ≥ a) ≤ Var(X) / a^2

Exemple d'application : loi binomiale

Considérons une variable X suivant une loi binomiale de paramètres n et p. Alors :

• E(X) = n p
• Var(X) = n p (1 − p)

Vecteurs aléatoires réels

Un vecteur aléatoire X = (X1, ..., Xd) est une fonction X : Ω → R^d, mesurable. Sa loi conjointe est donnée par la fonction de répartition :

FX(t1, ..., td) = P(X1 ≤ t1, ..., Xd ≤ td)

Si X admet une densité :

fX : R^d → R^+, ∫_{R^d} fX(t) dt = 1

Lois marginales

La loi marginale de Xi est obtenue par intégration :

f_{Xi}(x) = ∫_{R^{d−1}} fX(x1, ..., xi−1, x, xi+1, ..., xd) dx1 ... dxi−1 dxi+1 ... dxd

Indépendance

Deux variables X et Y sont indépendantes si :

• Discrètes : P(X = xi, Y = yj) = P(X = xi) P(Y = yj) pour tous (xi, yj).
• Continues : f_{X,Y}(x,y) = f_X(x) f_Y(y) pour tous (x,y).

Propriétés :

• E(XY) = E(X) E(Y)
• Var(X + Y) = Var(X) + Var(Y) si X et Y indépendantes
• ϕ_{X+Y}(t) = ϕ_X(t) ϕ_Y(t)

Changement de variable

Si Y = g(X) avec g bijective de classe C^1, alors :

f_Y(y) = |J_{g^{-1}}(y)| f_X(g^{-1}(y)) 1_{g(D_X)}(y)

où |J_{g^{-1}}(y)| est le déterminant jacobien de l'inverse.

Covariance et corrélation

La covariance de (X, Y) est :

Cov(X, Y) = E((X − E(X))(Y − E(Y))) = E(XY) − E(X) E(Y)

Propriétés :

• Cov(X, X) = Var(X)
• Cov(X, a) = 0 pour toute constante a
• Formule bilinéaire : Cov(aX + b, cY + d) = a c Cov(X, Y)
• Var(X ± Y) = Var(X) + Var(Y) ± 2 Cov(X, Y)

La matrice de covariance de X = (X1, ..., Xd) est :

Cov(X) = (Cov(Xi, Xj))_{1 ≤ i,j ≤ d}

Le coefficient de corrélation linéaire est :

ρ_{XY} = Cov(X, Y) / (√Var(X) √Var(Y))

Si ρ_{XY} = 0, X et Y sont non corrélées. Si |ρ_{XY}| = 1, X et Y sont colinéaires (relation affine).

Lois et espérance conditionnelle

La loi conditionnelle de Y sachant X = x (cas continu) est :

f_{Y|X=x}(y) = f_{X,Y}(x,y) / f_X(x)

Pour une fonction g, l'espérance conditionnelle est :

• Discrète : E(g(X, Y)|X = xi) = Σ_j g(xi, yj) P(Y = yj | X = xi)
• Continue : E(g(X, Y)|X = x) = ∫ g(x, y) f_{Y|X=x}(y) dy

L'espérance conditionnelle de Y sachant X est une variable aléatoire :

E(Y|X) = g(X) où g(x) = E(Y|X = x).

De même, la variance conditionnelle :

Var(Y|X = x) = h(x) et Var(Y|X) = h(X).

Les lois conditionnelles coïncident avec les lois marginales.

Théorèmes importants :

• Espérance totale : E(Y) = E(E(Y|X))
• Variance totale : Var(Y) = E(Var(Y|X)) + Var(E(Y|X))

Vecteurs aléatoires gaussiens

Un vecteur aléatoire X = (X1, ..., Xd) est gaussien de loi N_d(m, Γ) avec :

• m vecteur d'espérance
• Γ matrice de covariance symétrique semi-définie positive, Γ_{ij} = Cov(Xi, Xj)

Si Γ est diagonale, les composantes Xi sont non corrélées.

Chaque Xi suit une loi normale N(m_i, Γ_{ii}).

La réciproque est fausse sauf si X est un vecteur gaussien.

Transformation affine : si Y = a + P X avec a ∈ R^k et P une matrice, alors :

Y ∼ N_k(a + P m, P Γ P^T)

Indépendance et non-corrélation coïncident pour un vecteur gaussien.

Convergences des variables aléatoires

Soit (X_i) une suite de variables aléatoires indépendantes et identiquement distribuées (i.i.d.) de loi L(X).

Types de convergence

• Convergence presque sûre (forte) : X_n → X p.s. si P(lim_{n→∞} X_n = X) = 1
• Convergence en probabilité : X_n → X en probabilité si pour tout ε > 0, lim_{n→∞} P(|X_n − X| ≥ ε) = 0
• Convergence dans L^p : X_n → X dans L^p si lim_{n→∞} E(|X_n − X|^p) = 0
• Convergence en moyenne quadratique (L^2) : cas particulier de L^p avec p=2.
• Convergence en loi : X_n → X en loi si lim_{n→∞} F_{X_n}(t) = F_X(t) pour tout t de continuité de FX.

Relations entre convergences

On a la chaîne d'implications :

X_n → X en L^p ⇒ X_n → X en L^q (q ≤ p) ⇒ X_n → X p.s. ⇒ X_n → X en probabilité ⇒ X_n → X en loi

Lois des grands nombres

Soit (X_i) i.i.d. intégrables :

• Loi faible des grands nombres : S_n / n → E(X) en probabilité, où S_n = Σ_{i=1}^n X_i
• Loi forte des grands nombres : S_n / n → E(X) presque sûrement

Théorème central limite (TCL)

Pour (X_i) i.i.d. de carré intégrable :

(S_n − n E(X)) / √(n Var(X)) → N(0,1) en loi.

Autrement dit, la somme centrée et normalisée converge vers une loi normale standard.

Glossaire des termes clés

• Tribu : collection d'événements stable par union et complémentaire.
• Fonction densité : fonction positive intégrable définissant la loi d'une variable continue.
• Fonction de répartition : fonction croissante donnant la probabilité que X soit inférieur ou égal à x.
• Espérance : moyenne pondérée des valeurs possibles d'une variable aléatoire.
• Variance : mesure de la dispersion autour de l'espérance.
• Covariance : mesure de la dépendance linéaire entre deux variables.
• Coefficient de corrélation : covariance normalisée entre −1 et 1.
• Variable aléatoire gaussienne : variable dont la loi est normale.
• Convergence en loi : convergence des distributions des variables aléatoires.
• Convergence presque sûre : convergence des valeurs des variables aléatoires presque partout.
• Loi des grands nombres : convergence des moyennes empiriques vers l'espérance.
• Théorème central limite : convergence des sommes normalisées vers une loi normale.

Points clés à retenir

• La définition précise de l'espace fondamental Ω et de la tribu A est cruciale pour modéliser un problème probabiliste.
• Les probabilités conditionnelles et l'indépendance sont fondamentales pour décomposer et comprendre des événements complexes.
• Les variables aléatoires peuvent être discrètes ou continues, avec des outils adaptés (densité, fonction de répartition, fonction caractéristique).
• Les vecteurs aléatoires généralisent ces notions et introduisent la covariance et la corrélation pour étudier les dépendances.
• Les lois conditionnelles et l'espérance conditionnelle permettent d'affiner les prévisions en fonction d'informations partielles.
• Les vecteurs gaussiens sont particulièrement importants en raison de leurs propriétés de stabilité et de transformabilité.
• Différents types de convergence existent, avec des implications hiérarchiques, et sont essentiels en théorie asymptotique.
• La loi forte et faible des grands nombres garantissent la stabilité des moyennes empiriques.
• Le théorème central limite explique la prévalence de la loi normale dans les phénomènes aléatoires.