Aide M moire de Probabilit
1 Probabilit s ensemblistes
" & ensemble des r sultats possibles
" A tribu : stable par union et stable par compl mentaire
si & d nombrable alors A = P(&) ensemble des parties de &
si & non d nombrable Rk alors A = B(Rk) tribu de Borel de Rk
" P fonction probabilit :
P : A [0, 1]
A (cid:55) P(A)
" (&, A, P) espace de probabilit
" Probabilit uniforme (cas ni) :
" Axiomatique de Kolmogorov :
P : P(&) [0, 1]
A (cid:55) P(A) = Card(A)
Card(&)
1. P(&) = 1
2. P (*iI Ai) = (cid:80)
en particulier P(A * B) = P(A) + P(B) si A et B sont disjoints
iI P(Ai) si les Ai sont disjoints deux deux.
raisonnement sur les ensembles disjoints (notamment partition) puis pas-
sage aux probabilit s
" D nombrement :
Nombre darrangements de k l ments parmi N
(N k)! = N (N 1) ... (N k + 1)
N = (N )k = N !
Ak
tous diff rents = sans remise
ordre est important
ex: tierc
Nombre de combinaisons de k l ments parmi N
N
k
N !
k!(N k)!
k! =
N = (cid:0)N
(cid:1) = Ak
C k
tous diff rents = sans remise
ordre nest pas important
ex: loto
Nombre de permutations de k l ments : n! = Ak
k
1
" Reconna tre le mod le avec ou sans remise
Mod le avec remise (multi-nominal)
& = {suites ordonn es de k boules parmi N avec r p tition (avec
remise)} = {(x1, ..., xk) {1, ..., N }k}
Card(&) = N k
La probabilit chaque tirage/lanc est toujours la m me entre les N
possibilit s : pi, i N
ex1: k lanc es dune pi ce truqu e N = 2 avec p1 = p et p2 = 1 p
loi Binomial de param tres k et p.
ex2 : k lanc es de d s de N faces avec p = 1
N si quilibr
Mod le sans remise = tous diff rents
& = {suites ordonn es de k boules parmi N sans r p tition (tous
diff rents)} = {(x1, ..., xk) {1, ..., N }k | i (cid:54)= j, xi (cid:54)= xj}
Card(&) = Ak
N
La probabilit change chaque tirage/lanc tant donn quil ny a pas
de remise = mod le plus complexe.
ex: tirer k cartes sans remise dans un jeu de N cartes; s lectionner k
tudiants dans une promo de N
ex: N = 2 : loi hyperg om trique
Si N est tr s grand : mod le sans remise = mod le avec remise (la non
remise ne modie quasiment pas la probabilit )
La d nition de & est un point critique des probl mes :
" Souvent consid rer un ordre dans les tirages, les lanc es alors quil nen existe
pas forc ment et ensuite consid rer les diff rents cas (permutations,....).
" Souvent ne pas consid rer la couleur des boules ou dautres caract ristiques dans
& et les consid rer toutes distinctes (m me si elles ont la m me couleur) pour
obtenir une loi de probabilit uniforme : P(A) = Card(A)
Card(&) . Dans un second
temps, on d nombre les combinaisons, arrangements ou permutations.
2 Probabilit s conditionnelles
" P(A|B) =
P(A ) B)
P(B)
P(A|B)P(B) = P(B|A)P(A)
" Probabilit s totales : si Bi partition de &
(cid:88)
P(A) =
P(A|Bi)P(Bi)
=
iI
(cid:88)
iI
P(A ) Bi)
" A et B sont ind pendants P(A ) B) = P(A) P(B)
P(B)(cid:54)=0
P(A|B) = P(A)
" (Ai)iI mutuellement ind pendants J I, P()iJ Ai) = (cid:81)
iJ P(Ai)
" mutuellement ind pendants = deux deux ind pendants (r ciproque fausse)
2
3 Variables al atoires r elles
Ajout dune notion dordre (dune mesure) dans &
X : & R
(cid:55) X( ) = x
(&, A, P) avec X = (R, B(R), PX)
4 fa on diff rentes et quivalentes de d nir une variable al atoire r elle X :
1. Fonction densit de X
" discret : nadmet pas de densit .
On d nit la loi en donnant la valeur de la probabilit en chaque point :
Publicité
{(xi, P(X = xi))}iI
= diagramme en b tons.
" continu :
fX : R R+
x (cid:55) fX (x)
fonction int grable :
(cid:90)
R
fX (x)dx = 1
" Support de la loi de X : ensemble des valeurs de R sur lesquelles fX est
non nulle : DX = Supp(X) = {x R, fX (x) > 0}.
On note 1DX (x) = 1 si x DX et = 0 sinon, la fonction support.
" on note : X DX presque s rement (p.s.) ou presque partout (p.p.) si
P(X DX ) = 1.
2. Fonction de r partition de X :
FX : R [0, 1]
x (cid:55) FX (x) = PX(] ; x]) = P(X (cid:54) x)
" discret : FX (x) =
" continu : FX (x) =
(cid:88)
xi(cid:54)x
(cid:90) x
P(X = xi).
(cid:90) x
fX (x)dx =
cest lint grale de fX , elle est croissante.
P(a (cid:54) X (cid:54) b) = FX (b) FX (a)
P(X = a) = 0, a R
FX () = 0 et FX (+) = 1
fX (x)1DX (x)dx =
(cid:90)
],x])DX
fX (x)dx
3. Fonction quantile de X :
F X :]0, 1[ R
F X (p) = inf{x R|FX (x) > p}
X quand celle-ci ex-
p (cid:55)
cest grosso-modo linverse de la fonction de r partition, F 1
iste.
= la m diane est la valeur de x telle que F (x) = 1/2.
4. Fonction caract ristique de X :
= (k)
X (0) = ikE(X k)
X : R C
t
(cid:55) X (t) = E(eitX )
" Esp rance de X = moyenne de X; cest un r el: E(X) R
discret : E(X) = (cid:80)
continue: E(X) = (cid:82)
P(A) = E(1A) = P(X > t) = E(1]t;+[)
iI xiP(X = xi)
R xfX (x)dx
3
" Lin arit sur les int grales = lin arit sur les esp rance :
E(aX + b) = aE(X) + b
E(X + Y ) = E(X) + E(Y )
" Changement de variable : Y = g(X)
E(Y ) =
(cid:90)
R
g(x)fX (x)dx
Si g convexe alors g(E(X)) (cid:54) E(g(X))
y R, FY (y) = P(X g1(] ; y]))
Si g bijective telle que g(cid:48)(x) (cid:54)= 0 alors y R, fY (y) = |(g1)(cid:48)(y)|fX (g1(y))
" Variance de X : moyenne de l cart la moyenne au carr ; cest un r el positif :
V ar(X) R+
V ar(X) = E((X E(X))2) = E(X 2) (E(X))2 = (cid:48)(cid:48)
Si V ar(X) = 0 alors X est un variable al atoire constante.
X (0) + ( (cid:48)
X (0))2
" cart type de X : X = (cid:112)V ar(X) m mes unit que les valeurs de X.
" Moment non centr dordre p de X : mp = E(X p) = (p)
" Moment centr dordre p de X : p = E((X E(X))p) R
" In galit de Tchebychev : P (|X E(X)| (cid:62) a) (cid:54) V ar(X)
X (0)
ip
a2
R
Lois classiques conna tre et reconna tre :
" Lois discr tes :
Loi Uniforme sur {1, ..., n}
Loi de Bernoulli de param tre p [0, 1] (1 lanc pile ou face)
Loi Binomiale de param tres n N et p ]0, 1[ (n lanc s pile ou face)
Loi G om trique de param tre p ]0, 1[
Loi de Poisson de param tre > 0
" Lois continues :
Loi Uniforme sur lintervalle
Loi Exponentielle de param tre > 0
Loi Normale (loi Gaussienne) de param tres ( , 2)
4
4 Vecteurs al atoires r elles
Simple g n ralisation des d nitions pour d variables al atoires r elles.
Notions nouvelles uniquement propos de la (in)d pendance entre lois : covariance...
X = (X1, ..., Xd) : (&, A) (Rd, B(Rd))
loi jointe
(cid:55) X( ) = (X1( ), ..., Xd( ))
Simple g n ralisation des d nitions :
" Probabilit dun v nement :
PX(A) = P(X1,...,Xd)(A1 ... Ad) = P(X1 A1, ..., Xd Ad)
" Fonction de r partition de X :
Publicité
FX : Rd [0, 1]
t
(cid:55) FX(t) = F(X1,...,Xd)(t1, ..., td) = P(X1 (cid:54) t1, ..., Xd (cid:54) td)
" Fonction de densit de X :
fX : Rd R+
t
(cid:55) fX(t1, ..., td) =
avec
(cid:90)
Rd
et DX support de X.
FX(t1, ..., td) =
(cid:90) t1
fX(t1, ..., td)dt1...dtd =
fX(t)dt=1
FX(t1, ..., td)
d
t1...td
(cid:90)
DX
(cid:90) td
...
(cid:90)
A
fX(t1, ..., td)dt1...dtd
(cid:90)
A
fX(t)1DX dt =
(cid:90)
A)DX
fX(t)dt
PX(A) =
fX(t)dt =
" Fonction caract ristique de X :
X : Rd C
t
(cid:55) X(t1, ..., td) = E(ei(cid:104)t,X(cid:105))
" Esp rance de X : E(X) = (E(X1), ..., E(Xd)) Rd
" i- me loi marginale de X : projection/int gration de X sur sa i- me composante :
fXi (x) =
(cid:90)
Rd1
Dans R2 : fX (x) =
(cid:90)
R
f(X,Y )(x, y)dy
fX(x1, ..., xi1, x, xi+1, ...xd)dx1...dxi1dxi+1...dxd
FXi (ti) = FX(+, ..., ti, ..., +) ( criture non formelle)
Xi(ti) = X(0, ..., 0, ti, 0..., 0)
" X et Y sont ind pendantes P(X A, Y B) = P(X A) P(Y B),
A, B
continue f(X,Y )(x, y) = fX (x)fY (y),
discret P(X = xi, Y = yi) = P(X = xi)P(Y = yi),
(x, y) R2
(xi, yj)
X et Y sont des v.a.r. ind pendantes =
= g n ralisation au vecteur de dimension d.
E(XY ) = E(X)E(Y )
V ar(X + Y ) = V ar(X) + V ar(Y )
t R, X+Y (t) = X (t) Y (t)
t, s R, (X,Y )(t, s) = X (t) Y (s)
5
" Changement de variable : Y = g(X)
Si g bijective de classe C1 ainsi que sont inverse et |Jg1(y)| (cid:54)= 0 alors
fY (y) = |Jg1(y)|fX (g1(y))1g(DX )(y)
cas o (U, V ) = g(X, Y )
f(U,V )(u, v) = |Jg1(u, v)|f(X,Y )(g1(u, v))1g(D(X,Y ))(u, v)
cas de Z = X + Y , fX+Y (z) = (cid:82) f(X,Y )(u v, v)dv
" Covariance du couple (X, Y ) : Cov(X, Y ) = E((X E(X))(Y E(Y )))
Cov(X, X) = V ar(X)
Cov(X, Y ) = Cov(Y, X)
Cov(X, Y ) = E(XY ) E(X)E(Y )
Cov(X, a) = 0, a R
Forme bilin aire en X, Y : Cov(aX + b, cY + d) = acCov(X, Y )
V ar(X Y ) = V ar(X) + V ar(Y ) Cov(X, Y )
V ar(aX + bY + c) = a2V ar(X) + b2V ar(Y ) + 2abCov(X, Y )
Matrice de covariance de X = (X1, ..., Xd) : Cov(X) = (Cov(Xi, Xj))1(cid:54)i,j(cid:54)d
" Coefcient de corr lation (lin aire) de X et Y (X et Y de carr int grable):
XY =
Cov(X, Y )
(cid:112)V ar(X)V ar(Y )
XY = 0 : X et Y sont non corr l es
| XY | (cid:54) 1
| XY | = 1 X et Y sont colin aires (relation afne entre X et Y )
5 Lois et esp rance conditionnelle
Conditionnement par
rapport une variable al atoire
(cid:54)=
Conditionnement par rapport un
v nement (valeur dune variable al atoire)
" Loi conditionnelle sachant un v nement
Loi conditionnelle de Y sachant X = xi (cas discret) :
xi, yi, PY |X=xi (yi) = P(Y = yi|X = xi) =
P(Y = yi, X = xi)
P(X = xi)
Th or me des probabilit s totales :
P(X = xi) =
(cid:88)
j
P(X = xi|Y = yi)P(Y = yi)
Publicité
Loi conditionnelle de Y sachant X = x (cas continu) :
x, y, fY |X=x(y) = fY (y|X = x) =
f(X,Y )(x, y)
fX (x)
6
" Esp rance conditionnelle sachant un v nement :
Esp rance conditionnelle de la v.a. g(X, Y ) sachant X = xi (cas discret) :
E(g(X, Y )|X = xi) =
(cid:88)
j
g(xi, yj)P(Y = yi|X = xi)
Esp rance conditionnelle de la v.a. g(X, Y ) sachant X = x (cas continu) :
E(g(X, Y )|X = x) =
(cid:90)
R
g(xi, yj)fY |X=x(y)dy
" Esp rance conditionnelle de la v.a. Y sachant la v.a. X, E(Y |X) :
E(Y |X = x) = g(x) = E(Y |X) = g(X)
g = E(Y |X) : X R
x (cid:55) g(x) = E(Y |X = x)
Attention !! E(Y ) R mais E(Y |X) est une v.a. qui d pend de la v.a. X (c- -d
la fonction g(X)).
" Variance conditionnelle de la v.a. Y sachant la v.a. X, V ar(Y |X) :
V ar(Y |X = x) = h(x) = V ar(Y |X) = h(X)
De m me V ar(Y ) R mais V ar(Y |X) est une v.a. fonction de la v.a. X,
h(X).
" Les lois conditionnelles co ncident avec les lois marginales
" Th or me de lesp rance totale : si Y int grable alors
E(Y ) = E(E(Y |X))
" Th or me de la variance totale : si Y de carr int grable alors
V ar(Y ) = E(V ar(Y |X)) + V ar(E(Y |X))
" fonctions g born e et h tel que h(Y ) int grable, on :
E(g(X)h(Y )|X) = g(X)E(h(Y )|X)
= E(g(X)|X) = g(X)
7
6 Vecteurs al atoires gaussiens
" X = (X1, ..., Xd) vecteur al atoire gaussien Nd(m, ) avec m vecteur es-
p rance (vecteur moyenne) et matrice de covariance des Xi : ij = Cov(Xi, Xj)
est une matrice sym trique semi-d ni positive = (Cov(Xi, Xj))i,j
" diagonale = les Xi sont non corr l es (Cov(Xi, Xj) = 0, i (cid:54)= j)
" X = (X1, ..., Xd) < Nd(m, ) = i = 1...d, Xi < N (mi, ii)
La r ciproque est fausse sauf si les Xi sont ind pendants
"
X < Nd(m, )
Y = a + P X avec a Rk et P Mk d(R)
(cid:27)
Y < Nk(a+P m, P P T )
" X1, ..., Xn ind pendants X1, ..., Xn non corr l es
La r ciproque est fausse sauf si X = (X1, ..., Xn) est un vecteur gaussien
7 Convergences des variables al atoires
" (Xi)iN ind pendantes identiquement distribu es (i.i.d.)
ind pendantes et toutes de m me loi que X : L(X) = L(Xi), i
" une v.a. est X int grable E(|X|) < +
" une v.a. est X de carre int grable E(X 2) < +
" Convergence presque s re ou convergence forte :
Xn
p.s.
X P
(cid:18)(cid:26)
& :
lim
n +
Xn( ) = X( )
= 1
(cid:27)(cid:19)
" Convergence en probabilit :
Xn
P X (cid:15),
lim
n +
P (|Xn X| (cid:62) (cid:15)) = 0
De plus :
Xn
Yn
P X
P Y
(cid:41)
=
" Convergence dans Lp :
g(Xn) P g(X), g continue
aXn + bYn
ZXn
P ZX, Z v.a.r. nie p.s.
P aX + bY, a, b R
Lp
X lim
Xn
E (|Xn X|p) = 0
n +
Convergence en moyenne quadratique (c- -d dans L2) :
Xn
m.q.
X lim
n +
E (cid:0)|Xn X|2(cid:1) = 0
De plus :
lim
n +
lim
n +
E(Xn) = m
V ar(Xn) = 0
Publicité
(cid:41)
8
= Xn
m.q.
m (v.a. constante)
" Convergence en loi (la plus faible, la plus utilis e) :
Xn
L X lim
n +
FXn (t) = FX (t)
lim
E(g(Xn)) = E(g(X)), g born e, continue
n +
lim
n +
Xn(t) = X (t)
Convergence des lois mais pas des variables al atoires :
.
Une v.a. discr te/continue peut converger en loi vers un v.a. continue/discr te
Xn + Yn
XnYn
L X (cid:59) Xn X L 0
L X
L a
L X + a
P aX
De plus :
Xn
Yn
=
Xn
(cid:40)
(cid:41)
" Dominance des convergences :
Xn
Lp
X = Xn
Xn
Lq
X (q (cid:54) p) = Xn
p.s.
X =
L1
X =
Xn
P X = Xn
L X
" Loi faible des Grands Nombres (LfGN)
(Xi)iN i.i.d.(L(X) = L(Xi))
X int grable
(cid:27)
=
Sn
n
=
1
n
n
(cid:88)
i=1
Xi
P E(X)
" Loi Forte des Grands Nombres (LFGN)
(Xi)iN i.i.d.(L(X) = L(Xi))
X int grable
(cid:27)
=
Sn
n
=
1
n
n
(cid:88)
i=1
Xi
p.s.
E(X)
" Th or me Central Limite (TCL)
Soit Sn = (cid:80)n
i=1 Xi
(Xi)iN i.i.d.(L(X) = L(Xi))
X de carr int grable
(cid:27)
=
Sn nE(X)
(cid:112)nV ar(X)
L N (0, 1)
(Xi)iN i.i.d.(L(X) = L(Xi))
Sn
n
L S
(cid:41)
=
E(X) = 0
E(X 2) <
S = N (0, 1)
" Astuce :
X v.a.r. et x R, 1{X(cid:54)x} < B(p) avec p = P(X (cid:54) x) = FX (x),
donc E(1{X(cid:54)x}) = p et V ar(1{X(cid:54)x}) = p(1 p)
9