Chapitre 6. Canaux et signaux continus
1. Notions de base (survol rapide
voir notes à tête reposée)
(a) Processus aléatoires en temps continu
(b) Théorème d’échantillonnage
(c) Entropies différentielles et théorème AEP
2. Canaux continus
(a) Canal Gaussien (modèle abstrait, en temps discret)
(b) Canaux à bande passante limitée (en temps continu)
(c) Canaux parallèles et bruit coloré
(d) Espaces de signaux (introduction au traitement du signal)
1
Processus aléatoires en temps continu
1. Fonction aléatoire (très général)
Espace probabilisé : !
Ensemble
d’indices (fini, infini, continu
)
Fonction aléatoire : une fonction de deux arguments
:
!
2. Spécialisation (dans ce chapitre)
et
: valeurs et temps continu.
(1)
!
: peut être discret ou continu (p.ex. : source discrète, canal continu)
Ressemble à un vecteur aléatoire de dimension infinie...
Si on fixe :
devient une v.a. “classique” (on la note
)
Si on fixe
:
devient une fonction “classique”
2
Modélisation probabiliste de processus aléatoires
NB. En principe une conséquence de la définition et de la loi
!.
définie sur
Point de vue descriptif :
Loi de probabilité fini-dimensionnelle du processus à l’ordre
vecteur aléatoire
2
;
1
donnée pour toute suite d’instants
= la loi du
1
2
.
Loi temporelle d’un processus aléatoire = l’ensemble de toutes les lois fini-
dimensionnelles du processus à tout ordre.
Processus Gaussien = processus dont toutes les lois fini-dimensionnelles sont
Gaussiennes.
Processus blanc = processus dont toutes les lois fini-dimensionnelles se fac-
torisent (indépendance).
Processus Gaussien blanc = processus Gaussien avec matrices de variance-
covariance diagonales.
3
Notions élémentaires
Moyenne du processus aléatoire (fonction du temps) :
Processus centré si moyenne identiquement nulle. Sinon, version centrée =
Fonction d’autocovariance (parfois d’autocorrélation) (deux arguments)
1
2
1
2
2
3
4
On a
1.
2.
3.
0,
2
1
2
1
2
2
1 ,
1
1
2
2
(inégalité de Schwarz).
4
Stationnarité/ergodicité
Voir notes pour les détails et précautions...
Stationnarité au sens large
1.
2.
constante.
1
2 ne dépend que de la différence 1
2
(on note
Densité spectrale de puissance (processus stationnaire)
(Ici définition mathématique, interprétations : voir cours sur les proc.al.)
2
)
5
(transformée de Fourier de
.)
Interprétation :
moyenne).
spectre de la répartition de puissance dans le signal (en
Autres définition : espérance mathématique du carré du spectre des réalisations
5
Théorème d’échantillonnage (Shannon et Nyquist)
Trajectoire
transformée de Fourier de
d’un processus (aléatoire ou non) limitée en fréquence :
existe et soit telle que
2
0
0
6
7
où 0 désigne la largeur de bande du signal (en Hz).
Le théorème d’échantillonnage dit que la fonction
complètement déterminée par des échantillons
est dans ces conditions
2 0
2
1 0 1 2
Considérons la fonction sinc
définie par
sin
sinc
6
8
Cette fonction vaut 1 en
Publicité
0 et sinc
0
0.
A partir de cette fonction on peut construire une base orthonormée de signaux
limités en fréquence dans la bande
0 comme suit :
0
2 0 sinc 2
0
2 0
2
1 0 1 2
9
Cette base est orthonormée car
Donc la fonction
2 0
2 0
10
11
est évidemment identique à
aux instants d’échantillonnage. Comme
cette fonction et une superposition de fonctions à spectre limité dans une
même bande, elle est aussi a spectre limité dans cette bande. Le théoreme
d’échantillonnage garantit donc qu’elle doit être identique à
.
7
Entropies différentielles (Rappels)
log [
]
(extension au cas de vecteurs aléatoires : intégrale multiple)
Invariante par translation de la v.a.
Produit par une matrice (non-singulière) : il faut ajouter log
Exemples :
Loi uniforme
log Vol
12
13
Plus généralement, soit
une v.a. Gaussienne dans
, alors
où
désigne le déterminant de
(nécessairement non-négatif).
1
2
log
2
14
8
Propriétés de la loi Gaussienne
La loi Gaussienne est la loi qui maximise l’entropie différentielle sous les
contraintes
et Var
2.
2 Var
Comme
maximise l’entropie sous la seule contrainte d’égalité
Gaussienne
2, on en déduit immédiatement que la loi qui
est la loi
0
2
.
Donc, finalement : la loi qui maximise l’entropie sous la contrainte d’inégalité
0
0 est la loi Gaussienne
0 .
2
Propriétés de la loi uniforme
La loi uniforme sur un ensemble
contrainte
1.
Autres remarques
est la loi qui maximise l’entropie sous la
L’entropie différentielle de lois multidimensionnelles dégénérées (la proba-
bilité étant concentrée sur un ensemble de volume nul) n’est pas définie.
9
Théorème AEP pour des v.a. continues
Le théoreme AEP reste valable a condition d’effectuer les changements suiv-
ants :
(remplacement des probabilités par des densités),
(remplacement de l’entropie par l’entropie différentielle),
Vol
(remplacement des cardinalités par des volumes).
Il se formule donc de la manière suivante :
Soit
1
2
une suite de v.a. i.i.d. selon
. Alors
1
log
1
2
log
15
10
Ensembles typiques
Pour
0 et
, ensemble typique
par rapport à la densité
:
1
où
1
1
1
log
1
:
.
16
L’ensemble typique a les propriétés fondamentales suivantes :
1.
2. Vol
3. Vol
1
, pour
suffisamment grand.
2
1
, pour tout
.
2
, pour
suffisamment grand.
De plus, on montre que le volume minimal de tout sous-ensemble de
probabilité supérieure à 1
typique.
de
est essentiellement le volume de l’ensemble
11
Canaux continus (alphabet d’entrée et de sortie continu
Publicité
)
Un canal continu peut être continu ou discret en temps.
Un canal continu peut être utilisé avec des entrées “discrètes” (cf. modulation)
Modèle simple = bruit additif Gaussien :
0
NB. Capacité infinie si
0, ou si
est illimité (puissance du signal illimitée).
Puissance moyenne (par symbole transmis) limitée : toute suite de symboles
1
transmise sur le canal vérifie
1
2
1
17
Si les signaux d’entrée sont ergodiques (ce que nous supposerons être le cas
équivalente à la
dans ce qui suit), cette contrainte devient lorsque
contrainte
18
2
12
Capacité du canal Gaussien
Deux approches :
1. Alphabet d’entrée discret (p.ex. binaire) :
1
2. Alphabet d’entrée sans contrainte :
1
2 log 1
1.
2
.
Explications:
1. Alphabet binaire discret :
Sous la contrainte de puissance :
et
.
: canal binaire symétrique avec
.
2. Capacité sans restrictions supplémentaires :
Comme le canal est sans mémoire (bruit i.i.d.), on peut supposer que les entrées
sont également indépendantes : on raisonne symbole par symbole (on suppose
que les entrées sont i.i.d. selon une loi
.)
13
Définition : capacité en information = max
:
2
;
.
On montre (cf. notes) :
Capacité est réalisée pour
N.B :
0
et vaut 1
2 log 1
.
1. Dans ce cas, la sortie est distribuée en loi
0
.
2. Résultat conceptuellement analogue au cas du canal symétrique binaire.
Discussion (intuitivement évident) :
L’utilisation d’un alphabet continu permet en principe d’augmenter la capacité.
D’autant plus que le rapport signal/bruit est élevé.
Montrons que la capacité en information est égale au débit maximum at-
teignable...
14
Code
puissance
Un code
consiste en :
pour le canal Gaussien avec limitation de
1. Un ensemble d’indices 1 2
.
2. Une fonction d’encodage
mots de code
1
moyenne pour chaque mot de code, i.e.
: 1 2
, produisant les
qui vérifient la contrainte de puissance
2
1
1 2
19
3. Une fonction de décodage
:
1 2
.
Débit réalisable
Un débit
sance
puissance) telle que la probabilité d’erreur maximale
est dit réalisable pour le canal Gaussien avec limitation de puis-
(respectant la limitation de
s’il existe une suite de codes
tende vers zéro.
2
15
Empilement de sphères (argument de plausibilité)
On se pace dans la situation qui réalise la capacité en information.
Si on émet un vecteur
probabilité proche de 1) dans une boule centrée en
donné de dimension , le signal reçu est confiné (avec
.
de rayon
En fait, le signal tend a se concentrer a la surface de la sphère, car 1
.
2
1
Plaçons les signaux d’entrée de maniere a ce que les sphères ne se recouvrent
pas : combien de sphères peut on ainsi empiler ?
Comme signaux limités en puissance : ils doivent se trouver à l’intérieur d’une
sphère de rayon
.
On montre que les vecteurs reçus sont alors confinés (quel que soit le code
utilisé) dans une sphère de rayon
.
Rapport des volumes : sphere de réception/spheres de bruit = 2 2 log 1
fixe une borne à
2
.
qui
16
17
couronne en sortie
couronnes
de bruit
couronne
à l’entrée
18
Démonstrations “réelles”
voir notes
Applications : canaux à bande passante limitée
Publicité
Modèle :
20
est le signal temporel d’entrée,
où
Gaussien et
coupe toutes les composantes fréquentielles au-delà d’un seuil
une réalisation de bruit blanc
est la réponse impulsionnelle d’un filtre passe bande idéal qui
0 (le symbole
désigne le produit de convolution).
NB: un bruit blanc
est un processus aléatoire stationnaire tel que
0
, et tel que
0
2
21
représente l’impulsion de Dirac (idéalisation mathématique) et
où
variance du bruit. Le bruit blanc est dit Gaussien si de plus, les
une loi Gaussienne
.
0
2 la
suivent
19
Comme le signal en sortie est limité en fréquence, on peut considérer que les
entrées et les sorties sont définies par les échantillons aux instants
.
2 0
On montre que, pour un bruit blanc ces échantillons sont i.i.d.
0
0 0 .
Supposons que nous disposions d’une puissance d’ émission
: on peut générer
un signal aléatoire Gaussien limité en fréquence en choisissant les échantillons
distribués selon une loi
0
.
On a donc une capacité (par utilisation du canal, i.e. par échantillon) qui vaut :
1
2
log 1
0 0
bits par échantillon
et comme il y a 2 0 échantillons par seconde, on obtient
0 log 1
0 0
bits par seconde
22
23
En pratique,
lesquelles l’ingénieur peut agir.
0 est une donnée physique.
et
0 sont des grandeurs sur
20
NB: la capacité croˆıt avec la largeur de bande
lim
0
0 log 1
0 0
0
log bits par seconde
24
Si la largeur de bande est très large, on peut utiliser des schémas de modulation
discrets (p.ex. binaire) : la capacité exploitable, à la limite vaut environ 63%
de la capacité théoriquement atteignable (cela est lié a la décision brute a la
sortie du démodulateur
).
Exemple
La largeur de bande d’une ligne téléphonique est limitée à 3300Hz (ce qui
convient parfaitement à la parole). En supposant que le rapport signal bruit
soit de 20dB ( 10 log10
) on a
0 0
et on calcule que
21 972 bits par seconde.
100
0 0
21
Conclusions générales
Si bande étroite et rapport signal bruit élevé : le codage de canal est peu utile.
Si rapport signal bruit faible, mais bande de fréquence large : codage de canal
nécessaire.
Si bande de fréquence plus large, la plage de puissance ou la croissance de la
capacité est plus large.
Si rapport signal bruit élevé: modulations discrètes pénalisées.
Autres résultats (voir notes)
Décodage : reconnaˆıtre le signal envoyé sur le canal.
Approximation : codage discret de signaux continus.
Canaux parallèles et canaux avec spectre de bruit quelconque :
22
3 0
3
4
4
2
1
1
2
23
Moralité
Théorie de l’information dit :
il faut exploiter un canal en maximisant la
discernabilité des signaux envoyés, compte tenu des déformations introduites
par le canal, et des limitations techniques imposées au concepteur.
On peut augmenter la dimensionnalité des espaces de signaux pour atteindre
la capacité.
Dans certains cas, il faut augmenter l’alphabet de source (nombre de niveaux
possibles pour chaque symbole).
Dans d’autres cas il faut coder des messages plus longs (réseaux de points dans
un espace multidimensionnel).
24
Ce que ne nous n’avons pas pu voir:
Codes sur un espace euclidien
(Signaux et canaux continus)
Cryptographie
(Rendre le décodage difficile)
Théorie de la distorsion
(Compression irréversible)
Théorie de l’information de réseaux de communication
Relation entre théorie de l’information et physique statistique
(Thermodynamique)
Applications de la théorie de l’information
(statistiques et apprentissage automatique)
Complexité de Kolmogorov
(relations avec l’informatique théorique : décidabilité, complexité
)
25