Canaux et signaux continus

spectre de la r´epartition de puissance dans le signal (en

Autres d´efinition : esp´erance math´ematique du carr´e du spectre des r´ealisations

5

Th´eor`eme d’´echantillonnage (Shannon et Nyquist)

Trajectoire

transform´ee de Fourier de

d’un processus (al´eatoire ou non) limit´ee en fr´equence :

existe et soit telle que

2

0

0

6

7

o`u 0 d´esigne la largeur de bande du signal (en Hz).

Le th´eor`eme d’´echantillonnage dit que la fonction

compl`etement d´etermin´ee par des ´echantillons

est dans ces conditions

2 0

2

1 0 1 2

Consid´erons la fonction sinc

d´efinie par

sin

sinc

6

8

Cette fonction vaut 1 en

0 et sinc

0

0.

A partir de cette fonction on peut construire une base orthonorm´ee de signaux

limit´es en fr´equence dans la bande

0 comme suit :

0

2 0 sinc 2

0

2 0

2

1 0 1 2

9

Cette base est orthonorm´ee car

Donc la fonction

2 0

2 0

10

11

est ´evidemment identique `a

aux instants d’´echantillonnage. Comme

cette fonction et une superposition de fonctions `a spectre limit´e dans une

mˆeme bande, elle est aussi a spectre limit´e dans cette bande. Le th´eoreme

d’´echantillonnage garantit donc qu’elle doit ˆetre identique `a

.

7

Entropies diff´erentielles (Rappels)

log [

]

(extension au cas de vecteurs al´eatoires : int´egrale multiple)

Invariante par translation de la v.a.

Produit par une matrice (non-singuli`ere) : il faut ajouter log

Exemples :

Loi uniforme

log Vol

12

13

Plus g´en´eralement, soit

une v.a. Gaussienne dans

, alors

o`u

d´esigne le d´eterminant de

(n´ecessairement non-n´egatif).

1

2

log

2

14

8

Propri´et´es de la loi Gaussienne

La loi Gaussienne est la loi qui maximise l’entropie diff´erentielle sous les

contraintes

et Var

2.

2 Var

Comme

maximise l’entropie sous la seule contrainte d’´egalit´e

Gaussienne

2, on en d´eduit imm´ediatement que la loi qui

est la loi

0

2

.

Donc, finalement : la loi qui maximise l’entropie sous la contrainte d’in´egalit´e

0

0 est la loi Gaussienne

0 .

2

Propri´et´es de la loi uniforme

La loi uniforme sur un ensemble

contrainte

1.

Autres remarques

est la loi qui maximise l’entropie sous la

L’entropie diff´erentielle de lois multidimensionnelles d´eg´en´er´ees (la proba-

bilit´e ´etant concentr´ee sur un ensemble de volume nul) n’est pas d´efinie.

9

Th´eor`eme AEP pour des v.a. continues

Le th´eoreme AEP reste valable a condition d’effectuer les changements suiv-

ants :

(remplacement des probabilit´es par des densit´es),

(remplacement de l’entropie par l’entropie diff´erentielle),

Vol

(remplacement des cardinalit´es par des volumes).

Il se formule donc de la mani`ere suivante :

Soit

1

2

une suite de v.a. i.i.d. selon

. Alors

1

log

1

2

log

15

10

Ensembles typiques

Pour

0 et

, ensemble typique

par rapport `a la densit´e

:

1

o`u

1

1

1

log

1

:

.

16

L’ensemble typique a les propri´et´es fondamentales suivantes :

1.

2. Vol

3. Vol

1

, pour

suffisamment grand.

2

1

, pour tout

.

2

, pour

suffisamment grand.

De plus, on montre que le volume minimal de tout sous-ensemble de

probabilit´e sup´erieure `a 1

typique.

de

est essentiellement le volume de l’ensemble

11

Canaux continus (alphabet d’entr´ee et de sortie continu

)

Un canal continu peut ˆetre continu ou discret en temps.

Un canal continu peut ˆetre utilis´e avec des entr´ees “discr`etes” (cf. modulation)

Mod`ele simple = bruit additif Gaussien :

0

NB. Capacit´e infinie si

0, ou si

est illimit´e (puissance du signal illimit´ee).

Puissance moyenne (par symbole transmis) limit´ee : toute suite de symboles

1

transmise sur le canal v´erifie

1

2

1

17

Si les signaux d’entr´ee sont ergodiques (ce que nous supposerons ˆetre le cas

´equivalente `a la

dans ce qui suit), cette contrainte devient lorsque

contrainte

18

2

12

Capacit´e du canal Gaussien

Deux approches :

1. Alphabet d’entr´ee discret (p.ex. binaire) :

1

2. Alphabet d’entr´ee sans contrainte :

1

2 log 1

1.

2

.

Explications:

1. Alphabet binaire discret :

Sous la contrainte de puissance :

et

.

: canal binaire sym´etrique avec

.

2. Capacit´e sans restrictions suppl´ementaires :

Comme le canal est sans m´emoire (bruit i.i.d.), on peut supposer que les entr´ees

sont ´egalement ind´ependantes : on raisonne symbole par symbole (on suppose

que les entr´ees sont i.i.d. selon une loi

.)

13

D´efinition : capacit´e en information = max

:

2

;

.

On montre (cf. notes) :

Capacit´e est r´ealis´ee pour

N.B :

0

et vaut 1

2 log 1

.

1. Dans ce cas, la sortie est distribu´ee en loi

0

.

2. R´esultat conceptuellement analogue au cas du canal sym´etrique binaire.

Discussion (intuitivement ´evident) :

L’utilisation d’un alphabet continu permet en principe d’augmenter la capacit´e.

D’autant plus que le rapport signal/bruit est ´elev´e.

Montrons que la capacit´e en information est ´egale au d´ebit maximum at-

teignable...

14

Code

puissance

Un code

consiste en :

pour le canal Gaussien avec limitation de

1. Un ensemble d’indices 1 2

.

2. Une fonction d’encodage

mots de code

1

moyenne pour chaque mot de code, i.e.

: 1 2

, produisant les

qui v´erifient la contrainte de puissance

2

1

1 2

19

3. Une fonction de d´ecodage

:

1 2

.

D´ebit r´ealisable

Un d´ebit

sance

puissance) telle que la probabilit´e d’erreur maximale

est dit r´ealisable pour le canal Gaussien avec limitation de puis-

(respectant la limitation de

s’il existe une suite de codes

tende vers z´ero.

2

15

Empilement de sph`eres (argument de plausibilit´e)

On se pace dans la situation qui r´ealise la capacit´e en information.

Si on ´emet un vecteur

probabilit´e proche de 1) dans une boule centr´ee en

donn´e de dimension , le signal re¸cu est confin´e (avec

.

de rayon

En fait, le signal tend a se concentrer a la surface de la sph`ere, car 1

.

2

1

Pla¸cons les signaux d’entr´ee de maniere a ce que les sph`eres ne se recouvrent

pas : combien de sph`eres peut on ainsi empiler ?

Comme signaux limit´es en puissance : ils doivent se trouver `a l’int´erieur d’une

sph`ere de rayon

.

On montre que les vecteurs re¸cus sont alors confin´es (quel que soit le code

utilis´e) dans une sph`ere de rayon

.

Rapport des volumes : sphere de r´eception/spheres de bruit = 2 2 log 1

fixe une borne `a

2

.

qui

16

17

couronne en sortie

couronnes

de bruit

couronne

`a l’entr´ee

18

D´emonstrations “r´eelles”

voir notes

Applications : canaux `a bande passante limit´ee

Mod`ele :

20

est le signal temporel d’entr´ee,

o`u

Gaussien et

coupe toutes les composantes fr´equentielles au-del`a d’un seuil

une r´ealisation de bruit blanc

est la r´eponse impulsionnelle d’un filtre passe bande id´eal qui

0 (le symbole

d´esigne le produit de convolution).

NB: un bruit blanc

est un processus al´eatoire stationnaire tel que

0

, et tel que

0

2

21

repr´esente l’impulsion de Dirac (id´ealisation math´ematique) et

o`u

variance du bruit. Le bruit blanc est dit Gaussien si de plus, les

une loi Gaussienne

.

0

2 la

suivent

19

Comme le signal en sortie est limit´e en fr´equence, on peut consid´erer que les

entr´ees et les sorties sont d´efinies par les ´echantillons aux instants

.

2 0

On montre que, pour un bruit blanc ces ´echantillons sont i.i.d.

0

0 0 .

Supposons que nous disposions d’une puissance d’ ´emission

: on peut g´en´erer

un signal al´eatoire Gaussien limit´e en fr´equence en choisissant les ´echantillons

distribu´es selon une loi

0

.

On a donc une capacit´e (par utilisation du canal, i.e. par ´echantillon) qui vaut :

1

2

log 1

0 0

bits par ´echantillon

et comme il y a 2 0 ´echantillons par seconde, on obtient

0 log 1

0 0

bits par seconde

22

23

En pratique,

lesquelles l’ing´enieur peut agir.

0 est une donn´ee physique.

et

0 sont des grandeurs sur

20

NB: la capacit´e croˆıt avec la largeur de bande

lim

0

0 log 1

0 0

0

log bits par seconde

24

Si la largeur de bande est tr`es large, on peut utiliser des sch´emas de modulation

discrets (p.ex. binaire) : la capacit´e exploitable, `a la limite vaut environ 63%

de la capacit´e th´eoriquement atteignable (cela est li´e a la d´ecision brute a la

sortie du d´emodulateur

).

Exemple

La largeur de bande d’une ligne t´el´ephonique est limit´ee `a 3300Hz (ce qui

convient parfaitement `a la parole). En supposant que le rapport signal bruit

soit de 20dB ( 10 log10

) on a

0 0

et on calcule que

21 972 bits par seconde.

100

0 0

21

Conclusions g´en´erales

Si bande ´etroite et rapport signal bruit ´elev´e : le codage de canal est peu utile.

Si rapport signal bruit faible, mais bande de fr´equence large : codage de canal

n´ecessaire.

Si bande de fr´equence plus large, la plage de puissance ou la croissance de la

capacit´e est plus large.

Si rapport signal bruit ´elev´e: modulations discr`etes p´enalis´ees.

Autres r´esultats (voir notes)

D´ecodage : reconnaˆıtre le signal envoy´e sur le canal.

Approximation : codage discret de signaux continus.

Canaux parall`eles et canaux avec spectre de bruit quelconque :

22

3 0

3

4

4

2

1

1

2

23

Moralit´e

Th´eorie de l’information dit :

il faut exploiter un canal en maximisant la

discernabilit´e des signaux envoy´es, compte tenu des d´eformations introduites

par le canal, et des limitations techniques impos´ees au concepteur.

On peut augmenter la dimensionnalit´e des espaces de signaux pour atteindre

la capacit´e.

Dans certains cas, il faut augmenter l’alphabet de source (nombre de niveaux

possibles pour chaque symbole).

Dans d’autres cas il faut coder des messages plus longs (r´eseaux de points dans

un espace multidimensionnel).

24

Ce que ne nous n’avons pas pu voir:

Codes sur un espace euclidien

(Signaux et canaux continus)

Cryptographie

(Rendre le d´ecodage difficile)

Th´eorie de la distorsion

(Compression irr´eversible)

Th´eorie de l’information de r´eseaux de communication

Relation entre th´eorie de l’information et physique statistique

(Thermodynamique)

Applications de la th´eorie de l’information

(statistiques et apprentissage automatique)

Complexit´e de Kolmogorov

(relations avec l’informatique th´eorique : d´ecidabilit´e, complexit´e

)

25