Canaux et signaux continus

Ce matériel couvre les notions fondamentales des canaux et signaux continus, destinées aux étudiants en télécommunications, traitement du signal et théorie de l'information. Il présente les processus aléatoires en temps continu, le théorème d’échantillonnage, les entropies différentielles, ainsi que les modèles et capacités des canaux continus, notamment le canal gaussien et les canaux à bande passante limitée.

Processus aléatoires en temps continu

Un processus aléatoire en temps continu est une fonction aléatoire définie sur un espace probabilisé, avec un ensemble d’indices qui peut être fini, infini ou continu. On note ce processus par X(t), où t est un temps continu et X(t) peut être une variable aléatoire discrète ou continue.

Fixer t donne une variable aléatoire classique X(t), tandis que fixer une réalisation ω donne une fonction déterministe X(ω, t). Ainsi, un processus aléatoire ressemble à un vecteur aléatoire de dimension infinie.

La modélisation probabiliste repose sur la loi finie-dimensionnelle du processus, c’est-à-dire la distribution conjointe des variables X(t1), X(t2), ..., X(tn) pour toute suite d’instants t1, t2, ..., tn. La loi temporelle d’un processus est l’ensemble de toutes ces lois finies-dimensionnelles.

Quelques types particuliers :

• Processus gaussien : toutes les lois finies-dimensionnelles sont gaussiennes.
• Processus blanc : les lois finies-dimensionnelles se factorisent, indiquant l’indépendance des variables.
• Processus gaussien blanc : processus gaussien avec matrices de covariance diagonales.

Notions élémentaires

La moyenne du processus est une fonction du temps m(t) = E[X(t)]. Un processus est centré si m(t) = 0 pour tout t.

La fonction d’autocovariance est définie par :

R(t1, t2) = E[(X(t1) - m(t1)) (X(t2) - m(t2))]

Elle satisfait notamment :

• R(t, t) ≥ 0
• |R(t1, t2)|² ≤ R(t1, t1) R(t2, t2) (inégalité de Schwarz)

Stationnarité et ergodicité

Un processus est stationnaire au sens large si :

• La moyenne est constante.
• La fonction d’autocovariance ne dépend que de la différence τ = t2 - t1, notée R(τ).

La densité spectrale de puissance S(f) est la transformée de Fourier de R(τ) :

S(f) = ∫ R(τ) e^(-j2πfτ) dτ

Elle représente la répartition de la puissance du signal en fonction de la fréquence.

Théorème d’échantillonnage (Shannon et Nyquist)

Pour un signal x(t) dont la transformée de Fourier X(f) est nulle en dehors de la bande [-B, B], c’est-à-dire limité en fréquence à B Hz, le théorème d’échantillonnage affirme que x(t) est entièrement déterminé par ses échantillons x(n/(2B)) pour n entier.

La fonction sinc est définie par :

sinc(x) = sin(πx) / (πx)

Elle vaut 1 en 0 et 0 en tout entier non nul.

Une base orthonormée de signaux limités en fréquence dans [-B, B] est donnée par :

ϕ_n(t) = 2B sinc(2B (t - n/(2B)))

Cette base permet de reconstruire tout signal limité en bande par une combinaison linéaire de ces fonctions centrées sur les instants d’échantillonnage.

Entropies différentielles

L’entropie différentielle h(X) d’une variable aléatoire continue X de densité f(x) est définie par :

h(X) = - ∫ f(x) log f(x) dx

Elle est invariante par translation de X. Si Y = A X avec A matrice non singulière, alors :

h(Y) = h(X) + log |det(A)|

Exemples :

• Pour une loi uniforme sur un ensemble de volume V, h = log V.
• Pour une variable gaussienne multidimensionnelle X ~ N(0, Σ),

h(X) = 1/2 log((2πe)^n det(Σ))

La loi gaussienne maximise l’entropie différentielle sous la contrainte de moyenne et de variance fixées.

Théorème AEP pour variables aléatoires continues

Le théorème AEP (Asymptotic Equipartition Property) s’adapte aux variables continues en remplaçant probabilités par densités, entropie par entropie différentielle, et cardinalités par volumes.

Soit une suite i.i.d. X1, X2, ..., Xn de variables aléatoires continues de densité f(x). Alors :

−(1/n) log f(X1, ..., Xn) → h(X)  presque sûrement

On définit l’ensemble typique A_ε^(n) pour ε > 0 par :

A_ε^(n) = {x^n : |−(1/n) log f(x^n) − h(X)| ≤ ε}

Les propriétés fondamentales de cet ensemble sont :

• La probabilité de A_ε^(n) tend vers 1 quand n → ∞.
• Le volume de A_ε^(n) est approximativement 2^{n(h(X) ± ε)}.
• Tout sous-ensemble de probabilité ≥ 1 − δ a un volume au moins égal à celui de A_ε^(n) pour n assez grand.

Canaux continus

Un canal continu peut être discret ou continu en temps, et peut être utilisé avec des entrées discrètes (modulation) ou continues.

Le modèle simple le plus courant est le canal à bruit additif gaussien (AWGN) :

Y = X + Z

où Z est un bruit gaussien blanc de variance σ², indépendant de X.

La puissance moyenne par symbole transmis est limitée :

(1/n) ∑ E[X_i²] ≤ P

Si les signaux d’entrée sont ergodiques, cette contrainte s’applique aussi presque sûrement.

Capacité du canal gaussien

Deux cas :

1. Alphabet d’entrée discret (ex. binaire) : la capacité est limitée par la contrainte de puissance et la nature discrète.
2. Alphabet d’entrée continu sans contrainte supplémentaire : la capacité est donnée par :

C = (1/2) log2(1 + P/σ²)

Cette capacité est atteinte par une entrée gaussienne X ~ N(0, P).

Cette formule exprime la capacité en bits par symbole transmis.

Exemple

Supposons un canal avec bruit gaussien de variance σ² = 1, puissance maximale P = 10. La capacité est :

C = (1/2) log2(1 + 10/1) = (1/2) log2(11) ≈ (1/2) × 3.46 = 1.73 bits/symbole

Code et débit réalisable

Un code pour le canal gaussien est défini par :

• Un ensemble d’indices {1, ..., M} correspondant aux messages.
• Une fonction d’encodage f : {1, ..., M} → ℝⁿ produisant des mots de code respectant la contrainte de puissance.
• Une fonction de décodage g : ℝⁿ → {1, ..., M}.

Un débit R = (1/n) log2 M est réalisable si la probabilité d’erreur maximale tend vers zéro quand n → ∞.

Argument d’empilement de sphères

Pour comprendre la capacité, on considère l’espace ℝⁿ des signaux codés. Chaque mot de code correspond à un point dans cet espace, et la puissance limite la norme des vecteurs.

Le bruit gaussien concentre la sortie dans une sphère de rayon √(nσ²) autour du point envoyé. Pour que les messages soient distinguables, les sphères de bruit autour des mots de code ne doivent pas se chevaucher.

On cherche donc à empiler le maximum de sphères de rayon √(nσ²) dans une sphère de rayon √(n(P + σ²)). Le rapport des volumes donne une borne sur le nombre maximal de messages, d’où la capacité.

Canaux à bande passante limitée

Considérons un canal continu avec bruit blanc gaussien et bande passante limitée à B Hz. Le signal d’entrée x(t) est filtré par un filtre passe-bande idéal, et le bruit est un processus stationnaire gaussien blanc limité en bande.

Le bruit blanc a une densité spectrale constante N0/2 sur la bande et zéro ailleurs.

Les échantillons du signal et du bruit aux instants n/(2B) sont i.i.d. gaussiens.

La capacité par échantillon est :

C_e = (1/2) log2(1 + P/(N0 B)) bits/échantillon

Comme il y a 2B échantillons par seconde, la capacité en bits par seconde est :

C = 2B × C_e = B log2(1 + P/(N0 B)) bits/seconde

Exemple numérique

Pour une ligne téléphonique limitée à 3300 Hz et un rapport signal sur bruit de 20 dB (soit P/(N0 B) = 100), la capacité est :

C = 3300 × log2(1 + 100) ≈ 3300 × 6.66 ≈ 21 972 bits/s

Conclusions générales

• Pour une bande étroite et un rapport signal sur bruit élevé, le codage de canal est peu utile.
• Pour un rapport signal sur bruit faible mais une bande large, le codage de canal est nécessaire.
• La capacité croît avec la largeur de bande et le rapport signal sur bruit.
• Les modulations discrètes sont pénalisées à rapport signal sur bruit élevé par rapport à l’utilisation d’un alphabet continu.

Glossaire des termes clés

• Processus aléatoire : fonction dépendant d’un paramètre temporel et d’un événement aléatoire.
• Processus gaussien : processus dont toutes les lois finies-dimensionnelles sont gaussiennes.
• Processus blanc : processus avec variables aléatoires indépendantes.
• Fonction d’autocovariance : mesure la dépendance linéaire entre valeurs du processus à deux instants.
• Stationnarité : propriété d’un processus dont les statistiques sont invariantes par translation temporelle.
• Densité spectrale de puissance : répartition de la puissance d’un signal en fonction de la fréquence.
• Théorème d’échantillonnage : permet de reconstruire un signal limité en bande à partir de ses échantillons.
• Entropie différentielle : mesure d’incertitude pour une variable aléatoire continue.
• Théorème AEP : propriété asymptotique des suites de variables aléatoires i.i.d. en termes d’entropie.
• Canal gaussien à bruit additif : canal où la sortie est la somme de l’entrée et d’un bruit gaussien indépendant.
• Capacité du canal : débit maximal d’information transmissible avec une probabilité d’erreur arbitrairement faible.
• Code : ensemble de mots de code utilisés pour transmettre des messages sur un canal.
• Empilement de sphères : argument géométrique pour estimer la capacité d’un canal en dimension n.
• Bande passante limitée : canal dont la fréquence est limitée à une certaine largeur B.

Points clés à retenir

• Les processus aléatoires en temps continu sont modélisés par leurs lois finies-dimensionnelles.
• Le théorème d’échantillonnage permet de représenter un signal limité en bande par ses échantillons.
• L’entropie différentielle généralise l’entropie aux variables continues et est maximisée par la loi gaussienne.
• La capacité du canal gaussien est donnée par C = (1/2) log2(1 + P/σ²) bits par symbole.
• Pour un canal à bande limitée, la capacité en bits par seconde est C = B log2(1 + P/(N0 B)).
• Le codage de canal permet d’approcher cette capacité en minimisant la probabilité d’erreur.
• L’argument d’empilement de sphères illustre la limite géométrique à la transmission fiable.
• La capacité dépend fortement du rapport signal sur bruit et de la largeur de bande disponible.