Titeur : Dr. Haithem Hermessi
Cours : Fondamentaux du Deep learning
A/U :2021-2021
Algebre linéaire et convolutions
1. Rappel
Cette partie est une récapitulation de l’algèbre linéaire de base dans le contexte des réseaux de neurones. Nous commençons par une simple couche cachée h :
Publicité
h = f ( z )
La sortie est une fonction non linéaire f appliquée à un vecteur z . Ici, z est la sortie d’une transformation affine A ∈ R au vecteur d’entrée x ∈R :
z=Ax
Par souci de simplicité, les biais sont ignorés. L’équation linéaire peut être développée comme suit :
où a [(i)] est la i -ième ligne de la matrice A . Pour comprendre la signification de cette transformation, analysons une composante de z telle que a [(1)] x . Soit n=2, alors a = ( a 1, a 2) et x =( x 1, x 2).
a et x peuvent être vus comme des vecteurs dans l’axe des coordonnées 2D. Maintenant, si l’angle entre a et î est α et l’angle entre x et î est ξ, alors avec les formules trigonométriques a [⊤] x peut être étendu comme :
Publicité
La sortie mesure l’alignement de l’entrée sur une ligne spécifique de la matrice A . Cela peut être compris en observant l’angle entre les deux vecteurs, ξ - α . Lorsque ξ=α, les deux vecteurs sont parfaitement alignés et le maximum est atteint. Si ξ − α=π, alors a [⊤] x atteint son minimum et les deux vecteurs sont orientés dans des directions opposées. En substance, la transformation linéaire permet de voir la projection d’une entrée vers différentes orientations définies par A . Cette intuition est également extensible à des dimensions plus élevées.
2. Extension de l’algèbre linéaire aux convolutions
Nous étendons maintenant l’algèbre linéaire aux convolutions, en utilisant l’exemple de l’analyse des données audio (1D). Nous commençons par représenter une couche entièrement connectée comme une forme de multiplication matricielle :
Dans cet exemple, la matrice de poids w est de taille de 4×3, le vecteur d’entrée a une taille de 3 3×1 et le vecteur de sortie a une taille de 4×1.
Cependant, pour les données audio, les données sont beaucoup plus longues (pas de 3 échantillons). Le nombre d’échantillons dans les données audio est égal à la durée de l’audio (par exemple 3 secondes) multipliée par le taux d’échantillonnage (par exemple 22,05 kHz). Comme indiqué ci-dessous, le vecteur d’entrée x sera assez long. En conséquence, la matrice de poids deviendra “grosse”.
La formulation ci-dessus sera difficile à entraîner. Heureusement, il existe des moyens de la simplifier.
Publicité
a. Propriété : stationnarité Les signaux de données naturelles ont la propriété d’être stationnaires (c’est-à-dire que certains modèles/motifs se répètent). Cela nous permet de réutiliser le noyau a [(1)] que nous avons défini précédemment. Nous utilisons ce noyau en le plaçant chaque fois un pas plus loin (c’est-à-dire que la foulée est de 1), ce qui donne le résultat suivant :
La partie supérieure droite et la partie inférieure gauche de la matrice sont toutes deux remplies de 00 grâce à la localité, ce qui entraîne une certaine éparsité. La réutilisation d’un certain noyau encore et encore est appelée partage du poids.
b. Propriété : localité En raison de la localité (c’est-à-dire que nous ne nous soucions pas des points de données qui sont éloignés) des données, w1k de la matrice de pondération ci-dessus, peut être rempli par 0 lorsque k est relativement important. Par conséquent, la première ligne de la matrice devient un
noyau de taille 3. Désignons ce noyau de taille 3 comme :
Happy Learning
Contact: [email protected]