Fondamentaux du Deep learning
Les réseaux neuronaux récurrents (RNN) sont un type de modèle d'apprentissage profond qui permet de traiter des séquences de données, comme du texte ou des séries temporelles.
D'après le document Fondamentaux du Deep learning
Cet article a été rédigé automatiquement à partir du document source, puis vérifié avant publication.
Document source
Deep Learning · FST · PDF · 5 pages · 2021
Afficher l'aperçu du document
Les réseaux neuronaux récurrents (RNN) sont un type de modèle d'apprentissage profond qui permet de traiter des séquences de données, comme du texte ou des séries temporelles. Dans cet article, nous explorerons les fondamentaux des RNN, les problèmes associés tels que la disparition et l'explosion des gradients, ainsi que des variantes comme les Gated Recurrent Units (GRU) et les Long Short-Term Memory (LSTM). Des exemples concrets et des astuces pour améliorer leur performance seront également présentés.
Réseaux récurrents (RNNs)
Les réseaux neuronaux récurrents (RNNs) sont conçus pour traiter des séquences d'entrées où l'ordre des données est important. Contrairement aux réseaux neuronaux traditionnels, les RNNs possèdent des boucles qui leur permettent de conserver des informations sur les états précédents. Cela est illustré par la figure 1, où l'entrée x(t) varie dans le temps.
Dans un RNN, l'entrée est d'abord encodée par un encodeur, ce qui génère une représentation de l'entrée, notée h(t). Cette représentation est ensuite utilisée pour calculer un état caché z(t), qui est la sortie du pas de temps précédent. Le décodeur utilise cet état caché pour générer la sortie.
Problèmes avec les RNNs
Les RNNs rencontrent plusieurs problèmes, notamment :
- Disparition du gradient : Dans une longue séquence, les gradients peuvent devenir très petits, ce qui rend l'apprentissage difficile.
- Explosion du gradient : Si les valeurs dans la matrice de poids sont trop grandes, les gradients peuvent exploser, rendant l'optimisation instable.
Un exemple illustratif est celui d'un programme en langage C, où le réseau doit se souvenir du nombre de parenthèses ouvertes et fermées. En raison de la disparition des gradients, le RNN peut échouer à mémoriser ces informations sur de longues séquences.
Astuces pour les RNNs
Pour atténuer les problèmes des RNNs, plusieurs astuces peuvent être appliquées :
- Couper les gradients : Limiter les gradients lorsqu'ils deviennent trop grands.
- Jouer sur l’initialisation : Utiliser des techniques comme l'initialisation orthogonale pour préserver la norme des poids.
Gated Recurrent Units (GRUs)
Les Gated Recurrent Units (GRUs) sont une variante des RNNs qui visent à résoudre les problèmes de disparition et d'explosion des gradients. Introduites par Cho et al. en 2014, les GRUs utilisent des portes pour contrôler le flux d'informations.
La structure d'une unité GRU comprend des vecteurs de mise à jour zt et de réinitialisation rt. La porte de mise à jour détermine quelle part des informations passées doit être conservée, tandis que la porte de réinitialisation décide quelles informations doivent être oubliées. Cela permet aux GRUs de mieux gérer les dépendances à long terme dans les séquences.
Long Short-Term Memory (LSTMs)
Les LSTMs, développées par Hochreiter et Schmidhuber en 1997, sont conçues pour résoudre les problèmes de mémoire à long terme rencontrés par les RNNs. Elles utilisent une cellule de mémoire ct pour réguler la manière dont les informations sont conservées ou retirées.
Les LSTMs comprennent trois portes : la porte d'oubli ft, la porte d'entrée it et la porte de sortie ot. La porte d'oubli détermine quelles informations de l'état de cellule précédent ct−1 doivent être conservées, tandis que la porte d'entrée décide de la mise à jour à appliquer. Enfin, la sortie ht est basée sur l'état de la cellule ct, filtrée par la porte de sortie.
Bien que les LSTMs soient largement utilisées, leur popularité est en déclin au profit de modèles comme les ConvNets temporels et les transformers, qui offrent des performances améliorées dans certaines applications.
Points clés
Voici quelques points clés à retenir sur les RNNs, GRUs et LSTMs :
- Les RNNs sont adaptés pour traiter des séquences de données, mais souffrent de problèmes de disparition et d'explosion des gradients.
- Les GRUs améliorent les RNNs en introduisant des portes pour mieux gérer les informations passées.
- Les LSTMs sont conçues pour conserver des informations sur le long terme grâce à leur architecture de mémoire.
Questions fréquentes
Quelle est la différence entre GRU et LSTM ?
Les GRUs sont une version simplifiée des LSTMs. Elles utilisent moins de portes et sont généralement plus rapides à entraîner, mais peuvent être moins performantes dans certaines tâches complexes.
Comment fonctionnent les LSTMs ?
Les LSTMs utilisent une cellule de mémoire pour conserver des informations. Elles régulent le flux d'informations à l'aide de trois portes : d'oubli, d'entrée et de sortie, permettant de gérer efficacement les dépendances à long terme.
Quels sont les problèmes des RNNs ?
Les RNNs rencontrent des problèmes de disparition et d'explosion des gradients, ce qui rend l'apprentissage difficile sur de longues séquences. Ces problèmes peuvent entraîner une perte d'information critique.
Quelles sont les astuces pour améliorer les RNNs ?
Pour améliorer les performances des RNNs, il est conseillé de couper les gradients lorsqu'ils deviennent trop grands et d'utiliser des techniques d'initialisation appropriées, comme l'initialisation orthogonale.
Quels types de données peuvent être traités par les RNNs ?
Les RNNs sont particulièrement efficaces pour traiter des données séquentielles, telles que le texte, les séries temporelles ou toute autre forme de données où l'ordre des entrées est significatif.
Commentaires
Aucun commentaire pour le moment. Posez la première question.