Fondamentaux du Deep learning
Fondamentaux du Deep learning
FST · Programmation, Mathématiques, Reseaux Neuronaux · course
Voir tous les documents en réseaux
Fiche de révisionFiche de cours
Rédigée à partir de ce document, puis vérifiée avant publication.
Ce cours sur les fondamentaux du deep learning aborde les réseaux neuronaux récurrents (RNN), les unités récurrentes à portes (GRU) et les mémoires à long terme (LSTM). Vous apprendrez les concepts de base, les différences entre ces architectures, ainsi que des exemples pratiques et des astuces pour surmonter les problèmes courants rencontrés lors de leur utilisation.
Les réseaux neuronaux récurrents (RNNs) sont conçus pour traiter des séquences de données, où les informations précédentes influencent les sorties actuelles. Contrairement aux réseaux neuronaux classiques, les RNNs possèdent des boucles qui leur permettent de conserver des informations dans le temps.
Dans un RNN, l'entrée à un instant t, notée x(t), est traitée par un encodeur, Enc(x(t)), qui génère une représentation de l'entrée. Cette représentation est ensuite utilisée pour calculer un état caché, z(t), qui dépend de l'état caché précédent, z(t−1), et des paramètres entraînables, w. Le décodeur, Dec(z(t)), génère la sortie à partir de cet état caché.
Un exemple simple d'utilisation d'un RNN pourrait être la prédiction de la prochaine lettre dans une séquence de texte, où chaque lettre est influencée par les lettres précédentes.
Les RNNs rencontrent plusieurs problèmes, notamment :
Ces problèmes limitent la capacité des RNNs à mémoriser des informations sur de longues séquences. Par exemple, dans le cas d'un programme en langage C, le RNN doit se souvenir du nombre d'accolades ouvertes pour vérifier leur fermeture. Cependant, en raison de la disparition des gradients, il peut échouer à conserver ces informations sur de longues séquences.
Les Gated Recurrent Units (GRUs) sont une variante des RNNs qui visent à résoudre les problèmes de disparition et d'explosion des gradients. Les GRUs utilisent des modules multiplicatifs pour mieux gérer les informations passées.
La structure d'un GRU comprend plusieurs éléments clés :
La porte de mise à jour zt applique une fonction sigmoïde pour déterminer la quantité d'informations à conserver, tandis que la porte de réinitialisation rt décide des informations à oublier. Cela permet aux GRUs de mieux gérer les dépendances à long terme.
Les GRUs sont souvent considérés comme une version simplifiée des LSTMs. Alors que les LSTMs utilisent trois portes (oubli, entrée, sortie), les GRUs n'en utilisent que deux (mise à jour et réinitialisation), ce qui les rend plus rapides à entraîner tout en conservant des performances similaires.
Les LSTMs ont été développées pour résoudre les problèmes de perte de mémoire à long terme rencontrés par les RNNs. Elles utilisent des cellules de mémoire pour conserver les informations sur de longues périodes.
La structure d'une unité LSTM comprend :
Les LSTMs sont largement utilisées dans le traitement du langage naturel (NLP) pour des tâches telles que la traduction automatique et la reconnaissance vocale. Cependant, leur popularité diminue au profit de modèles plus récents comme les transformers.
Un RNN, ou réseau neuronal récurrent, est un type de réseau neuronal conçu pour traiter des données séquentielles. Il utilise des boucles pour conserver des informations d'un pas de temps à l'autre, ce qui lui permet de prendre en compte le contexte des entrées précédentes.
Les GRUs et LSTMs sont tous deux des types de réseaux récurrents, mais les GRUs sont plus simples, utilisant deux portes (mise à jour et réinitialisation) contre trois pour les LSTMs (oubli, entrée, sortie). Cela les rend généralement plus rapides à entraîner tout en maintenant des performances comparables.
Les RNNs rencontrent principalement deux problèmes : la disparition du gradient, où les gradients deviennent trop petits pour permettre un apprentissage efficace, et l'explosion du gradient, où les gradients deviennent trop grands, entraînant des mises à jour de poids instables.
Pour éviter l'explosion des gradients, il est possible de couper les gradients lorsqu'ils atteignent une certaine taille. De plus, une bonne initialisation des poids peut aider à maintenir la norme des gradients à un niveau approprié.
Les LSTMs sont utilisées pour leur capacité à conserver des informations sur de longues périodes, ce qui est essentiel dans des tâches comme la traduction automatique ou la reconnaissance vocale, où le contexte est crucial pour la précision.