Aller au contenu

Fondamentaux du Deep learning

Cours fondamentaux du deep learning Ce cours sur les fondamentaux du deep learning aborde les réseaux neuronaux récurrents (RNN), les unités récurrentes à portes (GRU) et les mémoires à long terme (LSTM).

D'après le document Fondamentaux du Deep learning

Cet article a été rédigé automatiquement à partir du document source, puis vérifié avant publication.

Document source

Fondamentaux du Deep learning

Programmation, Mathématiques, Reseaux Neuronaux · FST · PDF · 5 pages · 2021

Afficher l'aperçu du document

Consulter le document original →

Cours fondamentaux du deep learning

Ce cours sur les fondamentaux du deep learning aborde les réseaux neuronaux récurrents (RNN), les unités récurrentes à portes (GRU) et les mémoires à long terme (LSTM). Vous apprendrez les concepts de base, les différences entre ces architectures, ainsi que des exemples pratiques et des astuces pour surmonter les problèmes courants rencontrés lors de leur utilisation.

Réseaux récurrents (RNNs)

Les réseaux neuronaux récurrents (RNNs) sont conçus pour traiter des séquences de données, où les informations précédentes influencent les sorties actuelles. Contrairement aux réseaux neuronaux classiques, les RNNs possèdent des boucles qui leur permettent de conserver des informations dans le temps.

Dans un RNN, l'entrée à un instant t, notée x(t), est traitée par un encodeur, Enc(x(t)), qui génère une représentation de l'entrée. Cette représentation est ensuite utilisée pour calculer un état caché, z(t), qui dépend de l'état caché précédent, z(t−1), et des paramètres entraînables, w. Le décodeur, Dec(z(t)), génère la sortie à partir de cet état caché.

Un exemple simple d'utilisation d'un RNN pourrait être la prédiction de la prochaine lettre dans une séquence de texte, où chaque lettre est influencée par les lettres précédentes.

Problèmes avec les RNNs

Les RNNs rencontrent plusieurs problèmes, notamment :

  • Disparition du gradient : Dans de longues séquences, les gradients peuvent devenir très petits, rendant l'apprentissage difficile.
  • Explosion du gradient : À l'inverse, si les gradients deviennent trop grands, cela peut entraîner une divergence des poids lors de la mise à jour.

Ces problèmes limitent la capacité des RNNs à mémoriser des informations sur de longues séquences. Par exemple, dans le cas d'un programme en langage C, le RNN doit se souvenir du nombre d'accolades ouvertes pour vérifier leur fermeture. Cependant, en raison de la disparition des gradients, il peut échouer à conserver ces informations sur de longues séquences.

Astuces pour les RNNs

  • Couper les gradients : Écraser les gradients lorsqu'ils deviennent trop importants peut aider à éviter l'explosion.
  • Jouer sur l’initialisation : Initialiser les matrices de poids de manière appropriée peut aider à préserver la norme des gradients.

Les Gated Recurrent Units (GRUs)

Les Gated Recurrent Units (GRUs) sont une variante des RNNs qui visent à résoudre les problèmes de disparition et d'explosion des gradients. Les GRUs utilisent des modules multiplicatifs pour mieux gérer les informations passées.

La structure d'un GRU comprend plusieurs éléments clés :

  • zt : Vecteur de mise à jour qui détermine quelle part des informations passées doit être transmise.
  • rt : Vecteur de réinitialisation qui détermine quelle quantité d'informations passées doit être oubliée.
  • ht : Vecteur de sortie qui combine l'état précédent et les nouvelles informations.

La porte de mise à jour zt applique une fonction sigmoïde pour déterminer la quantité d'informations à conserver, tandis que la porte de réinitialisation rt décide des informations à oublier. Cela permet aux GRUs de mieux gérer les dépendances à long terme.

Différence entre GRU et LSTM

Les GRUs sont souvent considérés comme une version simplifiée des LSTMs. Alors que les LSTMs utilisent trois portes (oubli, entrée, sortie), les GRUs n'en utilisent que deux (mise à jour et réinitialisation), ce qui les rend plus rapides à entraîner tout en conservant des performances similaires.

Les LSTMs (Long Short-Term Memory)

Les LSTMs ont été développées pour résoudre les problèmes de perte de mémoire à long terme rencontrés par les RNNs. Elles utilisent des cellules de mémoire pour conserver les informations sur de longues périodes.

La structure d'une unité LSTM comprend :

  • ft : Vecteur d'activation de la porte d'oubli, qui décide de la quantité d'informations à conserver de l'état de cellule précédent.
  • it : Vecteur d'activation de la porte d'entrée, qui détermine la quantité de nouvelles informations à ajouter.
  • ot : Vecteur d'activation de la porte de sortie, qui régule la sortie finale de l'unité.

Les LSTMs sont largement utilisées dans le traitement du langage naturel (NLP) pour des tâches telles que la traduction automatique et la reconnaissance vocale. Cependant, leur popularité diminue au profit de modèles plus récents comme les transformers.

Points clés à retenir

  • Les RNNs sont adaptés pour traiter des séquences mais souffrent de problèmes de gradient.
  • Les GRUs et LSTMs sont des améliorations des RNNs, conçues pour mieux gérer les dépendances à long terme.
  • Les GRUs sont plus simples et plus rapides à entraîner que les LSTMs.

Glossaire

  • RNN : Réseau neuronal récurrent, conçu pour traiter des séquences de données.
  • GRU : Unité récurrente à portes, une variante des RNNs qui utilise des portes pour gérer les informations.
  • LSTM : Mémoire à long terme, une architecture de réseau qui conserve les informations sur de longues périodes.
  • Gradient : Mesure de la variation d'une fonction, utilisée pour l'apprentissage dans les réseaux neuronaux.

Questions fréquentes

Qu'est-ce qu'un RNN ?

Un RNN, ou réseau neuronal récurrent, est un type de réseau neuronal conçu pour traiter des données séquentielles. Il utilise des boucles pour conserver des informations d'un pas de temps à l'autre, ce qui lui permet de prendre en compte le contexte des entrées précédentes.

Quelle est la différence entre GRU et LSTM ?

Les GRUs et LSTMs sont tous deux des types de réseaux récurrents, mais les GRUs sont plus simples, utilisant deux portes (mise à jour et réinitialisation) contre trois pour les LSTMs (oubli, entrée, sortie). Cela les rend généralement plus rapides à entraîner tout en maintenant des performances comparables.

Quels sont les problèmes courants des RNNs ?

Les RNNs rencontrent principalement deux problèmes : la disparition du gradient, où les gradients deviennent trop petits pour permettre un apprentissage efficace, et l'explosion du gradient, où les gradients deviennent trop grands, entraînant des mises à jour de poids instables.

Comment éviter l'explosion des gradients ?

Pour éviter l'explosion des gradients, il est possible de couper les gradients lorsqu'ils atteignent une certaine taille. De plus, une bonne initialisation des poids peut aider à maintenir la norme des gradients à un niveau approprié.

Pourquoi utiliser des LSTMs ?

Les LSTMs sont utilisées pour leur capacité à conserver des informations sur de longues périodes, ce qui est essentiel dans des tâches comme la traduction automatique ou la reconnaissance vocale, où le contexte est crucial pour la précision.

Partager

Commentaires

Aucun commentaire pour le moment. Posez la première question.

Les commentaires sont relus avant publication. Votre e-mail n'est jamais affiché.

← Toutes les révisions