Aller au contenu

Fondamentaux du Deep learning

Techniques d'optimisation en deep learning Les techniques d'optimisation sont essentielles en deep learning pour améliorer l'efficacité des modèles d'apprentissage. Cet article couvre les méthodes clés telles que la descente de gradient, la descente de gradient stochastique, le mini-batching et le momentum.

D'après le document Fondamentaux du Deep learning

Cet article a été rédigé automatiquement à partir du document source, puis vérifié avant publication.

Document source

Fondamentaux du Deep learning

Programming, Math, etc. · FST · PDF · 4 pages · 2021

Afficher l'aperçu du document

Consulter le document original →

Techniques d'optimisation en deep learning

Les techniques d'optimisation sont essentielles en deep learning pour améliorer l'efficacité des modèles d'apprentissage. Cet article couvre les méthodes clés telles que la descente de gradient, la descente de gradient stochastique, le mini-batching et le momentum. Chaque section présente une définition, un exemple et les avantages de chaque technique, permettant ainsi aux étudiants de mieux comprendre leur application dans le domaine.

Descente de gradient

La méthode la plus élémentaire d'optimisation est la descente de gradient. L'objectif est de minimiser la fonction de perte par rapport aux paramètres. La solution est itérative :

wi+1 = wi - γk ∇f(wk)

où wi+1 et wi sont les valeurs mises à jour des poids et biais à l'itération i+1 et i respectivement. γk est le taux d'apprentissage et ∇f(wk) est le gradient de f.

Nous supposons que la fonction f est continue et différenciable. L'objectif est de trouver le point le plus bas de la fonction d'optimisation. La direction réelle de cette vallée n'étant pas connue, nous utilisons la direction du gradient négatif pour nous rapprocher du minimum.

Si le taux d'apprentissage est trop faible, la convergence vers le minimum sera lente. À l'inverse, un taux trop élevé peut entraîner une divergence. Il est donc crucial de choisir un taux d'apprentissage approprié.

<img src="figure1.png" alt="Différentes valeurs du pas appliquées à une fonction quadratique 1D">
Figure 1 : Différentes valeurs du pas appliquées à une fonction quadratique 1D

Descente de gradient stochastique

La descente de gradient stochastique (SGD) remplace le vecteur de gradient réel par une estimation stochastique. Pour un réseau de neurones, cela signifie que nous calculons le gradient de la perte pour un seul point de données.

La fonction de perte pour la i-ième instance est donnée par :

fi = l(xi, yi, w)

Nous mettons à jour les poids en fonction du gradient sur fi, ce qui nous permet d'avoir une estimation bruyante mais non biaisée de f.

Le k-ème pas de la SGD est équivalent au k-ème pas de la descente en pleine pente. Les avantages de la SGD incluent une réduction des calculs redondants et une meilleure capacité à éviter les minima locaux peu profonds.

<img src="figure2.png" alt="Annealing avec SGD">
Figure 2 : Annealing avec SGD

Avantages de la descente de gradient stochastique

  • Réduction des calculs redondants.
  • Convergence rapide aux premiers stades.
  • Évitement des minima locaux peu profonds.
  • Coût de calcul réduit.

Mini-batching

Le mini-batching consiste à évaluer la perte sur plusieurs instances choisies au hasard plutôt que sur une seule. Cela permet de réduire le bruit lors des mises à jour.

Utiliser des mini-batchs améliore l'utilisation des capacités de calcul, notamment sur des GPU. Par exemple, des techniques d'entraînement en réseau distribué répartissent les mini-batchs entre différentes machines, optimisant ainsi le processus d'entraînement.

Il est important de noter que la descente de gradient ne doit jamais être utilisée avec des batchs de taille entière.

Momentum

Le momentum introduit deux itérations (p et w) au lieu d'une seule. Les mises à jour sont définies par :

p = βp + (1 - β)∇L(w)

où p est le momentum de la SGD et β est un facteur compris entre 0 et 1. À chaque étape, nous ajoutons le gradient stochastique à l'ancienne valeur du momentum, amortie par β.

Le momentum doit presque toujours être utilisé avec la descente de gradient stochastique. Une valeur de β de 0,9 ou 0,99 fonctionne généralement bien. Il est conseillé de diminuer le taux d'apprentissage lorsque le paramètre de momentum augmente.

Points clés à retenir

  • La descente de gradient suit la pente la plus raide pour minimiser la perte.
  • La SGD utilise des estimations stochastiques pour une convergence plus rapide.
  • Le mini-batching permet une meilleure utilisation des ressources de calcul.
  • Le momentum aide à stabiliser et accélérer la convergence.

Glossaire

  • Descente de gradient : Méthode d'optimisation pour minimiser la fonction de perte.
  • SGD : Descente de gradient stochastique, mise à jour basée sur un seul point de données.
  • Mini-batching : Utilisation de plusieurs instances pour réduire le bruit lors des mises à jour.
  • Momentum : Technique qui combine les mises à jour de gradient pour accélérer la convergence.

Questions fréquentes

Qu'est-ce que la descente de gradient ?

La descente de gradient est une méthode d'optimisation utilisée pour minimiser une fonction de perte en ajustant les paramètres d'un modèle de manière itérative, suivant la direction du gradient négatif.

Comment fonctionne la descente de gradient stochastique ?

La descente de gradient stochastique (SGD) met à jour les poids d'un modèle en utilisant le gradient de la perte pour un seul point de données, ce qui permet une convergence plus rapide et aide à éviter les minima locaux peu profonds.

Quels sont les avantages du mini-batching ?

Le mini-batching permet de réduire le bruit lors des mises à jour et d'améliorer l'utilisation des ressources de calcul, notamment sur des GPU, en évaluant la perte sur plusieurs instances choisies au hasard.

Qu'est-ce que le momentum en deep learning ?

Le momentum est une technique qui combine les mises à jour de gradient pour stabiliser et accélérer la convergence d'un modèle en prenant en compte les gradients précédents.

Quelle est la différence entre SGD et la descente de gradient classique ?

La principale différence réside dans le fait que la SGD utilise un seul point de données pour mettre à jour les poids, tandis que la descente de gradient classique utilise l'ensemble des données, ce qui peut être plus coûteux en termes de calcul.

Partager

Commentaires

Aucun commentaire pour le moment. Posez la première question.

Les commentaires sont relus avant publication. Votre e-mail n'est jamais affiché.

← Toutes les révisions