Les Réseaux de Neurones
Les Réseaux de Neurones
Neuroscience, Artificial Intelligence · notes
Voir tous les documents en réseaux
Fiche de révisionRésumé
Rédigée à partir de ce document, puis vérifiée avant publication.
Cette conférence présente les réseaux de neurones, une méthode d’apprentissage supervisé inspirée du fonctionnement biologique du système nerveux. Elle s’inscrit dans un cours sur l’intelligence artificielle ou l’apprentissage automatique, en introduisant les concepts fondamentaux, la modélisation mathématique, les algorithmes d’apprentissage et les avantages et limites de cette approche.
Le neurone est l’élément fondamental du système nerveux. Il se compose d’une masse protoplasmique entourant le noyau, de nombreuses dendrites (arborisations protoplasmiques) qui reçoivent les signaux, et d’un long axone qui transmet les impulsions. L’axone se divise en ramifications reliées aux dendrites d’autres neurones via des synapses, points de jonction caractérisés par une efficacité synaptique, qui agit comme un amplificateur de l’impulsion électrique.
Chaque neurone possède un additionneur dans son noyau qui somme les impulsions électriques amplifiées par les synapses. Si l’excitation totale dépasse un seuil de stimulation, le neurone génère une impulsion. Les dendrites sont donc les organes d’entrée, tandis que l’axone est l’unité de sortie. L’impulsion peut être une excitation ou une inhibition, permettant à un groupe de neurones de renforcer ou de prévenir l’activité d’un autre groupe.
Quelques chiffres illustrent la complexité du système : la durée d’une impulsion est de l’ordre de la milliseconde avec une amplitude d’environ 0,1 Volt, et la vitesse de propagation de l’influx nerveux est d’environ 100 m/s, bien inférieure à celle des réseaux électroniques. Chaque neurone peut intégrer jusqu’à 1000 synapses, voire plusieurs dizaines de milliers, et le cerveau contient environ 100 milliards de neurones, ce qui conduit à un nombre de connexions de l’ordre de 10^15.
Cette organisation peut être vue comme un graphe pondéré où circule un signal généré par des stimuli extérieurs. Le réseau de neurones est donc un ensemble de nœuds (neurones) connectés entre eux, chaque nœud correspondant à une variable.
Le neurone artificiel est une unité de calcul inspirée du neurone biologique. Il comprend :
Le coefficient synaptique est un coefficient réel qui pondère chaque entrée. Le neurone calcule la somme pondérée des signaux entrants, puis applique une fonction de transfert pour déterminer la sortie.
Mathématiquement, si le neurone reçoit les entrées x1, …, xi, …, xn avec des poids synaptiques w1, …, wi, …, wn, le potentiel d’activation p est défini par :
p = x.w = x1.w1 + … + xi.wi + … + xn.wn
La sortie o est alors calculée en fonction du seuil θ :
o = 1 si p > θ o = 0 si p ≤ θ
Déterminer un réseau de neurones revient à trouver les coefficients synaptiques (poids). Cette phase est appelée phase d’apprentissage, durant laquelle les caractéristiques du réseau sont modifiées jusqu’à obtenir le comportement désiré.
Pour cela, on utilise une base d’apprentissage composée d’exemples représentatifs du comportement ou de la fonction à modéliser, sous forme de couples (entrée ; sortie) connus. Une base d’essai ou de test permet ensuite d’évaluer la performance du réseau sur des entrées nouvelles, éventuellement bruitées ou incomplètes.
Un exemple classique est le perceptron simple, un modèle de prédiction linéaire. L’apprentissage du perceptron s’effectue par un algorithme qui ajuste les poids synaptiques en fonction des erreurs commises lors des prédictions.
Par exemple, pour apprendre la fonction logique OU, les entrées sont des vecteurs binaires (0 ou 1) avec une composante x0 toujours égale à 1 pour le biais. Initialement, les poids peuvent être choisis arbitrairement, par exemple w0=0, w1=1, w2=-1. Après apprentissage, les poids deviennent w0=0, w1=1, w2=1, ce qui permet au perceptron de calculer correctement la fonction OU pour toute paire (x1, x2).
Pour augmenter le pouvoir de prédiction, on ajoute une ou plusieurs couches cachées entre les couches d’entrée et de sortie. Le nombre de couches cachées est généralement de 1 ou 2. Lorsqu’il est nul, le réseau réalise une régression linéaire ou logistique selon la fonction de transfert utilisée.
Le nombre de nœuds dans les couches cachées influence également la capacité du réseau. Cependant, il faut limiter ce nombre pour éviter le sur-apprentissage, où le réseau mémorise les exemples d’apprentissage sans pouvoir généraliser à de nouvelles données.
Les valeurs des entrées et sorties sont normalisées entre 0 et 1, ce qui permet de prendre en entrée d’un nœud la sortie d’un autre nœud précédent et évite que des données à grande amplitude dominent les autres.
La couche de sortie peut comporter plusieurs nœuds lorsque plusieurs valeurs doivent être prédites simultanément.
Les réseaux de neurones présentent plusieurs avantages :
Cependant, ils ont aussi des inconvénients :
Les réseaux de neurones sont efficaces pour la prédiction et l’estimation uniquement si :
Ils sont donc aussi bons que l’ensemble d’apprentissage utilisé. De plus, le modèle construit est statique et doit être continuellement mis à jour avec des exemples récents pour rester performant.