Les Réseaux de Neurones
Les Réseaux de Neurones
Artificial Neural Networks, Biological Foundations · notes
Voir tous les documents en réseaux
Fiche de révisionRésumé
Rédigée à partir de ce document, puis vérifiée avant publication.
Cette conférence présente les réseaux de neurones, un concept fondamental en intelligence artificielle inspiré du fonctionnement biologique du système nerveux. Elle s'inscrit dans un cours sur les méthodes supervisées d'apprentissage automatique et détaille à la fois les bases biologiques, la modélisation mathématique, les algorithmes d'apprentissage, ainsi que les avantages et limites de ces réseaux.
Le neurone est l'élément fondamental du système nerveux. Il se compose d'une masse protoplasmique entourant le noyau, de nombreuses dendrites (arborisations protoplasmiques) qui reçoivent les signaux, et d'un long prolongement cylindrique appelé axone, qui transmet les signaux vers d'autres neurones. Le système nerveux peut être vu comme un ensemble de neurones interconnectés.
L'axone se divise en ramifications reliées aux dendrites d'autres neurones, formant des points de jonction appelés synapses. Ces synapses possèdent une efficacité synaptique, qui agit comme un amplificateur de l'impulsion électrique traversant la synapse.
Chaque neurone possède un additionneur au niveau de son noyau, qui somme les impulsions électriques amplifiées reçues par les synapses. Si cette somme dépasse un seuil de stimulation, le neurone génère une impulsion électrique.
Les dendrites sont donc les organes d'entrée du neurone, tandis que l'axone constitue son unité de sortie. L'impulsion transmise peut être une excitation ou une inhibition, permettant à un groupe de neurones de renforcer ou de prévenir l'activité d'un autre groupe.
Quelques données chiffrées illustrent cette complexité : la durée d'une impulsion est de l'ordre de la milliseconde avec une amplitude d'environ 0,1 Volt. La vitesse de propagation de l'influx nerveux est d'environ 100 m/s, bien inférieure à celle des réseaux électroniques. Chaque neurone intègre jusqu'à 1000 synapses en permanence, mais le nombre total de contacts synaptiques peut atteindre plusieurs dizaines de milliers. Le cerveau humain contient environ 100 milliards de neurones, ce qui, par analogie avec la théorie des graphes, correspond à environ 10^15 connexions.
Un réseau de neurones artificiel est une métaphore inspirée du système nerveux biologique. Il s'agit d'un ensemble de nœuds (neurones artificiels) connectés entre eux par des liens pondérés, sur lesquels circulent des signaux générés par des stimuli extérieurs (les entrées).
Un neurone artificiel est modélisé comme une unité de calcul possédant :
Le neurone reçoit des entrées x1, x2, ..., xn, chacune pondérée par un poids synaptique w1, w2, ..., wn. Le potentiel d'activation p est la somme pondérée des entrées :
p = x.w = x1.w1 + x2.w2 + ... + xn.wn
La sortie o du neurone est alors déterminée par la fonction seuil :
o = 1 si p > θ o = 0 si p ≤ θ
Déterminer un réseau de neurones revient à trouver les coefficients synaptiques (poids) adaptés. Cette étape est appelée phase d'apprentissage, durant laquelle les caractéristiques du réseau sont modifiées jusqu'à obtenir le comportement désiré.
L'apprentissage supervisé repose sur une base d'apprentissage constituée d'exemples représentatifs sous la forme de couples (entrée ; sortie) connus. Une base d'essai ou de test permet ensuite d'évaluer la performance du réseau sur des données nouvelles, éventuellement bruitées ou incomplètes.
Le perceptron simple est un modèle de prédiction linéaire qui illustre ce principe. Il calcule une sortie binaire à partir d'entrées pondérées et d'un seuil. L'algorithme du perceptron ajuste les poids synaptiques pour minimiser l'erreur entre la sortie prédite et la sortie attendue.
Par exemple, pour apprendre la fonction logique OU, les entrées x1 et x2 appartiennent à {0,1}, et une entrée supplémentaire x0 vaut toujours 1 (biais). Initialement, les poids peuvent être choisis comme w0=0, w1=1 et w2=-1. Après apprentissage, les poids deviennent w0=0, w1=1 et w2=1, ce qui permet au perceptron de calculer correctement la fonction OU logique.
Pour augmenter le pouvoir de prédiction des réseaux, on ajoute une ou plusieurs couches cachées entre la couche d'entrée et la couche de sortie. Le nombre de couches cachées est généralement limité à 1 ou 2 pour éviter le sur-apprentissage, c’est-à-dire la mémorisation trop précise des données d’apprentissage au détriment de la généralisation.
Le pouvoir de prédiction augmente avec le nombre de nœuds dans ces couches cachées. Lorsque le nombre de couches cachées est nul, le réseau effectue une régression linéaire ou logistique selon la fonction de transfert utilisée.
La normalisation des données d'entrée, souvent dans l'intervalle (0,1), est importante pour éviter que des valeurs trop grandes écrasent les autres et pour permettre la prise en entrée d’un nœud de la sortie d’un nœud précédent. La couche de sortie peut comporter plusieurs nœuds lorsque plusieurs valeurs doivent être prédites simultanément.