Les Réseaux de Neurones

Cette conférence présente les réseaux de neurones, un concept fondamental en intelligence artificielle inspiré du fonctionnement biologique du système nerveux. Elle s'inscrit dans un cours sur les méthodes supervisées d'apprentissage automatique et détaille à la fois les bases biologiques, la modélisation mathématique, les algorithmes d'apprentissage, ainsi que les avantages et limites de ces réseaux.

Fondement biologique des réseaux de neurones

Le neurone est l'élément fondamental du système nerveux. Il se compose d'une masse protoplasmique entourant le noyau, de nombreuses dendrites (arborisations protoplasmiques) qui reçoivent les signaux, et d'un long prolongement cylindrique appelé axone, qui transmet les signaux vers d'autres neurones. Le système nerveux peut être vu comme un ensemble de neurones interconnectés.

L'axone se divise en ramifications reliées aux dendrites d'autres neurones, formant des points de jonction appelés synapses. Ces synapses possèdent une efficacité synaptique, qui agit comme un amplificateur de l'impulsion électrique traversant la synapse.

Chaque neurone possède un additionneur au niveau de son noyau, qui somme les impulsions électriques amplifiées reçues par les synapses. Si cette somme dépasse un seuil de stimulation, le neurone génère une impulsion électrique.

Les dendrites sont donc les organes d'entrée du neurone, tandis que l'axone constitue son unité de sortie. L'impulsion transmise peut être une excitation ou une inhibition, permettant à un groupe de neurones de renforcer ou de prévenir l'activité d'un autre groupe.

Quelques données chiffrées illustrent cette complexité : la durée d'une impulsion est de l'ordre de la milliseconde avec une amplitude d'environ 0,1 Volt. La vitesse de propagation de l'influx nerveux est d'environ 100 m/s, bien inférieure à celle des réseaux électroniques. Chaque neurone intègre jusqu'à 1000 synapses en permanence, mais le nombre total de contacts synaptiques peut atteindre plusieurs dizaines de milliers. Le cerveau humain contient environ 100 milliards de neurones, ce qui, par analogie avec la théorie des graphes, correspond à environ 10^15 connexions.

Modélisation et métaphore biologique des réseaux de neurones artificiels

Un réseau de neurones artificiel est une métaphore inspirée du système nerveux biologique. Il s'agit d'un ensemble de nœuds (neurones artificiels) connectés entre eux par des liens pondérés, sur lesquels circulent des signaux générés par des stimuli extérieurs (les entrées).

Un neurone artificiel est modélisé comme une unité de calcul possédant :

• des entrées (représentant les dendrites et synapses),
• une sortie (représentant l'axone),
• des connexions pondérées (coefficients synaptiques),
• un additionneur,
• un seuil d'activation,
• et un signal de sortie.

Le neurone reçoit des entrées x1, x2, ..., xn, chacune pondérée par un poids synaptique w1, w2, ..., wn. Le potentiel d'activation p est la somme pondérée des entrées :

p = x.w = x1.w1 + x2.w2 + ... + xn.wn

La sortie o du neurone est alors déterminée par la fonction seuil :

o = 1  si  p > θ
o = 0  si  p ≤ θ

Déterminer un réseau de neurones revient à trouver les coefficients synaptiques (poids) adaptés. Cette étape est appelée phase d'apprentissage, durant laquelle les caractéristiques du réseau sont modifiées jusqu'à obtenir le comportement désiré.

Apprentissage supervisé et perceptron simple

L'apprentissage supervisé repose sur une base d'apprentissage constituée d'exemples représentatifs sous la forme de couples (entrée ; sortie) connus. Une base d'essai ou de test permet ensuite d'évaluer la performance du réseau sur des données nouvelles, éventuellement bruitées ou incomplètes.

Le perceptron simple est un modèle de prédiction linéaire qui illustre ce principe. Il calcule une sortie binaire à partir d'entrées pondérées et d'un seuil. L'algorithme du perceptron ajuste les poids synaptiques pour minimiser l'erreur entre la sortie prédite et la sortie attendue.

Par exemple, pour apprendre la fonction logique OU, les entrées x1 et x2 appartiennent à {0,1}, et une entrée supplémentaire x0 vaut toujours 1 (biais). Initialement, les poids peuvent être choisis comme w0=0, w1=1 et w2=-1. Après apprentissage, les poids deviennent w0=0, w1=1 et w2=1, ce qui permet au perceptron de calculer correctement la fonction OU logique.

Réseaux à couches cachées

Pour augmenter le pouvoir de prédiction des réseaux, on ajoute une ou plusieurs couches cachées entre la couche d'entrée et la couche de sortie. Le nombre de couches cachées est généralement limité à 1 ou 2 pour éviter le sur-apprentissage, c’est-à-dire la mémorisation trop précise des données d’apprentissage au détriment de la généralisation.

Le pouvoir de prédiction augmente avec le nombre de nœuds dans ces couches cachées. Lorsque le nombre de couches cachées est nul, le réseau effectue une régression linéaire ou logistique selon la fonction de transfert utilisée.

La normalisation des données d'entrée, souvent dans l'intervalle (0,1), est importante pour éviter que des valeurs trop grandes écrasent les autres et pour permettre la prise en entrée d’un nœud de la sortie d’un nœud précédent. La couche de sortie peut comporter plusieurs nœuds lorsque plusieurs valeurs doivent être prédites simultanément.

Avantages des réseaux de neurones

• Capacité à modéliser des structures complexes et des données irrégulières.
• Prise en compte des relations non linéaires et des interactions entre variables.
• Bonne robustesse face aux données bruitées.
• Adaptabilité à des problèmes très variés, avec des variables cibles quantitatives ou qualitatives.

Inconvénients et limitations des réseaux de neurones

• Résultats souvent non explicites, ce qui rend l’interprétation difficile.
• Sensibilité aux individus hors normes et aux variables non discriminantes.
• Convergence vers la meilleure solution globale non toujours garantie.
• Nombreux paramètres à régler (nombre et taille des couches cachées, taux d’apprentissage, etc.).
• Les réseaux s’appliquent naturellement aux variables continues dans l’intervalle (0,1), nécessitant une normalisation des données.
• Les réseaux sont efficaces seulement si les entrées et sorties sont bien comprises et si un grand nombre d’exemples est disponible pour l’apprentissage.
• Le modèle est statique et doit être continuellement mis à jour avec de nouveaux exemples.

Points clés

• Le neurone biologique est un modèle d'unité de calcul avec des entrées (dendrites), un additionneur, un seuil d’activation et une sortie (axone).
• Un réseau de neurones artificiel est un graphe pondéré de neurones interconnectés, où chaque connexion possède un poids synaptique.
• Le potentiel d’activation d’un neurone est la somme pondérée de ses entrées, et sa sortie dépend d’un seuil.
• L’apprentissage consiste à ajuster les poids synaptiques pour que le réseau reproduise un comportement désiré à partir d’exemples connus.
• Le perceptron simple est un modèle linéaire capable d’apprendre des fonctions logiques comme OU.
• Les réseaux à couches cachées permettent de modéliser des relations non linéaires plus complexes, mais nécessitent une gestion prudente pour éviter le sur-apprentissage.
• Les réseaux de neurones sont puissants pour modéliser des données complexes, mais leur fonctionnement reste souvent opaque et ils requièrent une normalisation des données.
• La qualité du modèle dépend fortement de la qualité et de la quantité des données d’apprentissage.