Les Réseaux de Neurones

Cette conférence présente les réseaux de neurones, une méthode d’apprentissage supervisé inspirée du fonctionnement biologique du système nerveux. Elle s’inscrit dans un cours sur l’intelligence artificielle ou l’apprentissage automatique, en introduisant les concepts fondamentaux, la modélisation mathématique, les algorithmes d’apprentissage et les avantages et limites de cette approche.

Fondements biologiques des réseaux de neurones

Le neurone est l’élément fondamental du système nerveux. Il se compose d’une masse protoplasmique entourant le noyau, de nombreuses dendrites (arborisations protoplasmiques) qui reçoivent les signaux, et d’un long axone qui transmet les impulsions. L’axone se divise en ramifications reliées aux dendrites d’autres neurones via des synapses, points de jonction caractérisés par une efficacité synaptique, qui agit comme un amplificateur de l’impulsion électrique.

Chaque neurone possède un additionneur dans son noyau qui somme les impulsions électriques amplifiées par les synapses. Si l’excitation totale dépasse un seuil de stimulation, le neurone génère une impulsion. Les dendrites sont donc les organes d’entrée, tandis que l’axone est l’unité de sortie. L’impulsion peut être une excitation ou une inhibition, permettant à un groupe de neurones de renforcer ou de prévenir l’activité d’un autre groupe.

Quelques chiffres illustrent la complexité du système : la durée d’une impulsion est de l’ordre de la milliseconde avec une amplitude d’environ 0,1 Volt, et la vitesse de propagation de l’influx nerveux est d’environ 100 m/s, bien inférieure à celle des réseaux électroniques. Chaque neurone peut intégrer jusqu’à 1000 synapses, voire plusieurs dizaines de milliers, et le cerveau contient environ 100 milliards de neurones, ce qui conduit à un nombre de connexions de l’ordre de 10^15.

Cette organisation peut être vue comme un graphe pondéré où circule un signal généré par des stimuli extérieurs. Le réseau de neurones est donc un ensemble de nœuds (neurones) connectés entre eux, chaque nœud correspondant à une variable.

Modélisation du neurone artificiel

Le neurone artificiel est une unité de calcul inspirée du neurone biologique. Il comprend :

• des entrées (équivalentes aux dendrites et synapses),
• une sortie (équivalente à l’axone),
• des connexions pondérées avec les autres neurones (représentant l’efficacité synaptique),
• un additionneur,
• un seuil d’activation,
• et un signal de sortie.

Le coefficient synaptique est un coefficient réel qui pondère chaque entrée. Le neurone calcule la somme pondérée des signaux entrants, puis applique une fonction de transfert pour déterminer la sortie.

Mathématiquement, si le neurone reçoit les entrées x1, …, xi, …, xn avec des poids synaptiques w1, …, wi, …, wn, le potentiel d’activation p est défini par :

p = x.w = x1.w1 + … + xi.wi + … + xn.wn

La sortie o est alors calculée en fonction du seuil θ :

o = 1  si  p > θ
o = 0  si  p ≤ θ

Apprentissage et fonctionnement des réseaux de neurones

Déterminer un réseau de neurones revient à trouver les coefficients synaptiques (poids). Cette phase est appelée phase d’apprentissage, durant laquelle les caractéristiques du réseau sont modifiées jusqu’à obtenir le comportement désiré.

Pour cela, on utilise une base d’apprentissage composée d’exemples représentatifs du comportement ou de la fonction à modéliser, sous forme de couples (entrée ; sortie) connus. Une base d’essai ou de test permet ensuite d’évaluer la performance du réseau sur des entrées nouvelles, éventuellement bruitées ou incomplètes.

Un exemple classique est le perceptron simple, un modèle de prédiction linéaire. L’apprentissage du perceptron s’effectue par un algorithme qui ajuste les poids synaptiques en fonction des erreurs commises lors des prédictions.

Par exemple, pour apprendre la fonction logique OU, les entrées sont des vecteurs binaires (0 ou 1) avec une composante x0 toujours égale à 1 pour le biais. Initialement, les poids peuvent être choisis arbitrairement, par exemple w0=0, w1=1, w2=-1. Après apprentissage, les poids deviennent w0=0, w1=1, w2=1, ce qui permet au perceptron de calculer correctement la fonction OU pour toute paire (x1, x2).

Réseaux à couches cachées

Pour augmenter le pouvoir de prédiction, on ajoute une ou plusieurs couches cachées entre les couches d’entrée et de sortie. Le nombre de couches cachées est généralement de 1 ou 2. Lorsqu’il est nul, le réseau réalise une régression linéaire ou logistique selon la fonction de transfert utilisée.

Le nombre de nœuds dans les couches cachées influence également la capacité du réseau. Cependant, il faut limiter ce nombre pour éviter le sur-apprentissage, où le réseau mémorise les exemples d’apprentissage sans pouvoir généraliser à de nouvelles données.

Les valeurs des entrées et sorties sont normalisées entre 0 et 1, ce qui permet de prendre en entrée d’un nœud la sortie d’un autre nœud précédent et évite que des données à grande amplitude dominent les autres.

La couche de sortie peut comporter plusieurs nœuds lorsque plusieurs valeurs doivent être prédites simultanément.

Avantages et inconvénients des réseaux de neurones

Les réseaux de neurones présentent plusieurs avantages :

• Ils modélisent des structures complexes et des données irrégulières.
• Ils prennent en compte les relations non linéaires (interactions) entre les variables.
• Ils sont assez robustes face aux données bruitées.
• Ils peuvent modéliser des problèmes très variés, avec des variables cibles quantitatives ou qualitatives.

Cependant, ils ont aussi des inconvénients :

• Les résultats sont souvent non explicites, ce qui rend l’interprétation difficile.
• Ils sont sensibles aux individus hors normes.
• Ils sont sensibles à un trop grand nombre de variables non discriminantes, contrairement aux arbres de décision.
• La convergence vers la meilleure solution globale n’est pas toujours assurée.
• Ils comportent de nombreux paramètres délicats à régler (nombre et taille des couches cachées, taux d’apprentissage, etc.).
• Ils s’appliquent naturellement aux variables continues dans l’intervalle (0,1), ce qui nécessite une normalisation des données.

Limitations et conditions d’utilisation

Les réseaux de neurones sont efficaces pour la prédiction et l’estimation uniquement si :

• Les entrées sont bien comprises.
• La sortie est bien comprise.
• Une grande quantité d’exemples est disponible pour entraîner le réseau.

Ils sont donc aussi bons que l’ensemble d’apprentissage utilisé. De plus, le modèle construit est statique et doit être continuellement mis à jour avec des exemples récents pour rester performant.

Points clés

• Le neurone biologique est un modèle d’additionneur avec seuil, connecté à d’autres neurones via des synapses pondérées.
• Le neurone artificiel reproduit ce fonctionnement par une somme pondérée des entrées suivie d’une fonction de transfert.
• L’apprentissage consiste à ajuster les poids synaptiques pour obtenir le comportement désiré à partir d’exemples connus.
• Le perceptron simple est un modèle linéaire capable d’apprendre des fonctions logiques comme le OU.
• Les réseaux à couches cachées augmentent la capacité de modélisation en introduisant des couches intermédiaires.
• La normalisation des données est essentielle pour un bon fonctionnement.
• Les réseaux de neurones sont puissants mais présentent des limites en termes d’interprétabilité, de réglage et de nécessité de données abondantes et représentatives.