<!-- Slide number: 1 -->
Année Universitaire 2019-2020
Les Réseaux de Neurones
Notes:
<!-- Slide number: 2 -->
Méthodes supervisées
<!-- Slide number: 3 -->
Fondement biologique
L’élément fondamental du systèmes nerveux est le neurone ou cellule nerveuse.
Le neurone comprend une masse protoplasmique qui entoure le noyau, de nombreuses arborisations protoplasmiques ou dendrites et un long prolongement cylindrique ou axone.
Le système nerveux peut être vu comme un ensemble de neurones interconnectés.
<!-- Slide number: 4 -->
Fondement biologique
L'axone se divise et ses ramifications sont reliées aux dendrites d'autres neurones ainsi qu'éventuellement aux siennes : les points de jonction sont les synapses; elles sont caractérisées par une efficacité synaptique qui peut être vue comme un amplificateur de l'impulsion qui traverse la synapse.
<!-- Slide number: 5 -->
Fondement biologique
Chaque neurone possède en son noyau un additionneur qui somme les impulsions électriques amplifiées par les synapses à l'entrée dans le neurone et un seuil de stimulation. Si l'excitation totale du neurone excède le seuil de stimulation, le
noyau initie une impulsion.
<!-- Slide number: 6 -->
Fondement biologique
Les dendrites sont donc les organes d'entrées du neurone et l'axone son unité de sortie.
L'impulsion peut prendre la forme d'une excitation ou d'une inhibition : l'activité d'un groupe de neurones peut renforcer ou prévenir l'activité concurrente d'un autre groupe.
<!-- Slide number: 7 -->
Fondement biologique
Publicité
Quelques chiffres:
La durée d'une impulsion est de l'ordre de la milliseconde et l'amplitude d'environ 0,1 Volt.
La vitesse de propagation de l'influx nerveux est de 100 m/s environ donc bien inférieure à la vitesse de transmission de l'information dans un réseau électronique.
Chaque neurone intègre en permanence jusqu'à 1000 synaptiques mais le nombre de contacts synaptiques par neurones peut atteindre plusieurs dizaine de milliers.
Le cerveau contient environ 100 milliards de neurones donc, par analogie avec la théorie des graphes, le nombre de connexions (arcs) est de l'ordre de 104(degré) * 1011(nombre de sommets) soit 1015environ.
<!-- Slide number: 8 -->
Métaphore biologique
Réception d’une information (signal)
• Activation + Traitement (simple) par un neurone
• Transmission aux autres neurones (si seuil franchi)
• A la longue : renforcement de certains liens APPRENTISSAGE
L'ensemble des neurones se présente donc comme un graphe pondéré sur lequel va circuler un signal généré par des stimulus extérieurs (entrées).
Un réseau de neurones : ensemble de nœuds connectés entre eux, chaque variable correspondant à un nœud
<!-- Slide number: 9 -->
Illustration du réseau de neurones
<!-- Slide number: 10 -->
Neurone artificiel
De façon naturelle, on représente un neurone par une unité de calcul ayant :
• des entrées (dendrites +synapses)
• une sortie (axone)
• des connexions pondérées avec les autres neurones (efficacité synaptique)
• un additionneur
• un seuil d'activation
• un signal de sortie
Principes :
- coefficient synaptique : coefficient réel
sommation des signaux arrivant au
Publicité
neurone
sortie obtenue après application
d’une fonction de transfert
<!-- Slide number: 11 -->
Les réseaux de neurones
• L'ensemble des neurones se présente donc comme un graphe pondéré sur lequel va circuler un signal généré par des stimulus extérieurs (entrées).
• Un réseau de neurones : ensemble de nœuds connectés entre eux, chaque variable correspondant à un nœud
<!-- Slide number: 12 -->
Les réseaux de neurones
Modélisation :
• Le neurone reçoit les entrées x1, …, xi, …, xn.
• Le potentiel d’activation du neurone p est défini comme la somme pondérée (les poids sont les coefficients synaptiques wi) des entrées.
• La sortie o est alors calculée en fonction du seuil θ
Soit : p = x.w= x1.w1 + … + xi.wi+ … +xn.wn
Alors : o = 1 si p > θ
o = 0 si p ≤ θ
<!-- Slide number: 13 -->
Les réseaux de neurones
Définitions
- Déterminer un réseau de neurones = Trouver les coefficients synaptiques.
- On parle de phase d’apprentissage : les caractéristiques du réseau sont modifiées jusqu’à ce que le comportement désiré soit obtenu.
<!-- Slide number: 14 -->
Les réseaux de neurones
Définitions
- Base d’apprentissage : exemples représentatifs du comportement ou de le fonction à modéliser . Ces exemples sont sous la forme de couples (entrée ; sortie) connus.
- Base d’essai ou de test : pour une entrée quelconque (bruitée ou incomplète), calculer la sortie. On peut alors évaluer la performance du réseau.
<!-- Slide number: 15 -->
Simulation du perceptron simple
Publicité
Le perceptron simple est un modèle de prédiction linéaire
<!-- Slide number: 16 -->
Apprentissage du perceptron simple
Définitionscalculer la sortie. On peut alors évaluer la performance du réseau.
<!-- Slide number: 17 -->
Apprentissage par l ’algorithme du perceptron
<!-- Slide number: 18 -->
Perceptron : exemple
Apprentissage par l’algorithme de perceptron du OU : les descriptions appartiennent à {0,1}2, les entrées du perceptron appartiennent à {0,1}3, la première composante correspond à l'entrée x0 et vaut toujours 1, les deux composantes suivantes correspondent aux variables x1 et x2 .
On suppose qu'à l'initialisation, les poids suivants ont été choisis w0=0 ; w1 = 1 et w2 = -1.
<!-- Slide number: 19 -->
Perceptron : exemple
Apprentissage par l’algorithme de perceptron : exemple
Donc : w0 = 0 ; w1 = 1 ; w2 = 1
Ce perceptron calcule le OU logique pour tout couple (x1 ; x2)
<!-- Slide number: 20 -->
Les réseaux à couches cachées
On augmente le pouvoir de prédiction en ajoutant une ou plusieurs couches cachées entre les couches d’entrée et de sortie
<!-- Slide number: 21 -->
Les réseaux à couches cachées
Le pouvoir de prédiction augmente avec le nombre de noeuds des couches cachées
-le nombre de couches cachées est très généralement 1 ou 2
-lorsque ce nombre = 0, le réseau effectue une régression linéaire ou logistique (selon la fonction de transfert)
Publicité
Mais ce dernier doit néanmoins être limité pour que le réseau de neurones ne se contente pas de mémoriser l’ensemble d’apprentissage mais puisse le généraliser
• sinon, il y a sur-apprentissage
Le fait que toutes les valeurs soient comprises entre 0 et 1 permet de prendre en entrée d’un nœud la sortie d’un nœud précédent
Autre but de la normalisation des valeurs : éviter que les données avec de grandes valeurs « écrasent » les autres
<!-- Slide number: 22 -->
Les réseaux à couches cachées
La couche de sortie du réseau peut parfois avoir plusieurs noeuds, lorsqu’il y a plusieurs valeurs à prédire.
<!-- Slide number: 23 -->
Avantages des réseaux de neurones
Aptitude à modéliser des structures complexes et des données irrégulières
Prise en compte des relations non linéaires (interactions) entre les variables.
Assez bonne robustesse aux données bruitées
Aptitude à modéliser des problèmes très variés.
La variable cible peut être quantitative ou qualitative
<!-- Slide number: 24 -->
Inconvénients des réseaux de neurones
Résultats totalement non explicites
Sensibilité aux individus hors normes
Sensibilité à un trop grand nombre de variables non discriminantes (contrairement aux arbres de décision)
Convergence vers la meilleure solution globale pas toujours assurée
Paramètres nombreux et délicats à régler (nb et taille des couches cachées, taux d’apprentissage, etc…)
Ne s’appliquent naturellement qu’aux variables continues dans l’intervalle (0,1) – Nécessité de normaliser les données.
<!-- Slide number: 25 -->
Limitations des réseaux de neurones
Les réseaux de neurones sont bons pour la prédiction et l’estimation seulement quand :
- Les entrées sont bien comprises
- La sortie est bien comprise
- L’expérience est disponible pour un grand nombre d’exemples à utiliser pour entraîner le réseau.
Les réseaux de neurones sont seulement aussi bons que l’ensemble d’apprentissage utilisé.
Le modèle construit est statique et doit être continuellement mis à jour avec des exemples plus récents.