COMMENT LES MACHINES APPRENNENT ?

Ce document présente une introduction au machine learning, ou apprentissage automatique, destinée aux étudiants et curieux souhaitant comprendre comment les machines apprennent à partir des données. Il aborde les concepts fondamentaux, les différents types d’apprentissage, les techniques utilisées, ainsi que quelques applications concrètes.

Une histoire d’algorithmes et de données

L’intelligence artificielle (IA) est définie comme la construction de programmes informatiques capables d’accomplir des tâches qui nécessitent habituellement des processus mentaux complexes, tels que l’apprentissage perceptuel, l’organisation de la mémoire ou le raisonnement critique (Marvin Minsky).

Un algorithme est une suite d’instructions permettant d’obtenir un résultat. Par exemple, on peut chercher un algorithme pour faire cuire des pâtes, trouver son chemin dans une ville, reconnaître un chat dans une image ou gagner à un jeu comme Starcraft II.

Souvent, il est difficile de définir explicitement un algorithme pour un problème complexe. Cependant, on dispose d’exemples ou de données qui peuvent servir à apprendre un modèle. Cette idée est au cœur du machine learning.

Le volume de données disponibles a explosé grâce à diverses sources :

• Activités humaines volontaires : réseaux sociaux, emails, géolocalisation, podomètres, séquençage ADN…
• Activités moins volontaires : cookies sur les sites web, vidéosurveillance, biométrie…
• Processus automatiques : capteurs, transactions boursières, logs sur serveurs…

Le machine learning

Le machine learning est l’étude scientifique des algorithmes et des modèles statistiques que les ordinateurs utilisent pour accomplir une tâche sans instruction explicite, mais en s’appuyant sur des motifs et de l’inférence.

Les trois modes d’apprentissage

• Apprentissage supervisé : apprendre une fonction de prédiction à partir d’exemples annotés.
• Apprentissage non supervisé : regrouper des données similaires sans annotation.
• Apprentissage par renforcement : apprendre à prendre des actions optimales à partir d’expériences et de récompenses.

Apprentissage supervisé

Dans ce mode, l’algorithme apprend à partir d’exemples annotés, c’est-à-dire des données pour lesquelles la réponse correcte est connue. Les deux grandes tâches sont :

• Classification : attribuer une catégorie à un exemple (par exemple, reconnaître si une image contient un chat ou non).
• Régression : prédire une valeur continue (par exemple, estimer le prix d’une maison selon ses caractéristiques).

Avantages :

• Très efficace quand on dispose de suffisamment de données.
• Peut surpasser l’humain pour certains problèmes.

Inconvénients :

• Besoin d’un grand volume de données.
• Les données doivent être annotées, ce qui peut être coûteux et long.

Apprentissage non supervisé

Ce type d’apprentissage consiste à regrouper des données similaires sans disposer d’annotations. C’est un problème plus difficile car il n’y a pas de réponse connue pour guider l’apprentissage.

Apprentissage par renforcement

Un agent autonome apprend à prendre des décisions en fonction des récompenses reçues au cours du temps, imitant ainsi la façon dont les animaux ou les humains apprennent.

Exemple : une souris doit atteindre un fromage (case rouge) tout en évitant du poison (case bleue). La souris reçoit une récompense +1 lorsqu’elle passe sur une case rouge et une pénalité -1 sur une case bleue. Au fil du temps, elle apprend à optimiser son parcours pour maximiser la récompense.

Le deep learning

Le deep learning est une sous-catégorie du machine learning qui utilise des réseaux de neurones artificiels profonds, inspirés du fonctionnement du cerveau humain. Ces réseaux sont composés de plusieurs couches (parfois très nombreuses, comme Google Inception v3 avec 48 couches) qui permettent de modéliser des fonctions complexes.

Quelques techniques d’apprentissage supervisé

• Régression linéaire
• Méthodes à noyaux
• Machine à support de vecteurs (SVM)
• Forêts aléatoires
• Réseaux de neurones

Le perceptron : un neurone artificiel

Le perceptron est un modèle simple de neurone artificiel inventé en 1956. Il reçoit plusieurs entrées pondérées, calcule une somme, puis applique une fonction d’activation pour produire une sortie.

Le processus d’apprentissage consiste à modifier les poids en fonction des erreurs commises, afin d’améliorer la performance du réseau.

Capacités de calcul

Le développement du deep learning a été rendu possible grâce à l’augmentation des capacités de calcul, notamment avec l’utilisation des GPU (Graphics Processing Unit), initialement conçus pour les jeux vidéo, mais très efficaces pour manipuler des matrices.

Exemples de matériel :

• Tesla P100 : environ 10 000 $
• Movidius Neural Compute Stick : environ 79 $

Outils open source

De nombreux outils open source facilitent la mise en œuvre des algorithmes de machine learning et deep learning, permettant à un large public de développer des applications.

Quelques applications

• Vision artificielle : par exemple, AlexNet a remporté le challenge ImageNet en 2012, et Facebook utilise Detectron pour la reconnaissance d’images.
• Reconnaissance du texte et de la parole : assistants vocaux comme Siri, services de traduction automatique comme Google Traduction.
• Personnalisation : apprentissage des comportements et préférences pour recommandations (Netflix, Amazon), publicité ciblée, médecine personnalisée.
• Robotique : intégration de l’apprentissage automatique pour améliorer les capacités des robots.
• Génération de données : réseaux antagonistes génératifs (GAN) comme CycleGAN (UC Berkeley, 2017) ou les visages générés par NVIDIA (2018).
• Art : utilisation du deep learning pour créer des œuvres artistiques.

Glossaire des termes clés

• Algorithme : suite d’instructions permettant d’obtenir un résultat.
• Apprentissage supervisé : mode d’apprentissage où l’algorithme apprend à partir d’exemples annotés.
• Apprentissage non supervisé : mode d’apprentissage sans annotations, visant à regrouper des données similaires.
• Apprentissage par renforcement : apprentissage basé sur la maximisation d’une récompense au fil du temps.
• Deep learning : apprentissage profond utilisant des réseaux de neurones artificiels à plusieurs couches.
• Perceptron : modèle simple de neurone artificiel.
• GPU : processeur graphique optimisé pour le calcul matriciel, utilisé en deep learning.
• GAN (Generative Adversarial Networks) : réseaux antagonistes génératifs, utilisés pour créer des données synthétiques.

Points clés à retenir

• Le machine learning permet aux ordinateurs d’apprendre à partir de données sans programmation explicite.
• Il existe trois principaux types d’apprentissage : supervisé, non supervisé et par renforcement.
• Le deep learning utilise des réseaux de neurones profonds pour modéliser des fonctions complexes.
• Les progrès récents sont liés à l’augmentation des capacités de calcul et à la disponibilité massive de données.
• Les applications sont nombreuses : vision, reconnaissance vocale, personnalisation, robotique, génération de données, art.
• Le domaine est en pleine expansion et attire chercheurs et entreprises du monde entier.