Comment une machine apprend : des données au modèle

1. Prédire avec une droite : la régression linéaire

Exemple : on étalonne un capteur de température. On a mesuré sa tension de sortie $y$ pour plusieurs températures $x$, et l'on veut un modèle pour prédire $y$ pour n'importe quelle température :

Les deux paramètres $a$ et $b$ sont choisis pour rendre minimale l'erreur quadratique moyenne entre les prédictions ${\widehat{y}}_i$ et les mesures $y_i$. Il existe deux façons de les trouver.

La solution analytique (moindres carrés)

Un calcul direct, exact, en une fois. Possible ici parce que le modèle est simple.

L'apprentissage itératif (descente de gradient)

On part de paramètres quelconques, on calcule l'erreur, puis on corrige un peu $a$ et $b$ dans le sens qui la fait baisser ; on recommence des centaines de fois. C'est plus lent, mais cela marche pour n'importe quel modèle, même avec des milliards de paramètres où aucune formule n'existe. C'est ainsi que s'entraînent les réseaux de neurones.

Exemple chiffré

Quatre mesures : $(0;1)$, $(1;3)$, $(2;4)$, $(3;6)$. Calculez $a$ et $b$, puis prédisez $y$ pour $x=5$.

2. Étiqueter les données : la labellisation

Pour apprendre à classer (« vibration normale » ou « anormale », « mot de réveil » ou « autre son »), un modèle a besoin d'exemples étiquetés : pour chaque exemple, un humain a indiqué la bonne réponse. C'est l'apprentissage supervisé, et ce travail d'étiquetage s'appelle la labellisation. Il est long, coûteux, souvent sous-traité… et décisif : le modèle apprend exactement ce qu'on lui montre, erreurs comprises.

3. Garder l'essentiel : l'analyse en composantes principales

Un capteur produit souvent beaucoup de grandeurs, et elles sont redondantes : les trois axes d'un accéléromètre, des dizaines de raies d'un spectre… L'analyse en composantes principales (ACP) cherche les directions où les données varient le plus, et permet de ne garder que celles-là. Moins de données à traiter, souvent sans presque rien perdre : précieux dans un microcontrôleur (chapitre 3).

Cherchez l'angle qui conserve le plus d'information : c'est la première composante principale. L'ACP la calcule directement, sans tâtonner, à partir de la matrice de covariance des données : c'est encore une solution analytique.

4. Les réseaux de neurones

Un neurone artificiel est un calcul très simple : une somme pondérée de ses entrées, suivie d'une fonction d'activation qui décide « à quel point » il s'active :

Les poids $w_i$ et le biais $b$ sont ses paramètres, exactement comme $a$ et $b$ de la régression. Seul, un neurone ne sépare les données que par une droite. En empilant des couches de neurones, le réseau peut dessiner des frontières de toutes formes. L'entraînement ajuste tous les poids par descente de gradient, comme à la section 1.

Deux règles d'or :

• on sépare les données : une partie sert à l'entraînement, une autre, jamais vue, sert au test. Seule la note de test dit si le modèle a vraiment appris ;
• attention au surapprentissage : avec trop peu de données et beaucoup de paramètres, le réseau apprend les exemples par cœur, bruit compris, et échoue sur des données nouvelles. Comme un étudiant qui apprend les corrigés sans comprendre.

Essayez : avec 1 neurone, la frontière reste droite et le réseau échoue. Avec 3 ou 4 neurones, il entoure le centre. Avec très peu d'exemples, la précision d'entraînement reste haute mais celle de test chute : c'est le surapprentissage.

Avant la suite, vérifiez que vous savez :

• calculer une régression linéaire sur quelques points et prédire une valeur ;
• expliquer pourquoi la labellisation est décisive ;
• dire à quoi sert l'ACP ;
• décrire un neurone et reconnaître un surapprentissage.