La perte comme paysage à parcourir

La perte de votre modèle est un nombre unique qui indique à quel point ses prédictions sont erronées. Une perte plus faible signifie de meilleures prédictions. L’entraînement consiste simplement à la réduire. 📉

Les mêmes données produisent une perte différente selon vos poids. Modifiez un poids et la perte augmente ou diminue. La perte est donc réellement une fonction des poids.

Imaginez chaque configuration des poids comme un point sur un paysage vallonné, dont l’altitude à cet endroit représente la perte. Entraîner le modèle revient à descendre vers une altitude plus basse.

Le point le plus bas de ce paysage est le minimum : la configuration des poids avec laquelle votre modèle prédit le mieux. Votre objectif est d’atteindre le fond de cette vallée.

Avec un seul poids, le paysage se réduit à une courbe en deux dimensions. Vous pouvez tracer la perte en fonction du poids et voir directement le creux où la perte est minimale.

Ajoutez un deuxième poids et la courbe devient une surface en trois dimensions, avec des collines et des vallées. Les modèles réels possèdent des millions de poids ; leur paysage vit donc dans des millions de dimensions.

Dans un espace de grande dimension, vous ne pouvez jamais observer tout le paysage à la fois. Vous ne ressentez que la pente juste sous vos pieds et avancez en conséquence.

Une pente raide signifie que la perte varie rapidement ici ; un petit pas peut donc beaucoup aider. Un terrain plat indique que vous êtes près d’une vallée ou d’un plateau et que la progression ralentit.

Le paysage peut comporter de nombreux creux. Un minimum local est une petite vallée qui vous piège au-dessus de la vallée la plus profonde. Malgré cela, les réseaux profonds s’entraînent généralement bien.

L’algorithme d’entraînement complet s’appelle la descente de gradient pour une bonne raison : vous avancez à plusieurs reprises vers le bas de ce paysage de perte jusqu’à vous stabiliser près du fond.

Concevoir la perte comme un terrain rend l’entraînement intuitif : où suis-je, dans quelle direction se trouve le bas et quelle taille de pas dois-je choisir ? Toutes les autres idées s’appuient sur cette image.

La perte est un nombre qui dépend de vos poids ; elle forme donc un paysage de collines et de vallées. Entraîner le modèle revient à descendre vers la perte la plus faible que vous puissiez trouver. 🏔️