NLP Academy · Leçon

L’idée de l’attention

Permettre au modèle de se concentrer sur l’essentiel

L’idée de l’attention est une leçon NLP Academy gratuite sur CoddyKit. Ceci est la leçon 1 sur 4. Tu peux lire la leçon complète ci-dessous gratuitement — puis la pratiquer en direct dans le navigateur avec un éditeur de code intégré et un tuteur IA 24/7. Elle fait partie du parcours d'apprentissage NLP Academy, et ta progression se synchronise sur le web et l'application CoddyKit. Le cours NLP Academy comprend 4 leçons au total.

Certaines parties de cette leçon n'ont pas encore été traduites et s'affichent en anglais.

Why Attention?

When you read a sentence, you do not weigh every word equally. Attention gives a model that same power to focus on what matters. 🎯

The Bottleneck Problem

Older models squeezed a whole sentence into one fixed vector. That bottleneck lost detail, especially for long inputs that carry many ideas.

Look Back at Everything

Instead of one summary vector, attention lets the model look back at every input word whenever it needs to, picking what is relevant right now.

Attention as Weights

Attention assigns each word a weight between 0 and 1. Higher weight means more focus; the weights for one step always add up to 1.

A Weighted Average

The output is a weighted average of the input vectors. Words with big weights shape the result; words with tiny weights barely matter.

weights = [0.7, 0.2, 0.1]
output = sum(w * v for w, v in zip(weights, vectors))

Translation Example

Translating "the cat sat" into French, the model can align each output word to the right source word instead of guessing from one blob.

Soft, Not Hard

Attention is soft: it spreads focus across all words by degree, rather than hard-picking just one. That makes it smooth and trainable.

Computing Relevance

To set the weights, the model scores how relevant each word is to the current step, then turns those scores into a probability spread.

Softmax Turns Scores Into Weights

Raw scores can be any number, so softmax squashes them into positive weights that sum to 1 and emphasize the largest score.

import numpy as np
def softmax(s):
    e = np.exp(s - np.max(s))
    return e / e.sum()

Handling Long Inputs

Because it can reach any word directly, attention keeps long-range links intact. The first word can still influence the last with no decay.

Why It Changed NLP

Attention freed models from reading strictly in order. That single idea became the foundation of the Transformer and modern language models. 🚀

Quick Check

Let us check the core intuition behind attention.

Recap

You learned that attention weights every input word by relevance and blends them into a focused output. That focus is what powers modern NLP. ✨

Questions Fréquemment Posées

La leçon « L’idée de l’attention » est-elle gratuite ?

Oui — le texte complet de « L’idée de l’attention » est gratuit à lire ici sur le web. Pour la pratiquer de manière interactive (un éditeur de code intégré et un tuteur IA 24/7) et déverrouiller le reste du cours NLP Academy, passe à CoddyKit PRO. Le cours NLP Academy comprend 4 leçons au total.

Qu'est-ce que j'apprendrai dans « L’idée de l’attention » ?

Permettre au modèle de se concentrer sur l’essentiel Tu pratiques NLP Academy avec du code pratique que tu exécutes directement dans le navigateur, et un tuteur IA 24/7 répond à tes questions au fur et à mesure que tu avances dans la leçon.

Dois-je avoir de l'expérience pour commencer NLP Academy ?

Aucune expérience préalable n'est requise. NLP Academy sur CoddyKit est structuré pour les débutants jusqu'aux apprenants avancés, donc tu peux commencer ici ou depuis le début et avancer à ton rythme. Ceci est la leçon 1 sur 4.

Combien de temps prend la leçon « L’idée de l’attention » ?

La plupart des leçons CoddyKit prennent environ 5–10 minutes. Chacune est courte et interactive, tu progresses régulièrement et tu repiques exactement où tu t'es arrêté sur le web et l'app.

Peux-tu écrire et exécuter du code dans cette leçon NLP Academy ?

Oui. Chaque leçon NLP Academy inclut un éditeur de code intégré, tu écris et exécutes du vrai code directement dans ton navigateur et tu reçois des retours IA instantanés — aucune configuration locale requise.

Toutes les leçons de ce cours

← Retour à NLP Academy