Créer des plongements de phrases avec BERT
Extraire des vecteurs contextuels dans le code
Créer des plongements de phrases avec BERT est une leçon NLP Academy gratuite sur CoddyKit. Ceci est la leçon 3 sur 4. Tu peux lire la leçon complète ci-dessous gratuitement — puis la pratiquer en direct dans le navigateur avec un éditeur de code intégré et un tuteur IA 24/7. Elle fait partie du parcours d'apprentissage NLP Academy, et ta progression se synchronise sur le web et l'application CoddyKit. Le cours NLP Academy comprend 4 leçons au total.
Certaines parties de cette leçon n'ont pas encore été traduites et s'affichent en anglais.
From Words to Sentences
BERT gives every token its own vector. But often you want one vector for the whole sentence, not each word.
The CLS Token
BERT adds a special token named CLS at the very front of each input. Its output is often used as a sentence summary.
Mean Pooling
Another common trick averages all the token vectors into one. This mean pooling step often beats the raw CLS vector.
Load a Model
Hugging Face makes loading easy: grab a tokenizer and a model with one line each. They form your pipeline for embeddings.
from transformers import AutoTokenizer, AutoModel
tok = AutoTokenizer.from_pretrained("bert-base-uncased")
model = AutoModel.from_pretrained("bert-base-uncased")Tokenize the Text
The tokenizer turns your sentence into id numbers and an attention mask BERT understands. This is the encoding step.
inputs = tok("I love NLP", return_tensors="pt")Run the Model
Pass the encoded inputs into BERT to get hidden states for every token. These vectors are the raw output you will pool.
out = model(**inputs)
states = out.last_hidden_statePool to One Vector
Average the token states along the sequence to collapse them into a single sentence embedding you can store.
vec = states.mean(dim=1)An Easier Path
The Sentence-Transformers library wraps all of this for you. One call returns a clean sentence vector ready to use. ✨
from sentence_transformers import SentenceTransformer
m = SentenceTransformer("all-MiniLM-L6-v2")
vec = m.encode("I love NLP")Compare Sentences
With two sentence vectors you measure closeness using cosine similarity. Higher scores mean the sentences mean similar things.
What You Can Build
Sentence embeddings power semantic search, clustering, and duplicate detection. They turn meaning into something you can search.
A Note on Quality
Models tuned for sentences, like MiniLM, usually beat plain BERT here. Pick one trained for the task you actually have.
Quick Check
How do you turn many token vectors into one sentence vector?
Recap
Tokenize, run BERT, then pool or use CLS to get one sentence embedding. Sentence-Transformers makes it a single call. ✅
Questions Fréquemment Posées
La leçon « Créer des plongements de phrases avec BERT » est-elle gratuite ?
Oui — le texte complet de « Créer des plongements de phrases avec BERT » est gratuit à lire ici sur le web. Pour la pratiquer de manière interactive (un éditeur de code intégré et un tuteur IA 24/7) et déverrouiller le reste du cours NLP Academy, passe à CoddyKit PRO. Le cours NLP Academy comprend 4 leçons au total.
Qu'est-ce que j'apprendrai dans « Créer des plongements de phrases avec BERT » ?
Extraire des vecteurs contextuels dans le code Tu pratiques NLP Academy avec du code pratique que tu exécutes directement dans le navigateur, et un tuteur IA 24/7 répond à tes questions au fur et à mesure que tu avances dans la leçon.
Dois-je avoir de l'expérience pour commencer NLP Academy ?
Aucune expérience préalable n'est requise. NLP Academy sur CoddyKit est structuré pour les débutants jusqu'aux apprenants avancés, donc tu peux commencer ici ou depuis le début et avancer à ton rythme. Ceci est la leçon 3 sur 4.
Combien de temps prend la leçon « Créer des plongements de phrases avec BERT » ?
La plupart des leçons CoddyKit prennent environ 5–10 minutes. Chacune est courte et interactive, tu progresses régulièrement et tu repiques exactement où tu t'es arrêté sur le web et l'app.
Peux-tu écrire et exécuter du code dans cette leçon NLP Academy ?
Oui. Chaque leçon NLP Academy inclut un éditeur de code intégré, tu écris et exécutes du vrai code directement dans ton navigateur et tu reçois des retours IA instantanés — aucune configuration locale requise.
Toutes les leçons de ce cours
- Pourquoi le contexte modifie le sens d’un mot
- Modélisation du langage masqué
- Créer des plongements de phrases avec BERT
- Choisir le bon modèle préentraîné