Self-attention: query, key en value
Laat elk token naar elk ander token kijken.
Self-attention: query, key en value is een gratis Deep Learning Academy-les op CoddyKit. Dit is les 1 van 4. Je kunt de volledige les hieronder gratis lezen en daarna in de browser praktisch oefenen met een ingebouwde code-editor en een AI-begeleider die 24/7 beschikbaar is. Deze les maakt deel uit van het leertraject Deep Learning Academy. Je voortgang wordt gesynchroniseerd op het web en in de CoddyKit-app. De cursus Deep Learning Academy bevat in totaal 4 lessen.
Tokens die met elkaar praten
In een reeks hangt de betekenis van één woord af van andere woorden. Met self-attention kan elk token naar elk ander token kijken om de benodigde context te verzamelen.
Drie rollen per token
Elk token heeft drie rollen: een query die iets vraagt, een key die antwoord geeft en een value die inhoud draagt. Ze komen uit hetzelfde woord, maar worden op drie manieren gebruikt.
De query
De query van een token beschrijft waarnaar het zoekt. Zie het als de vraag die dit woord over de rest van de zin stelt.
De key
Elk token stelt ook een key beschikbaar: een label dat aangeeft wat het biedt. Een query wordt met alle keys vergeleken om goede overeenkomsten te vinden.
De value
Zodra een overeenkomst is gevonden, is de value de daadwerkelijke informatie die wordt doorgegeven. Keys bepalen hoeveel, values bepalen wat.
Q, K en V maken
Je bouwt queries, keys en values door de invoer via drie geleerde lineaire lagen te projecteren. Dezelfde invoer, drie verschillende gewichtsmatrices.
q = self.W_q(x)
k = self.W_k(x)
v = self.W_v(x)Scoren op overeenkomst
Om te bepalen hoe goed een query bij een key past, bereken je hun inwendig product. Een hogere score betekent dat de twee tokens relevanter voor elkaar zijn.
scores = q @ k.transpose(-2, -1)Van scores naar gewichten
Onbewerkte scores worden met softmax aandachtsgewichten, zodat de gewichten van elke query positief zijn en over alle keys optellen tot één.
weights = scores.softmax(dim=-1)De values mengen
De uitvoer voor elk token is een gewogen som van alle values, gemengd met de aandachtsgewichten. Relevante tokens dragen meer bij.
out = weights @ vWaarom dit beter is dan RNN's
Self-attention verbindt elk tweetal tokens in één stap, dus afstand is niet belangrijk. Dankzij dit parallelle perspectief kunnen transformers zo goed met lange context omgaan.
Geleerd, niet vastgelegd
De Q-, K- en V-projecties worden getraind met gradient descent. Het netwerk leert wat het moet vragen, wat het moet aanbieden en wat het moet delen, volledig uit gegevens.
Korte controle
Laten we testen hoe attention de onderdelen combineert.
Samenvatting
Je hebt geleerd dat self-attention elk token omzet in een query, key en value, overeenkomsten tussen queries en keys scoort en values mengt met softmax-gewichten. Goed gedaan!
Leer Python met een AI-tutor — gratis
Schrijf echte code en voer die uit in je browser, krijg direct hulp van een AI-tutor die 24/7 beschikbaar is en ga verder waar je gebleven bent op het web of in de app.
- Cursussen
- 30
- Lessen
- 120
Veelgestelde vragen
Is de les “Self-attention: query, key en value” gratis?
Ja — de volledige tekst van “Self-attention: query, key en value” kun je hier gratis op het web lezen. Als je interactief wilt oefenen met een ingebouwde code-editor en een AI-begeleider die 24/7 beschikbaar is, en de rest van de cursus Deep Learning Academy wilt ontgrendelen, kun je upgraden naar CoddyKit PRO. De cursus Deep Learning Academy bevat in totaal 4 lessen.
Wat leer ik in “Self-attention: query, key en value”?
Laat elk token naar elk ander token kijken. Je oefent met Deep Learning Academy door code rechtstreeks in de browser uit te voeren. Een AI-begeleider die 24/7 beschikbaar is beantwoordt je vragen terwijl je de les doorwerkt.
Heb ik ervaring nodig om met Deep Learning Academy te beginnen?
Ervaring vooraf is niet nodig. Deep Learning Academy op CoddyKit is opgebouwd voor beginners tot gevorderden, zodat je hier of bij het begin kunt starten en in je eigen tempo kunt leren. Dit is les 1 van 4.
Hoe lang duurt de les “Self-attention: query, key en value”?
De meeste lessen van CoddyKit duren ongeveer 5–10 minuten. Elke les is kort en interactief, zodat je gestaag vooruitgaat en op het web en in de app precies verdergaat waar je was gebleven.
Kan ik code schrijven en uitvoeren in deze les over Deep Learning Academy?
Ja. Elke les over Deep Learning Academy bevat een ingebouwde code-editor, zodat je rechtstreeks in je browser echte code kunt schrijven en uitvoeren en direct feedback van AI krijgt — lokale installatie is niet nodig.
Alle lessen in deze cursus
- Self-attention: query, key en value
- Geschaald dotproduct en multi-head
- Positionele codering voor volgorde
- Een Transformer-encoderblok stapelen