Binaire cross-entropy met logits
De stabiele loss voor problemen met twee klassen.
Binaire cross-entropy met logits is een gratis Deep Learning Academy-les op CoddyKit. Dit is les 2 van 4. Je kunt de volledige les hieronder gratis lezen en daarna in de browser praktisch oefenen met een ingebouwde code-editor en een AI-begeleider die 24/7 beschikbaar is. Deze les maakt deel uit van het leertraject Deep Learning Academy. Je voortgang wordt gesynchroniseerd op het web en in de CoddyKit-app. De cursus Deep Learning Academy bevat in totaal 4 lessen.
Twee klassen, één beslissing
Wanneer je model een ja-of-neevraag beantwoordt, zoals spam of geen spam, gebruik je binaire cross-entropie, de verliesfunctie voor problemen met twee klassen. ✅
Van score naar waarschijnlijkheid
Een model geeft eerst een ruwe score die een logit wordt genoemd. De sigmoidfunctie perst die logit samen tot een waarschijnlijkheid tussen 0 en 1.
import torch
prob = torch.sigmoid(logit)Wat cross-entropie beloont
Cross-entropie geeft een klein verlies wanneer de voorspelde waarschijnlijkheid dicht bij het echte label ligt, en een groot verlies wanneer het model vol vertrouwen fout zit.
Vol vertrouwen fout doet pijn
Een voorspelling van 0,99 terwijl het echte label 0 is, levert een enorm verlies op. Cross-entropie bestraft zelfverzekerde fouten veel sterker dan onzekere fouten.
De naïeve keuze van de verliesfunctie
Je kunt zelf sigmoid toepassen en daarna nn.BCELoss op de waarschijnlijkheden gebruiken. Dat werkt, maar voor echte training is er een veiligere manier.
import torch.nn as nn
loss_fn = nn.BCELoss()
loss = loss_fn(prob, target)Voer logits in, geen waarschijnlijkheden
De voorkeursverliesfunctie is BCEWithLogitsLoss. Deze neemt rechtstreeks ruwe logits aan en past sigmoid intern voor je toe.
import torch.nn as nn
loss_fn = nn.BCEWithLogitsLoss()
loss = loss_fn(logit, target)Waarom je de stappen combineert
Door sigmoid en het verlies samen te voegen, gebruik je de log-sum-exp-truc. Die voorkomt overflow en levert zelfs bij extreme logits stabiele gradiënten.
Sla de extra sigmoid over
Omdat BCEWithLogitsLoss zelf sigmoid toepast, moet de laatste laag van je model ruwe logits uitvoeren, zonder gekoppelde sigmoid.
Doelwaarden zijn 0 of 1
Geef doelwaarden als floats 0,0 of 1,0 door, met dezelfde vorm als je logits. Een afwijkende vorm is de klassieke BCE-fout waar je op moet letten.
target = torch.tensor([1.0, 0.0, 1.0])Sigmoid alleen tijdens inferentie
Tijdens de training handelt de verliesfunctie het samenpersen af. Als je een waarschijnlijkheid voor een voorspelling wilt lezen, pas je tijdens inferentie sigmoid toe op de logit.
Verleg de balans met pos_weight
Als positieve voorbeelden zeldzaam zijn, schaalt het argument pos_weight hun bijdrage op, zodat het model de minderheidsklasse niet langer negeert.
Korte controle
Je voert binaire classificatie uit en wilt numerieke stabiliteit. Wat moet je aan de verliesfunctie doorgeven?
Samenvatting: stabiel ja of nee
Bij problemen met twee klassen geef je ruwe logits door aan BCEWithLogitsLoss, dat ze in één stabiele stap samenperst en beoordeelt. Bewaar sigmoid voor het later uitlezen van waarschijnlijkheden. 👍
Leer Python met een AI-tutor — gratis
Schrijf echte code en voer die uit in je browser, krijg direct hulp van een AI-tutor die 24/7 beschikbaar is en ga verder waar je gebleven bent op het web of in de app.
- Cursussen
- 30
- Lessen
- 120
Veelgestelde vragen
Is de les “Binaire cross-entropy met logits” gratis?
Ja — de volledige tekst van “Binaire cross-entropy met logits” kun je hier gratis op het web lezen. Als je interactief wilt oefenen met een ingebouwde code-editor en een AI-begeleider die 24/7 beschikbaar is, en de rest van de cursus Deep Learning Academy wilt ontgrendelen, kun je upgraden naar CoddyKit PRO. De cursus Deep Learning Academy bevat in totaal 4 lessen.
Wat leer ik in “Binaire cross-entropy met logits”?
De stabiele loss voor problemen met twee klassen. Je oefent met Deep Learning Academy door code rechtstreeks in de browser uit te voeren. Een AI-begeleider die 24/7 beschikbaar is beantwoordt je vragen terwijl je de les doorwerkt.
Heb ik ervaring nodig om met Deep Learning Academy te beginnen?
Ervaring vooraf is niet nodig. Deep Learning Academy op CoddyKit is opgebouwd voor beginners tot gevorderden, zodat je hier of bij het begin kunt starten en in je eigen tempo kunt leren. Dit is les 2 van 4.
Hoe lang duurt de les “Binaire cross-entropy met logits”?
De meeste lessen van CoddyKit duren ongeveer 5–10 minuten. Elke les is kort en interactief, zodat je gestaag vooruitgaat en op het web en in de app precies verdergaat waar je was gebleven.
Kan ik code schrijven en uitvoeren in deze les over Deep Learning Academy?
Ja. Elke les over Deep Learning Academy bevat een ingebouwde code-editor, zodat je rechtstreeks in je browser echte code kunt schrijven en uitvoeren en direct feedback van AI krijgt — lokale installatie is niet nodig.
Alle lessen in deze cursus
- MSE en MAE voor regressie
- Binaire cross-entropy met logits
- Cross-entropy voor meerdere klassen
- Klassegewichten voor onevenwichtige data