Entropia Cruzada Binária com Logits
A perda estável para problemas com duas classes
Entropia Cruzada Binária com Logits é uma aula grátis de Deep Learning Academy no CoddyKit. Esta é a aula 2 de 4. Você pode ler a aula completa abaixo gratuitamente — depois pratica ao vivo no navegador com um editor de código integrado e um tutor de IA 24/7. Faz parte do caminho de aprendizado de Deep Learning Academy, e seu progresso é sincronizado entre a web e o app CoddyKit. O curso de Deep Learning Academy inclui 4 aulas no total.
Partes desta aula ainda não foram traduzidas e aparecem em inglês.
Two Classes, One Decision
When your model answers a yes or no question like spam or not spam, you reach for binary cross-entropy, the loss built for two-class problems. ✅
From Score to Probability
A model first outputs a raw score called a logit. The sigmoid function squashes that logit into a probability between 0 and 1.
import torch
prob = torch.sigmoid(logit)What Cross-Entropy Rewards
Cross-entropy gives a small loss when the predicted probability is close to the true label, and a large loss when it is confidently wrong.
Confident and Wrong Hurts
Predicting 0.99 when the true label is 0 produces a huge loss. Cross-entropy punishes confident mistakes far more than uncertain ones.
The Naive Loss Choice
You could apply sigmoid yourself, then use nn.BCELoss on the probabilities. It works, but there is a safer way for real training.
import torch.nn as nn
loss_fn = nn.BCELoss()
loss = loss_fn(prob, target)Feed Logits, Not Probabilities
The preferred loss is BCEWithLogitsLoss. It takes raw logits directly and applies the sigmoid internally for you.
import torch.nn as nn
loss_fn = nn.BCEWithLogitsLoss()
loss = loss_fn(logit, target)Why Combine the Steps
Fusing sigmoid and the loss uses the log-sum-exp trick, which avoids overflow and gives stable gradients even at extreme logits.
Skip the Extra Sigmoid
Because BCEWithLogitsLoss applies sigmoid itself, your model's last layer should output raw logits with no sigmoid attached.
Targets Are 0 or 1
Pass float targets of 0.0 or 1.0 with the same shape as your logits. A mismatched shape is the classic BCE bug to watch for.
target = torch.tensor([1.0, 0.0, 1.0])Sigmoid Only at Inference
During training the loss handles the squashing. To read a probability for a prediction, apply sigmoid to the logit at inference time.
Tilt the Balance with pos_weight
If positives are rare, the pos_weight argument scales up their contribution so the model stops ignoring the minority class.
Quick Check
You are doing binary classification and want numerical stability. What should you feed the loss?
Recap: Stable Yes or No
For two-class tasks you feed raw logits to BCEWithLogitsLoss, which squashes and scores in one stable step. Save sigmoid for reading probabilities later. 👍
Perguntas Frequentes
A aula “Entropia Cruzada Binária com Logits” é grátis?
Sim — o texto completo de “Entropia Cruzada Binária com Logits” é grátis para ler aqui na web. Para praticá-la interativamente (um editor de código integrado e um tutor de IA 24/7) e desbloquear o restante do curso de Deep Learning Academy, atualize para CoddyKit PRO. O curso de Deep Learning Academy inclui 4 aulas no total.
O que vou aprender em “Entropia Cruzada Binária com Logits”?
A perda estável para problemas com duas classes Você pratica Deep Learning Academy com código prático que executa diretamente no navegador, e um tutor de IA 24/7 responde suas dúvidas enquanto trabalha na aula.
Preciso ter experiência prévia para começar Deep Learning Academy?
Nenhuma experiência prévia é necessária. Deep Learning Academy no CoddyKit é estruturado para alunos iniciantes até avançados, então você pode começar aqui ou desde o início e aprender no seu ritmo. Esta é a aula 2 de 4.
Quanto tempo leva a aula “Entropia Cruzada Binária com Logits”?
A maioria das aulas CoddyKit leva cerca de 5–10 minutos. Cada uma é compacta e interativa, então você faz progresso constante e retoma exatamente de onde parou entre web e app.
Posso escrever e executar código nesta aula de Deep Learning Academy?
Sim. Cada aula de Deep Learning Academy inclui um editor de código integrado, então você escreve e executa código real direto no navegador e recebe feedback de IA instantaneamente — nenhuma configuração local necessária.
Todas as aulas deste curso
- MSE e MAE para Regressão
- Entropia Cruzada Binária com Logits
- Entropia Cruzada para Múltiplas Classes
- Pesos de Classe para Dados Desbalanceados