Entropía cruzada binaria con logits
La pérdida estable para problemas de dos clases
Entropía cruzada binaria con logits es una lección gratuita de Deep Learning Academy en CoddyKit. Esta es la lección 2 de 4. Puedes leer la lección completa abajo gratuitamente — luego la practicas en el navegador con un editor de código integrado y un tutor de IA 24/7. Forma parte de la ruta de aprendizaje de Deep Learning Academy, y tu progreso se sincroniza en la web y la app de CoddyKit. El curso de Deep Learning Academy incluye 4 lecciones en total.
Partes de esta lección aún no han sido traducidas y se muestran en inglés.
Two Classes, One Decision
When your model answers a yes or no question like spam or not spam, you reach for binary cross-entropy, the loss built for two-class problems. ✅
From Score to Probability
A model first outputs a raw score called a logit. The sigmoid function squashes that logit into a probability between 0 and 1.
import torch
prob = torch.sigmoid(logit)What Cross-Entropy Rewards
Cross-entropy gives a small loss when the predicted probability is close to the true label, and a large loss when it is confidently wrong.
Confident and Wrong Hurts
Predicting 0.99 when the true label is 0 produces a huge loss. Cross-entropy punishes confident mistakes far more than uncertain ones.
The Naive Loss Choice
You could apply sigmoid yourself, then use nn.BCELoss on the probabilities. It works, but there is a safer way for real training.
import torch.nn as nn
loss_fn = nn.BCELoss()
loss = loss_fn(prob, target)Feed Logits, Not Probabilities
The preferred loss is BCEWithLogitsLoss. It takes raw logits directly and applies the sigmoid internally for you.
import torch.nn as nn
loss_fn = nn.BCEWithLogitsLoss()
loss = loss_fn(logit, target)Why Combine the Steps
Fusing sigmoid and the loss uses the log-sum-exp trick, which avoids overflow and gives stable gradients even at extreme logits.
Skip the Extra Sigmoid
Because BCEWithLogitsLoss applies sigmoid itself, your model's last layer should output raw logits with no sigmoid attached.
Targets Are 0 or 1
Pass float targets of 0.0 or 1.0 with the same shape as your logits. A mismatched shape is the classic BCE bug to watch for.
target = torch.tensor([1.0, 0.0, 1.0])Sigmoid Only at Inference
During training the loss handles the squashing. To read a probability for a prediction, apply sigmoid to the logit at inference time.
Tilt the Balance with pos_weight
If positives are rare, the pos_weight argument scales up their contribution so the model stops ignoring the minority class.
Quick Check
You are doing binary classification and want numerical stability. What should you feed the loss?
Recap: Stable Yes or No
For two-class tasks you feed raw logits to BCEWithLogitsLoss, which squashes and scores in one stable step. Save sigmoid for reading probabilities later. 👍
Preguntas frecuentes
¿La lección «Entropía cruzada binaria con logits» es gratis?
Sí — el texto completo de «Entropía cruzada binaria con logits» es gratis para leer aquí en la web. Para practicarla de forma interactiva (editor de código integrado y tutor de IA 24/7) y desbloquear el resto del curso de Deep Learning Academy, actualiza a CoddyKit PRO. El curso de Deep Learning Academy incluye 4 lecciones en total.
¿Qué aprenderé en «Entropía cruzada binaria con logits»?
La pérdida estable para problemas de dos clases Practicas Deep Learning Academy con código real que ejecutas directamente en el navegador, y un tutor de IA 24/7 responde tus preguntas mientras trabajas en la lección.
¿Necesito experiencia previa para empezar Deep Learning Academy?
No se requiere experiencia previa. Deep Learning Academy en CoddyKit está estructurado para principiantes hasta estudiantes avanzados, así que puedes empezar aquí o desde el inicio y avanzar a tu ritmo. Esta es la lección 2 de 4.
¿Cuánto tiempo toma la lección «Entropía cruzada binaria con logits»?
La mayoría de las lecciones de CoddyKit toman alrededor de 5–10 minutos. Cada una es compacta e interactiva, así que avanzas constantemente y retomas exactamente por donde dejaste en la web y la app.
¿Puedo escribir y ejecutar código en esta lección de Deep Learning Academy?
Sí. Cada lección de Deep Learning Academy incluye un editor de código integrado, así que escribes y ejecutas código real directamente en tu navegador y obtienes retroalimentación instantánea de IA — sin configuración local necesaria.
Todas las lecciones de este curso
- MSE y MAE para regresión
- Entropía cruzada binaria con logits
- Entropía cruzada para clasificación multiclase
- Pesos de clase para datos desequilibrados