Deep Learning Academy · 강의

다중 클래스용 교차 엔트로피

Softmax가 아니라 원시 로짓을 입력으로 기대하는 이유를 알아봅니다

다중 클래스용 교차 엔트로피은(는) CoddyKit의 무료 Deep Learning Academy 강의입니다. 이것은 4개 중 3번째 강의입니다. 아래에서 전체 강의를 무료로 읽을 수 있으며, 내장 코드 에디터와 24/7 AI 튜터와 함께 브라우저에서 직접 실습할 수 있습니다. 이 강의는 Deep Learning Academy 학습 경로의 일부이며, 진행 상황이 웹과 CoddyKit 앱에 동기화됩니다. Deep Learning Academy 강의에는 총 4개의 강의가 포함되어 있습니다.

이 강의의 일부는 아직 번역되지 않았으며 영어로 표시됩니다.

More Than Two Choices

When your model must pick one label from many, like a digit 0 through 9, you use cross-entropy, the standard multiclass classification loss. 🔢

One Logit Per Class

For C classes, your network outputs a vector of C raw scores called logits, one per possible class, for every sample in the batch.

Softmax Turns Scores Into Odds

Softmax exponentiates each logit and normalizes them so they sum to 1, turning raw scores into a clean probability distribution.

import torch
probs = torch.softmax(logits, dim=1)

The Loss for Many Classes

PyTorch bundles softmax and the loss into nn.CrossEntropyLoss. It scores how much probability your model put on the correct class.

import torch.nn as nn
loss_fn = nn.CrossEntropyLoss()

Pass Raw Logits Directly

This is the key rule: feed CrossEntropyLoss the raw logits, never a softmax output. It applies log-softmax internally for you.

loss = loss_fn(logits, labels)

Why Not Softmax First

Applying softmax yourself, then this loss, squashes the values twice. That double pass distorts gradients and quietly wrecks training.

Labels Are Class Indices

Your targets are plain integer indices, like 3 for class three, not one-hot vectors. PyTorch handles the lookup for you.

labels = torch.tensor([3, 0, 7])

Mind the Output Shape

Logits have shape batch by classes, while labels have shape batch only. A shape mismatch here is the most common cross-entropy error.

It Is Built From Two Pieces

Under the hood, CrossEntropyLoss equals log-softmax followed by negative log-likelihood. Fusing them keeps the math numerically stable.

Predict With Argmax

To get the final answer, take the argmax over the logits. The largest score is the predicted class, no softmax needed.

preds = logits.argmax(dim=1)

Smooth Labels for Generalization

Setting label_smoothing nudges targets slightly away from a hard 1, which discourages overconfidence and often improves test accuracy.

loss_fn = nn.CrossEntropyLoss(label_smoothing=0.1)

Quick Check

You are using nn.CrossEntropyLoss for 10 classes. What should the model's final output be?

Recap: One Winner Per Sample

For multiclass tasks you feed raw logits and integer labels to CrossEntropyLoss, which softmaxes internally and scores the right class. Argmax gives the prediction. 🏆

자주 묻는 질문

“다중 클래스용 교차 엔트로피” 강의는 무료인가요?

네 — “다중 클래스용 교차 엔트로피” 전체 내용을 이 웹사이트에서 무료로 읽을 수 있습니다. 인터랙티브하게 실습하려면(내장 코드 에디터와 24/7 AI 튜터), CoddyKit PRO로 업그레이드하면 Deep Learning Academy 강의 전체를 잠금 해제할 수 있습니다. Deep Learning Academy 강의에는 총 4개의 강의가 포함되어 있습니다.

“다중 클래스용 교차 엔트로피”에서 뭘 배우나요?

Softmax가 아니라 원시 로짓을 입력으로 기대하는 이유를 알아봅니다 브라우저에서 직접 실행하는 실습 코드로 Deep Learning Academy을(를) 배우며, 24/7 AI 튜터가 강의를 진행하면서 질문에 답변해줍니다.

Deep Learning Academy을(를) 시작하는 데 경험이 필요한가요?

사전 경험은 필요하지 않습니다. CoddyKit의 Deep Learning Academy은(는) 초급자부터 고급 학습자까지를 위해 구성되어 있으므로, 여기서 시작하거나 처음부터 시작할 수 있으며 자신의 속도대로 진행할 수 있습니다. 이것은 4개 중 3번째 강의입니다.

“다중 클래스용 교차 엔트로피” 강의는 얼마나 걸리나요?

대부분의 CoddyKit 강의는 약 5~10분이 소요됩니다. 각 강의는 간결하고 인터랙티브하여 꾸준한 진행이 가능하며, 웹과 앱에서 중단한 부분부터 바로 시작할 수 있습니다.

이 Deep Learning Academy 강의에서 코드를 작성하고 실행할 수 있나요?

네. 모든 Deep Learning Academy 강의에는 내장 코드 에디터가 포함되어 있으므로, 브라우저에서 바로 실제 코드를 작성하고 실행한 후 즉시 AI 피드백을 받을 수 있습니다 — 로컬 설정이 필요 없습니다.

이 강의의 모든 강의

← Deep Learning Academy(으)로 돌아가기