Выбор порога и метрики
Оптимизируйте модель для важного для Вас класса
«Выбор порога и метрики» — бесплатный урок NLP Academy на CoddyKit. Это урок 3 из 4. Ты можешь прочитать весь урок бесплатно ниже — а потом практиковать его прямо в браузере с встроенным редактором кода и ИИ-репетитором 24/7. Это часть пути обучения NLP Academy, и твой прогресс синхронизируется между веб-версией и приложением CoddyKit. Курс NLP Academy содержит 4 уроков всего.
Части этого урока еще не переведены и отображаются на английском.
The Hidden Threshold
Classifiers output a probability, then a threshold turns it into a label. The default 0.5 is rarely best for rare classes.
Move the Line
Lowering the threshold flags more items as the rare class, catching more true cases at the cost of extra false alarms.
Get Probabilities First
To tune a cutoff you need scores, not just labels. Ask the model for the predicted probability of the positive class.
proba = clf.predict_proba(X_test)[:, 1]Precision or Recall?
Decide what hurts more. Missing rare cases means optimize recall; too many false alarms means favor precision.
F1 Balances Both
When you cannot pick a side, the F1 score blends precision and recall into one number worth maximizing.
The PR Curve
For skewed data the precision-recall curve tells the real story far better than an ROC curve does.
Sweep the Cutoffs
Try many cutoffs and watch how the trade-off shifts. The PR curve shows every precision-recall pair at once.
from sklearn.metrics import precision_recall_curve
p, r, t = precision_recall_curve(y, proba)Apply Your Chosen Cutoff
Once you pick a value, compare each probability to it. Above the line becomes the positive class, below becomes negative.
preds = (proba >= 0.3).astype(int)Beware ROC AUC
ROC AUC can look great on heavy imbalance even when precision is poor, so do not trust it alone here.
Tune on Validation Data
Choose your threshold on a held-out validation set, never on the test set, or your reported numbers will lie.
Metric Mirrors the Goal
The right metric reflects real-world cost. Let the business goal pick precision, recall, or F1, then tune to it. 🎯
Quick Check
Test your grip on thresholds.
Recap
Tune the threshold on validation data, prefer precision, recall, or F1 over accuracy, and trust the PR curve on skew. ✅
Часто задаваемые вопросы
Урок «Выбор порога и метрики» бесплатный?
Да — полный текст урока «Выбор порога и метрики» бесплатно доступен здесь в веб-версии. Чтобы практиковать его интерактивно (встроенный редактор кода и ИИ-репетитор 24/7) и разблокировать остальной курс NLP Academy, подпишись на CoddyKit PRO. Курс NLP Academy содержит 4 уроков всего.
Чему я научусь в уроке «Выбор порога и метрики»?
Оптимизируйте модель для важного для Вас класса Ты практикуешь NLP Academy с помощью реального кода, который запускаешь прямо в браузере, и ИИ-репетитор 24/7 отвечает на твои вопросы во время урока.
Нужен ли мне опыт, чтобы начать NLP Academy?
Предыдущий опыт не требуется. NLP Academy на CoddyKit структурирован для всех уровней — от новичков до продвинутых, поэтому ты можешь начать отсюда или с самого начала и учиться в своем темпе. Это урок 3 из 4.
Сколько времени занимает урок «Выбор порога и метрики»?
Большинство уроков CoddyKit занимают около 5–10 минут. Каждый из них компактный и интерактивный, поэтому ты постоянно делаешь прогресс и продолжаешь с того же места в веб-версии и приложении.
Можно ли писать и запускать код в этом уроке NLP Academy?
Да. Каждый урок NLP Academy включает встроенный редактор кода, поэтому ты пишешь и запускаешь реальный код прямо в браузере и получаешь моментальную обратную связь от AI — локальная установка не требуется.
Все уроки этого курса
- Почему редкие классы игнорируются
- Передискретизация и веса классов
- Выбор порога и метрики
- Сквозной конвейер для несбалансированных данных