Оценка и сохранение модели
Проверьте метрики и отправьте модель в Hub
«Оценка и сохранение модели» — бесплатный урок NLP Academy на CoddyKit. Это урок 4 из 4. Ты можешь прочитать весь урок бесплатно ниже — а потом практиковать его прямо в браузере с встроенным редактором кода и ИИ-репетитором 24/7. Это часть пути обучения NLP Academy, и твой прогресс синхронизируется между веб-версией и приложением CoddyKit. Курс NLP Academy содержит 4 уроков всего.
Одного обучения недостаточно
Обученная модель полезна только в том случае, если она обобщает знания. Поэтому следующая задача — оценить её на данных, которых она не видела во время обучения.
Проведите оценивание
Trainer может одним вызовом оценить проверочный набор и вернуть настроенные Вами метрики, например точность и потери.
print(trainer.evaluate())Выберите подходящую метрику
На несбалансированных данных точность может вводить в заблуждение. Для неравномерных классов используйте F1, чтобы учитывать и точность, и полноту.
Корректно вычисляйте метрики
Библиотека evaluate предоставляет распространённые показатели, поэтому Вы можете вычислять F1 или точность без ручного написания формул.
import evaluate
f1 = evaluate.load("f1")Отложите тестовый набор
Сохраните отдельный тестовый набор, к которому обращайтесь только один раз. Он даст честную итоговую оценку без смещения из-за настройки.
Сохраните модель
Сохраните дообученные веса на диске, чтобы в любой момент загрузить их без повторного обучения. Так Вы сохраните модель и токенизатор.
trainer.save_model("my-model")
tok.save_pretrained("my-model")Загрузите где угодно
Загрузка — обратная операция сохранению: укажите папку в from_pretrained, и вся модель снова будет готова к предсказаниям.
m = AutoModelForSequenceClassification.from_pretrained("my-model")Оберните модель в конвейер
Поместите сохранённую модель в конвейер, чтобы сразу выполнять простой вывод для нового текста без ручной токенизации.
clf = pipeline("text-classification", model="my-model")Поделитесь через Hub
Одна команда push загружает модель на Hub Hugging Face, и участники команды смогут загрузить её по имени из любого места.
trainer.push_to_hub()Управляйте версиями
Hub отслеживает изменения подобно git, поэтому каждая контрольная точка воспроизводима, а Вы всегда можете вернуться к предыдущей версии.
Задокументируйте модель
Карточка модели содержит сведения о данных, метриках и ограничениях. Она помогает другим доверять Вашей разработке и повторно использовать её. 📋
Быстрая проверка
Зачем хранить отдельный тестовый набор и оценивать его только один раз?
Итоги
Оцените модель на невиденных данных с подходящей метрикой, сохраните модель и токенизатор, а затем загрузите их снова или отправьте на Hub, чтобы поделиться. ✅
Изучай Python с ИИ-репетитором — бесплатно
Пиши и запускай код прямо в браузере, получай мгновенную помощь от ИИ-репетитора 24/7 и продолжи учиться на сайте или в приложении.
- Курсы
- 30
- Уроки
- 120
Часто задаваемые вопросы
Урок «Оценка и сохранение модели» бесплатный?
Да — полный текст урока «Оценка и сохранение модели» бесплатно доступен здесь в веб-версии. Чтобы практиковать его интерактивно (встроенный редактор кода и ИИ-репетитор 24/7) и разблокировать остальной курс NLP Academy, подпишись на CoddyKit PRO. Курс NLP Academy содержит 4 уроков всего.
Чему я научусь в уроке «Оценка и сохранение модели»?
Проверьте метрики и отправьте модель в Hub Ты практикуешь NLP Academy с помощью реального кода, который запускаешь прямо в браузере, и ИИ-репетитор 24/7 отвечает на твои вопросы во время урока.
Нужен ли мне опыт, чтобы начать NLP Academy?
Предыдущий опыт не требуется. NLP Academy на CoddyKit структурирован для всех уровней — от новичков до продвинутых, поэтому ты можешь начать отсюда или с самого начала и учиться в своем темпе. Это урок 4 из 4.
Сколько времени занимает урок «Оценка и сохранение модели»?
Большинство уроков CoddyKit занимают около 5–10 минут. Каждый из них компактный и интерактивный, поэтому ты постоянно делаешь прогресс и продолжаешь с того же места в веб-версии и приложении.
Можно ли писать и запускать код в этом уроке NLP Academy?
Да. Каждый урок NLP Academy включает встроенный редактор кода, поэтому ты пишешь и запускаешь реальный код прямо в браузере и получаешь моментальную обратную связь от AI — локальная установка не требуется.
Все уроки этого курса
- Обзор библиотеки Transformers
- Токенизация для моделей Transformer
- Дообучение с помощью API Trainer
- Оценка и сохранение модели