NLP Academy · Урок

Запуск конвейера QA

Извлекайте ответы из фрагмента текста

Урок 2 из 413 шагов

«Запуск конвейера QA» — бесплатный урок NLP Academy на CoddyKit. Это урок 2 из 4. Ты можешь прочитать весь урок бесплатно ниже — а потом практиковать его прямо в браузере с встроенным редактором кода и ИИ-репетитором 24/7. Это часть пути обучения NLP Academy, и твой прогресс синхронизируется между веб-версией и приложением CoddyKit. Курс NLP Academy содержит 4 уроков всего.

Что даёт конвейер

Конвейер Hugging Face объединяет модель и токенизатор в один удобный вызов. Вы передаёте ему вопрос и контекст, а он возвращает ответ. 🚀

Импортируйте вспомогательную функцию

Всё начинается с одного импорта. Функция конвейера из библиотеки transformers создаёт для Вас весь стек QA.

from transformers import pipeline

Создайте конвейер QA

Передайте конвейеру имя задачи question-answering. Если модель не указана, он загрузит для Вас подходящую модель по умолчанию.

qa = pipeline("question-answering")

Передайте контекст

Конвейеру нужен контекст — фрагмент текста, содержащий ответ. Представьте, что это текст, который модели разрешено читать.

context = "The Eiffel Tower is located in Paris and was completed in 1889."

Задайте вопрос

Теперь вызовите конвейер, передав ему вопрос и контекст. Он просканирует фрагмент и вернёт наиболее подходящий отрезок.

result = qa(question="Where is the Eiffel Tower?", context=context)

Прочитайте результат

Результат представляет собой словарь. Текст ответа находится по ключу answer и готов к выводу или сохранению.

print(result["answer"])  # Paris

Оценка уверенности

Каждый результат также содержит оценку от 0 до 1. Чем она выше, тем увереннее модель в выбранном отрезке.

print(result["score"])  # e.g. 0.98

Начальная и конечная позиции

Результат содержит индексы символов начала и конца. Они точно показывают, где в контексте был найден ответ.

print(result["start"], result["end"])

Выбор модели

Вы можете указать конкретную модель по имени. Популярная небольшая модель QA — distilbert, дообученная на наборе данных SQuAD.

qa = pipeline("question-answering",
  model="distilbert-base-cased-distilled-squad")

Повторно используйте тот же контекст

Один контекст может отвечать на множество вопросов. Создайте конвейер один раз, а затем многократно вызывайте его с новыми вопросами по тому же фрагменту.

Он читает только контекст

Помните: этот экстрактивный конвейер отвечает только по переданному Вами контексту. Если спросить о том, чего нет в тексте, Вы получите неудачный отрезок.

Быстрая проверка

Вспомните, как конвейер QA возвращает результат.

Итоги

Один вызов конвейера принимает вопрос и контекст, а возвращает словарь с полями answer, score, start и end. Вы выполнили экстрактивный QA в трёх строках. ✅

Можно начать бесплатно

Изучай Python с ИИ-репетитором — бесплатно

Пиши и запускай код прямо в браузере, получай мгновенную помощь от ИИ-репетитора 24/7 и продолжи учиться на сайте или в приложении.

Курсы
30
Уроки
120

Часто задаваемые вопросы

Урок «Запуск конвейера QA» бесплатный?

Да — полный текст урока «Запуск конвейера QA» бесплатно доступен здесь в веб-версии. Чтобы практиковать его интерактивно (встроенный редактор кода и ИИ-репетитор 24/7) и разблокировать остальной курс NLP Academy, подпишись на CoddyKit PRO. Курс NLP Academy содержит 4 уроков всего.

Чему я научусь в уроке «Запуск конвейера QA»?

Извлекайте ответы из фрагмента текста Ты практикуешь NLP Academy с помощью реального кода, который запускаешь прямо в браузере, и ИИ-репетитор 24/7 отвечает на твои вопросы во время урока.

Нужен ли мне опыт, чтобы начать NLP Academy?

Предыдущий опыт не требуется. NLP Academy на CoddyKit структурирован для всех уровней — от новичков до продвинутых, поэтому ты можешь начать отсюда или с самого начала и учиться в своем темпе. Это урок 2 из 4.

Сколько времени занимает урок «Запуск конвейера QA»?

Большинство уроков CoddyKit занимают около 5–10 минут. Каждый из них компактный и интерактивный, поэтому ты постоянно делаешь прогресс и продолжаешь с того же места в веб-версии и приложении.

Можно ли писать и запускать код в этом уроке NLP Academy?

Да. Каждый урок NLP Academy включает встроенный редактор кода, поэтому ты пишешь и запускаешь реальный код прямо в браузере и получаешь моментальную обратную связь от AI — локальная установка не требуется.

Все уроки этого курса

  1. Извлечение ответа и генерация QA
  2. Запуск конвейера QA
  3. Поиск фрагментов ответа в контексте
  4. Обработка отсутствующих ответов и длинных документов
← Назад к NLP Academy