Обработка отсутствующих ответов и длинных документов

В реальных вопросах часто нет ответа во фрагменте. Надёжная система QA должна признать это, а не выдумывать неправильный ответ. 🤔

Модели, обученные для этого, получают вариант пустого ответа. Если подходящего фрагмента нет, они указывают на пустой ответ, а не выдумывают его.

В конвейере установите handle_impossible_answer в значение true, чтобы он мог вернуть пустую строку, если в контексте ничего не подходит.

Оценка уверенности — это защитный порог. Если она опускается ниже значения, которому Вы доверяете, считайте, что ответа нет.

У преобразователей есть фиксированная максимальная длина, часто 512 токенов. Длинный документ просто не поместится за один проход.

Решение — разбиение на части: разделите длинный документ на перекрывающиеся окна, а затем отдельно запустите QA для каждого окна.

Части должны немного перекрываться. Иначе ответ, расположенный на границе частей, может разделиться и потеряться между двумя окнами.

Конвейер QA может сделать это за Вас. Установите doc_stride, чтобы управлять степенью перекрытия каждого окна с предыдущим.

Каждая часть даёт собственные ответ и оценку. В качестве итогового ответа выберите вариант с наивысшей оценкой среди всех частей.

Для огромных коллекций сначала найдите несколько наиболее релевантных фрагментов, а затем запустите QA только на них. В этом заключается основа крупных систем QA.

Вернуть ответ, когда Вы не уверены, — это преимущество, а не недостаток. Честный QA завоёвывает доверие пользователей гораздо лучше, чем уверенная, но ошибочная догадка. 🛡️

Разрешайте пустые ответы и используйте оценку как порог для честных ответов; длинные документы разбивайте на перекрывающиеся части, а затем выбирайте фрагмент с лучшей оценкой. Теперь Вы можете создавать надёжные системы QA. 🎉