Промпты для суммаризации и извлечения данных

Большие языковые модели (LLM) — мощные инструменты для обработки огромных объёмов текста. Две фундаментальные и чрезвычайно полезные задачи, которые можно с ними выполнять, — это суммаризация и извлечение.

Суммаризация помогает быстро понять основные идеи длинных документов. Извлечение позволяет находить и выделять конкретные структурированные данные. Освоение этих методов экономит время и делает информацию пригодной для практического применения!

Суммаризация — это процесс сокращения длинного текста до более короткой версии с сохранением его основной мысли и ключевой информации. Представьте, что вы создаёте краткий обзор или аннотацию.

Чтобы запросить у LLM краткое изложение, обычно предоставляют текст и чёткую инструкцию. Например:

"Summarize the following article: [ARTICLE TEXT]"

Вы можете направить LLM на создание кратких изложений, точно соответствующих вашим требованиям. В промпте конкретно укажите:

• Объём: «в 3 предложениях», «не более 100 слов», «краткое изложение».
• Формат: «в виде маркированного списка», «одним абзацем», «в виде заголовка».
• Стиль и тон: «для нетехнической аудитории», «в официальном тоне», «в стиле новостного сообщения».

Конкретные указания помогают LLM предоставить именно тот вывод, который вам нужен.

Давайте суммируем короткий абзац о разработке промптов. Вот как можно составить промпт:

Входной текст: «Разработка промптов — это направление в области искусственного интеллекта, особенно обработки естественного языка, которое сосредоточено на создании и оптимизации промптов для эффективного использования языковых моделей в широком спектре прикладных и исследовательских задач. Это относительно новая дисциплина, описывающая методы взаимодействия с LLM для управления их поведением и получения желаемых результатов без изменения весов модели.»

Промпт:

"Summarize the following text in one concise sentence: Prompt engineering is a concept in artificial intelligence, especially natural language processing, that focuses on developing and optimizing prompts to efficiently use language models for a wide range of applications and research topics. It's a relatively new discipline, outlining the methods for communicating with LLMs to steer their behavior for desired outcomes without modifying the model's weights."

Извлечение заключается в выявлении и выделении конкретных фрагментов информации из большого текста. В отличие от суммаризации, вы не сокращаете текст, а выбираете отдельные сведения, факты или сущности.

К распространённым задачам извлечения относятся поиск имён, дат, мест, характеристик продуктов или тональности. Этот метод крайне важен, когда необходимо преобразовать неструктурированный текст в структурированные данные.

При извлечении информации часто полезно указать желаемый формат вывода. Это упрощает обработку, анализ или интеграцию извлечённых данных с другими системами.

• Списки: «Перечислите все упомянутые названия компаний».
• JSON: «Извлеките имя, возраст и город в виде объекта JSON».
• Таблицы: «Представьте результаты в таблице со столбцами „Элемент“ и „Цена“».

Чёткие инструкции по форматированию крайне важны для получения структурированных данных.

Давайте извлечём контактные данные из фрагмента электронного письма. Вот как можно составить запрос к LLM:

Входной текст: «Уважаемый Джон Смит! Благодарим за ваше обращение. С нашей торговой представительницей, Сарой Джонс, можно связаться по адресу sarah.jones@example.com или по телефону (555) 123-4567. Наш офис находится по адресу: ул. Мейн, 123, Энитаун, USA.»

Промпт:

"Extract the following information from the text: recipient name, sales representative name, sales representative email, sales representative phone, and office address. Present the output as a JSON object. Text: Dear John Smith, Thank you for your inquiry. Our sales representative, Sarah Jones, can be reached at sarah.jones@example.com or by phone at (555) 123-4567. Our office is located at 123 Main St, Anytown, USA."

Для более сложных задач часто можно объединить эти два мощных метода:

• Сначала суммируйте, затем извлеките: сначала получите краткое изложение длинного документа, а затем извлеките из него конкретные сущности или факты.
• Сначала извлеките, затем суммируйте: извлеките все релевантные факты, а затем попросите LLM объединить их в связное высказывание.

Такой модульный подход помогает справляться со сложностью и повышать точность результатов.

Чтобы получать от LLM наиболее эффективные краткие изложения и извлечённые данные:

• Будьте конкретны: чётко формулируйте свои требования (например, объём краткого изложения, формат вывода или конкретные сущности для извлечения).
• Используйте разделители: заключайте обрабатываемый текст в ясные разделители, например тройные кавычки (""") или теги XML, чтобы отделить его от инструкций.
• Предоставляйте контекст: кратко объясняйте цель суммаризации или извлечения, если это помогает LLM понять задачу.
• Повторяйте итерации: если первоначальный вывод не идеален, доработайте промпт. Небольшие изменения могут дать существенный результат!

Рассмотрите следующие ситуации. Для выполнения какой из этих задач в первую очередь потребуется извлечение, а не суммаризация, из заданного текста?

В этом уроке мы изучили два мощных метода разработки промптов для обработки текста с помощью LLM:

• Суммаризация: мы научились сокращать текст, управляя объёмом, форматом и стилем, чтобы быстро понимать его суть.
• Извлечение: мы сосредоточились на выделении конкретной структурированной информации, например имён, дат или фактов, и подчеркнули важность указания форматов вывода, таких как JSON или списки.

Освоение этих методов значительно расширит ваши возможности эффективно обрабатывать и использовать информацию из неструктурированных текстовых данных с помощью LLM.