提示的 A/B 测试

正如网站会测试不同的设计一样，我们也可以为大型语言模型（LLM）进行提示词 A/B 测试！

A/B 测试可以帮助我们比较两个或更多版本的提示词，了解哪一个版本在特定任务上的表现更好。

这是围绕提示词设计进行数据驱动决策的有效方法。

提示词的细微变化可能导致 LLM 的响应产生很大差异。A/B 测试可以帮助我们：

• 优化性能：找到能够生成最准确或最符合预期输出的提示词。
• 改善用户体验：确保您的应用为用户提供尽可能好的结果。
• 节省成本：有时，更简洁的提示词也能达到同样的效果，从而节省令牌用量。

A/B 测试的核心是比较两个版本：

• 版本 A（对照）：这是您当前使用的提示词或原始提示词。
• 版本 B（实验）：这是修改后的版本，其中只更改一个特定要素。

关键在于隔离单一变化，以便清楚地了解其影响。

开始之前，您需要明确“更好”意味着什么。这需要定义清晰的指标。

例如，对于摘要任务，指标可以包括：

• 简洁性：摘要是否更短？
• 相关性：是否涵盖了所有关键要点？
• 可读性：是否易于理解？

这些指标可以帮助您客观地评估提示词的输出。

为提示词设置 A/B 测试可以遵循简单的流程：

1. 定义目标：您想要实现什么？（例如，更好的情感分析。）
2. 确定变量：您将更改提示词的哪个单一方面？（例如，添加“请以专业分析师的身份行事”。）
3. 创建不同版本：创建提示词 A（对照版本）和提示词 B（实验版本）。
4. 收集数据：使用相同的一组输入运行两个提示词。
5. 分析结果：根据您定义的指标比较输出。

假设我们想要总结一篇新闻文章。下面是我们的对照提示词（提示词 A）：

这个提示词很直接，要求生成简洁的摘要。我们将以此作为基准。

现在，让我们通过更改一个变量来创建提示词 B：添加角色设定。我们希望得到更正式、更具分析性的摘要。

通过添加角色设定和具体指令，我们预计会得到不同类型的摘要。

要收集数据，您需要在一组多样化的相同文章上分别运行提示词 A 和提示词 B。

对于每篇文章，您会得到两份摘要：一份来自提示词 A，另一份来自提示词 B。

然后，您可以根据已定义的指标（例如简洁性、相关性和语气）比较这些摘要对，以了解哪个提示词表现更好。

收集数据后，您需要分析输出。这可能包括：

• 人工审核：由人工评估者为摘要评分。
• 自动化指标：使用工具检查长度、关键词是否出现，甚至使用另一个 LLM 对相关性进行评分。

请寻找一致的模式。与提示词 A 相比，提示词 B 是否在所有测试用例中都持续生成了更具分析性的摘要？

我们了解到，A/B 测试是一种结构化比较不同提示词版本的方法，可以帮助我们优化 LLM 的性能。

• 隔离变量：提示词 A 和提示词 B 之间只更改一项内容。
• 定义指标：明确如何衡量成功。
• 收集并分析：在相同的输入上运行两个提示词并比较结果。

这种系统化的方法可以确保您的提示词工程工作以数据为依据并且切实有效！