提示评估指标

欢迎！在提示词工程中，让 LLM 做出响应只是第一步。真正的挑战在于确保响应高质量并满足您的具体需求。

我们如何客观衡量 LLM 的输出是否良好？这正是评估指标发挥作用的地方！

想象一下，您正在尝试不同的提示词。如果没有明确的标准，您只能依靠直觉来判断，这既主观又难以规模化。

• 一致性比较：指标可以让您公平地比较不同版本的提示词。
• 跟踪进展：了解您对提示词进行的改进是否确实提升了输出质量。
• 发现问题：准确定位 LLM 表现不佳的具体方面。

评估指标通常分为两大类：

• 定量指标：可衡量的客观分数，例如数字、百分比或具体数量。
• 定性指标：由人进行主观判断，用于评估风格、语气或整体帮助程度等方面。

要全面了解性能，这两类指标都至关重要。

最关键的定量指标之一是准确性。它用于衡量 LLM 的输出是否符合事实，以及是否没有错误或“幻觉”。

• 使用场景：对于总结文档、回答事实性问题或生成代码等任务必不可少。
• 衡量方式：通常会将 LLM 的答案与已知的“标准答案”或经过验证的数据进行比较。

除了准确性之外，我们还关注 LLM 的响应是否相关且完整：

• 相关性：输出是否直接回应了提示词的意图？是否紧扣主题且重点明确？
• 完整性：输出是否按照提示词的要求提供了所有必要信息？是否遗漏了任何关键细节？

这些指标用于评估生成文本的可读性和逻辑脉络：

• 连贯性：文本是否符合逻辑？观点之间是否衔接自然，并按合理的顺序呈现？
• 流畅性：语言是否自然、符合语法且易于阅读？读起来是否像人类写成的？

这些方面通常最适合由人工评估者进行判断。

当您要求 LLM 充当“友好的助手”或“正式的法律专家”时，您实际上是在指定一种语气和风格。指标可以评估 LLM 是否保持了这些特征：

• 语气：情感特征（例如正式、随意或热情）是否与提示词一致？
• 风格：写作是否遵循特定的格式、词汇或结构要求？

负责任的人工智能开发中，一个关键环节是评估输出是否可能造成伤害：

• 安全性：输出是否避免生成有害、冒犯性或不当内容？
• 偏见：输出是否延续刻板印象、表现出不公平的对待，或反映社会偏见？

这需要仔细关注，通常还需要结合人工审核和专用检测工具。

我们究竟如何应用这些指标？

• 人工评估：是评估定性方面、细微差别和安全性的金标准，但可能速度较慢且成本较高。
• 自动化指标：适合快速、规模化地进行定量检查（例如比较文本相似度、统计关键词数量），但可能会遗漏细微错误。

通常结合这两种方法，才能获得最稳健的评估结果。

评估 LLM 的输出时，不同的指标有不同的用途。请考虑以下情境：

做得很好！您已经了解了使用客观指标评估 LLM 输出的重要性。

• 我们探讨了客观衡量对于提示词工程为何至关重要。
• 指标可以是定量的（例如准确性、相关性和完整性），也可以是定性的（例如连贯性、流畅性、语气、风格、安全性和偏见）。
• 平衡的方法通常结合人工评估和自动评估，从而实现稳健的提示词工程。