LLM 调用成本优化

大型语言模型（LLM）功能强大，但使用它们需要付出成本。这项成本通常与处理的数据量直接相关。

了解 LLM 的定价方式，并采用明智的提示词工程技术，可以显著降低您的运营支出。

大多数 LLM 服务提供商按照词元收费。词元不只是单词；它可以是单词的一部分、单个字符，甚至一个空格。

• 输入词元：您发送给 LLM 的提示词中的词元。
• 输出词元：LLM 作为响应生成的词元。

输入词元和输出词元都会计入应用程序接口调用的总成本。

您可以这样理解：提示词中的每个字符以及 LLM 回复中的每个字符都会被转换为词元。然后将词元总数乘以特定费率。

不同的 LLM 模型和不同的服务提供商，其词元成本各不相同。更新、更强大的模型通常具有更高的单词元费率。

节省成本最简单的方法之一，是让您的提示词尽可能简洁。每个不必要的单词都会增加输入词元数量。

• 删除填充内容：“请为我总结以下文本。”可以改为“总结下面的文本。”
• 直接下达指令：清楚地说明目标，不要使用过多礼貌用语或开场白。

如果您正在处理大型文档，可以考虑在将其发送给 LLM 之前先进行总结或提取关键信息。您不必总是发送全部原始数据。

例如，与其发送一篇 5000 字的文章来询问一个问题，不如先使用更便宜的小型模型或简单脚本提取相关段落，然后只用这些段落向更大型的 LLM 提问。

含糊或开放式的提示词可能会导致更长、更宽泛的响应，从而增加输出词元数量。请具体说明您的需求。

不要说：“告诉我有关气候变化的信息。”

可以尝试：“用项目符号列出气候变化的三个常见原因。”

这样可以引导 LLM 给出更短、更聚焦的答案。

LLM 服务提供商会提供一系列能力和价格各不相同的模型。为每项任务都使用功能最强大的模型，通常会造成性能过剩并增加成本。

• 对于数据提取或改写等简单任务，请使用更小、更快且更便宜的模型。
• 对于复杂推理、创意生成或需要深入理解的任务，请选择更大、更昂贵的模型。

许多 LLM 应用程序接口允许您设置 max_tokens 参数。该参数会直接限制 LLM 响应的最大长度。

即使您的提示词非常完善，LLM 仍可能冗长发散。设置 max_tokens 可以避免您为过长或无关的输出支付额外费用。

让我们比较两个用于实现相同目标的提示词：

代价高昂的提示词：“您好，AI 助手！希望您今天过得愉快。请问您能否告诉我法国的首都是哪里？如果可以详细介绍它的历史和文化意义，最好写上几段，我将非常感谢。”

精简提示词：“法国的首都是哪里？请仅回答城市名称。”

精简提示词显著减少了输入词元数量和潜在的输出词元数量，从而节省了成本。

您正在设计一个提示词，用于从一篇较长的新闻文章中提取主题。以下哪种策略最能有效降低 LLM 应用程序接口的成本？

我们已经学习了几种优化 LLM 应用程序接口成本的关键策略：

• 保持简洁：从提示词中删除不必要的词语。
• 预处理数据：在编写提示词之前，先总结或筛选较大的输入内容。
• 明确具体：引导 LLM 给出简短且有针对性的回答。
• 明智选择：根据任务的复杂程度选择合适的模型。
• 控制输出：使用 max_tokens 等参数限制响应长度。

应用这些技巧，可以让您与 LLM 的交互更加经济高效！