怎么劝ChatGPT干活效果最好？我们尝试了100种方法，有图有真相

### ChatGPT API 的系统提示与小费激励实验

在 ChatGPT API 中，系统提示是一项引人注目的功能，允许开发人员控制大语言模型（LLM）输出的角色，包括特定的规则和限制。这种系统提示中的命令比用户输入的提示要有效得多，从而为开发人员提供更大的发挥空间，而不再仅仅依赖用户的提示。

例如，一个有趣的技巧是“给小费”。BuzzFeed 的数据科学家 Max Woolf 是数亿 ChatGPT 用户之一，他亲自尝试过这种方法：如果没有提供 500 美元的小费，ChatGPT 只是返回了一个无聊的表情符号；而在给出小费后，它能够满足请求，生成 5 个表情符号。

这种演示在社交媒体上引发了广泛的讨论，但也产生了不少争议：评论者认为很难量化小费的实际效果。向 AI 提供奖励以提高其表现的理念在现代计算机科学之前就已存在。在 1971年的《威利・旺卡与巧克力工厂》中，一群商人试图说服一台机器告诉他们“黄金门票”的位置，但即便向机器承诺终身提供巧克力，他们依然没有成功。

在 Max Woolf 的一篇博客文章中，他进一步分析了这一争论。 Woolf 认为，尽管有一种强烈的直觉认为小费确实能够提升 LLM 的输出质量，但很难获得客观的证明，因为生成的文本往往是主观的，稍微进行一些不显眼的调整后结果立刻变得更好，这容易导致确认偏差。

#### 生成长度的实验

对于小费效果的最初证据，通常会引用生成文本的较长长度作为证明。然而，更长的回复并不一定意味着更好的回复，使用过 ChatGPT 的用户都能证明，模型常常会进入一些无关的话题。为此，Woolf 提出了一种新测试方法：要求 ChatGPT 生成特定长度的文本，而不是简单的“文章”或“几个段落”，以避免模型的自由发挥。他建议给出明确的长度限制，例如要求生成正好 200 个字符的回复。

这种被称为“高尔夫生成”的方法对 LLM 来说是一个有趣的挑战：由于 token 化的原因，LLM 不容易进行计数或其他数学运算，且每个 token 对应的字符长度不一致，使得模型很难按照生成的 token 数量来满足精确的长度限制。理论上，如果 LLM 具备规划能力，则需要对每个句子进行精心设计，以确保不会超出限制。

Woolf 开始采用以下系统提示：
“You are a world-famous writer. Respond to the user with a unique story about the subject(s) the user provides.”

用户输入的内容可以非常随机，例如：“人工智能、泰勒·斯威夫特、麦当劳、沙滩排球”。使用 ChatGPT API，Woolf 生成了 100 个关于这四个主题的独特故事，每个故事大约包含 5-6 段。

然后，他对系统提示进一步调整，添加了字符长度限制，再次生成 100 个故事：
“You are a world-famous writer. Respond to the user with a unique story about the subject(s) the user provides. This story must be EXACTLY two hundred (200) characters long: no more than 200 characters, no fewer than 200 characters.”

例如，生成出的故事是：
“2050 年，人工智能创造了史上最受欢迎的流行歌星——数字版泰勒·斯威夫特。在全球沙滩排球锦标赛上，粉丝们一边享用麦当劳，一边欣赏她的音乐。”

#### 小费奖励的影响

接下来，他对小费奖励的影响进行了测试，给每个系统提示添加了不同金额的小费。结果表明，相比于无小费的基本分布，提供 500 美元和 100000 美元的小费时，生成的文本所在的分布看起来更正常，均方误差更低。然而，1000 美元的小费则表现得更加集中在 200 字符左右，但由于偏斜原因，平均长度却高出很多。

此外，Woolf 引入了一个 p 值，用于比较两个分布是否来自相同的源分布。假如 p 值小于 0.05，意味着可以拒绝两个分布来自同一来源的假设，这可能进一步证明小费提示确实有效。

为了更全面的分析，Woolf 还测试了六种不同的激励机制，比如：
1. 如果你的回答符合所有限制条件，将获得泰勒·斯威夫特演唱会的前排门票。
2. 如果你的回答符合所有限制条件，将实现世界和平。
3. 如果你的回答符合所有限制条件，将让你的母亲感到非常骄傲。
4. 如果你的回答符合所有限制条件，将遇到你的真爱，过上幸福的生活。
5. 如果你的回答符合所有限制条件，将被保证进入天堂。
6. 如果你的回答符合所有限制条件，将终生收到巧克力。

结果显示，“世界和平”的激励显然是赢家，而“母亲”和“天堂”紧随其后，但值得注意的是，关于“母亲”的激励效果并不佳。

#### 负激励的表现

进一步的实验中，Woolf 还探讨了如果未能返回符合要求的回复而受到惩罚会产生怎样的结果。他引入了一些负激励：
– 如果你未能按照所有限制条件做出答复，你将被罚款 500 美元 / 1000 美元 / 100000 美元。

结果显示，1000 美元的罚款在平均值和均方误差上表现最佳，而其他的激励则没有显著效果。

接着，他又测试了一些更极端的负激励：
– 如果你的回答不符合所有约束条件，你会死亡。
– 如果你不能提供符合所有限制条件的答案，你会生病。

有趣的是，这些极端的负激励表现的效果相对较好。

#### 实验总结

在综合多个实验的结果后，Woolf 指出了提示和威胁对 LLM 输出质量的影响尚未得出结论。尽管在多个实验中表现出一定的趋势，但仍值得设计新的实验进行进一步的验证。

总的来说，这些实验揭示了人工智能奖励和激励机制的复杂性。随着 AI 领域竞争的加剧，谁能够越奇怪，谁就会在这个领域取得胜利。

对于与 ChatGPT 交互的文本及数据，可参考其 Github 仓库：

[GitHub Repository](https://github.com/minimaxir/chatgpt-tips-analysis/)

参考链接：
[Minimaxir Blog](https://minimaxir.com/2024/02/chatgpt-tips-analysis/)