OpenAI 的预算 GPT-4o 迷你模型现在也可以更便宜地进行微调

与生成式 AI 聊天机器人互动的一种流行策略是从精心设计的提示开始。事实上，对于在这个人工智能时代追求职业发展的人来说，提示设计是一项新兴技能。

然而，还有另一种选择。对于有预算用于开发大型语言模型 (LLM) 和大量自定义数据的开发人员来说，“微调” AI 模型在某些情况下可能是一种更好的方法。

但微调的成本可能很高，好消息是，OpenAI 周二宣布，它将为上周推出的GPT-4o 迷你 AI 模型提供大幅便宜的微调。

微调过程涉及在模型的初始训练之后对 AI 模型进行新一轮训练。通过上传一些数据并再次运行训练，模型的神经“权重”——或“参数”——会与模型的原始版本有所不同。

结果是，当提示进行预测时，模型可能会比普通模型更强调新训练数据集中的数据。

像 GPT-4o mini 这样的神经网络反映了概率分布，其输出（即预测）只是最有可能遵循用户提示的文本。通过微调，可以将概率分布向某个方向移动。因此，模型的答案也会发生变化，以反映修改后的概率分布。

因此，微调是推动提示朝着人们希望的方向发展的一种方法。

根据 OpenAI 的定价指南，GPT-4o mini 的微调成本为每训练一百万个代币 3 美元起。这还不到 GPT-3.5 “Turbo” 8 美元成本的一半。

截至 9 月 23 日，OpenAI 将每天向符合条件的机构提供 200 万个免费代币。

不过请注意，经过微调的 GPT-4o mini 的价格是通用 GPT-4o mini 的两倍，每输入一百万个模型代币收费 30 美分，每输出一百万个代币收费 1.20 美元——也就是说，你用来提示然后接收预测的代币。

除了成本优势之外，OpenAI 还强调，可输入模型进行微调的训练数据量是 GPT-3.5 的四倍，达到 65,000 个 token。

请注意，微调仅适用于 GPT-4o mini 的文本功能，而不适用于其图像任务。

在微调之前，值得考虑其他选择。根据 OpenAI 的微调文档，继续完善提示仍然是一个很好的策略，尤其是因为即使在模型经过微调后，完善的提示仍然会有所帮助。

从 LLM 获取更加定制化的结果的另一种方法是使用“检索增强生成 (RAG)”，这是一种越来越流行的工程方法，涉及让模型调用外部事实源，例如数据库。

虽然 RAG 在某种程度上要求模型向数据库发送回电，从而使每次查询变得更加繁琐，但它也有其优势。在微调模型时，模型可能会忘记在原始训练阶段获得的知识。换句话说，篡改模型参数可能会对模型所具有的更广泛、更通用的功能产生不利影响。

除了提示工程和 RAG 之外，还有第三个选择——但与 RAG 密切相关——那就是函数调用。在这些情况下，可以将非常具体的问题注入提示中，并要求非常具体的答案形式，然后将其捆绑在一起并作为函数调用发送到外部应用程序。OpenAI 和其他人将此称为函数调用、工具使用和“代理 AI”。

所有这些方法都会找到自己的用武之地，但至少在 OpenAI 的新价格下，微调实验的成本会稍微低一些。 

请注意，Google 还通过其 Vertex AI 程序为其模型提供微调，许多其他模型提供商也这样做。 

重新训练模型可能会变得更加普遍，并且有一天，如果有足够的计算能力，甚至可能进入移动设备。