ChatGPT开始联网，最后的封印解除了
将 ChatGPT 连接到外部世界的潮流已难以阻挡
ChatGPT 作为一个“智商超高”的人工智能，其基于 GPT-4 内核的升级版本带来了更强大的能力。然而，我们清楚地知道，它的训练数据截止到 2021 年，未曾训练过的新信息，AI 是无法准确回答的。
自去年 11 月上线以来，ChatGPT 已吸引无数用户，大家纷纷要求以多种形式让这个大型语言模型接入更多的数据。终于在 3 月 24 日，OpenAI 宣布部分解除 ChatGPT 的网络限制。
OpenAI 的方案是利用第三方插件作为桥梁，使 AI 以较安全的方式“观察”外界数据。昨日，该机构公布了第一批 ChatGPT 插件名单，包括 Expedia、FiscalNote、Instacart、KAYAK、Klarna、Milo、OpenTable、Shopify、Slack、Speak、Wolfram 和 Zapier 等。
具体而言，这些插件能够让 ChatGPT 执行以下操作：
– **检索实时信息**：如体育比分、股票价格、最新新闻等；
– **检索知识库信息**：如公司文件、个人笔记等；
– **代表用户执行操作**：如预订机票、下单餐饮等。
此外，OpenAI 还提供了两种自家插件，包括一个网络浏览器和一个代码解释器，并开源了一个知识库检索插件的代码。现在，任何开发者都可以构建插件，以增强 ChatGPT 的信息库。
目前，插件的 Alpha 版访问权限已扩展至更多候补名单中的用户和开发者。虽然 OpenAI 表示优先考虑 ChatGPT Plus 的用户和少数开发者，但未来也计划进行更大规模的开放。
为提供更加直观的感受，举个例子：用户可以选择并安装 Wolfram 插件，从而提升其计算智能。
Wolfram Alpha 的数据均来自各大学术网站、出版物和科学机构，专业性和可信度得到了保障。这样的 ChatGPT 让人感觉是否变得更加强大了？
#### 概述
现今的大型语言模型虽然能够完成各种任务，但其作用仍然有限。它们的训练数据是唯一的学习信息，可能已经过时，却需要适应人们的各种需求。此外，语言模型唯一可以即刻使用的能力便是输出文本，而这些文本虽可能包含有用的信息，但要真正实践这些说明，则需要人类的进一步处理。
尽管这不是一个完美的比喻，插件可以视作语言模型的“眼睛和耳朵”，让模型能够访问新的、私人的或具体的信息，这些信息并未包含在训练数据中。
为响应用户明确请求，插件还可让语言模型代为执行安全且受限的操作，从而提升整个系统的实用性。
OpenAI 预计，未来将出现针对 AI 交互的统一开放标准，正在对此进行早期的探索。
今天，OpenAI 开始逐步开放早期合作者为 ChatGPT 用户构建的插件，首批覆盖对象是 ChatGPT Plus 订阅者，同时也让开发者能够为 ChatGPT 创建自己的插件。
#### 安全性与更广泛的影响
当然，将语言模型连接到外部工具会带来新的机遇，也可能带来重大新风险。
插件为解决与大型语言模型相关的各种挑战提供了潜力，包括“幻觉”现象、追踪最新事件，以及访问（经过授权的）专有信息源。通过显式集成外部数据的访问，语言模型可以通过基于证据的参考内容加强其回复的可靠性。
这些参考资料不仅增强了模型的实用性，还使用户能评估模型输出的可信度，仔细检查其准确性，从而有可能缓解与过去提到的过度依赖相关的风险。最终，插件的价值或许能够跨越当前限制，帮助用户处理各种新用例，从浏览产品目录到预订航班或餐食。
然而，插件也可能采取有害或无意的行动，增加不法分子进行欺诈、误导或伤害他人的能力，从而带来安全层面的挑战。随着潜在应用范围的扩大，插件可能促进模型在新领域中采取错误或未对齐的操作，产生负面后果。
这些因素为 ChatGPT 插件平台的开发提供指导。OpenAI 因此推出了多项安全保障措施。
此前，OpenAI 已在内部和与外部合作者开展“红队演练”，模拟数种可能的相关场景。例如，红队发现如若插件在没有安全措施的情况下发布，可能执行复杂的提示注入、发送欺诈邮件或垃圾邮件、绕过安全限制或滥用发送的信息。
OpenAI 正在利用这些发现推动安全设计缓解措施，以限制风险插件的行为，并提升插件在用户体验中的透明性。同时也使用这些发现对插件的逐步开放访问做出更明智的决策。
插件可能会产生广泛的社会影响。例如，在最近发布的一项论文中，OpenAI 研究者发现，能够使用工具的语言模型所产生的经济影响，显著高于没有工具的模型。更普遍地说，其他研究显示，这一轮人工智能技术浪潮将显著影响工作转换、替代和创造的速度。
#### 让 ChatGPT 浏览网页
在 WebGPT、GopherCite、BlenderBot2、LaMDA2 等多项研究的激励下，允许语言模型从互联网读取信息，将极大地扩展可讨论的内容范围，超越训练语料库，将当下的新鲜信息融入其中。
以下是一个例子，展示了浏览功能为 ChatGPT 用户所带来的全新体验。过去的模型可能会礼貌地指出其训练数据中没有足够的信息来回答，但在这个例子中，ChatGPT 能够检索到 2023 年 3 月 13 日颁发的奥斯卡奖信息，并进行一番熟悉的诗歌表演。
问：你能告诉我哪个人/电影赢得了以下类别的奥斯卡奖吗？
– 最佳演员
– 最佳配乐
– 最佳影片
– 最佳男配角
然后编纂一首诗将它们联系在一起。
ChatGPT 会给出一系列搜索结果，用户可以直接点击查看相关信息源。
除了为终端用户提供实用价值外，语言和聊天模型的进步还展现了具有可扩展对齐工作方面的前景。
值得注意的是，插件的基于文本的 Web 浏览器仅限于发出 GET 请求，这能减少但并不会完全消除某些类别的安全风险。浏览插件的功能被限制在获取信息，不包括“事务性”操作，如表单提交，后者具有更大的安全隐患。
此浏览功能使用微软必应搜索 API 从网上检索内容。因此，它继承了微软在确保来源可靠性和信息真实性方面的众多工作。该插件在独立服务的环境中运行，ChatGPT 的浏览活动与基础设施的其他部分相分离。
#### 代码解释器
OpenAI 为 ChatGPT 提供了一个实验性的 Python 解释器，允许其处理上传和下载的数据，并在沙盒和防火墙的保护下工作。
该解释器将在持久会话中运行，并支持在聊天对话期间上传文件到当前工作区以及下载结果。
从初步的用户研究中，OpenAI 确定了一些使用代码解释器的有价值用例：
– 解决定量和定性的数学问题
– 进行数据分析和可视化
– 在格式之间转换文件
#### 安全机制
将 ChatGPT 模型连接到编程语言解释器的首要预防措施是对执行进行适当的沙盒处理，以确保 AI 生成的代码在现实世界中不会产生意外副作用。OpenAI 会在安全环境中执行代码，并严格控制网络以防止外部互联网访问。此外，他们对每个会话设置资源限制。
禁用互联网访问会限制代码沙箱的功能，但这可能是 AI 辅助编程在安全性方面的最佳初步形态。第三方插件在设计过程中以安全为优先考虑，从而将 ChatGPT 连接到外部世界。
#### 数据获取
开源检索插件使 ChatGPT 能够在经许可后访问个人或组织的信息源。它允许用户通过提问或用自然语言表达需求，从他们的数据源中获取相关的文档片段，例如文件、笔记、电子邮件或公共文档。
作为一套开源且自托管的解决方案，开发者可以部署自己的插件版本并在 ChatGPT 上注册。该插件利用 OpenAI 嵌入，并允许开发者选择向量数据库（如 Milvus、Pinecone、Qdrant、Redis、Weaviate 或 Zilliz）来索引和搜索文档。信息源可以通过 webhook 与数据库同步。
检索插件允许 ChatGPT 搜索内容向量数据库，并将最佳结果整合到 ChatGPT 的对话中。这意味着它不会受到外部操作的影响，主要风险在于数据授权和隐私。开发者应确保只向检索插件添加自己有权使用的内容，并可在用户的 ChatGPT 会话中共享。
#### 第三方插件
在 ChatGPT 中使用第三方插件的过程如上：
OpenAI 为第三方插件准备了描述清单文件，其中包括对插件功能的机器可读描述、调用方法，以及面向用户的文档。
“`json
{
“schema_version”: “v1”,
“name_for_human”: “TODO Manager”,
“name_for_model”: “todo_manager”,
“description for human”: “Manages your TODOs!”,
“description_for_model”: “An app for managing a user’s TODOs”,
“api”: { “url”: “/openapi.json” },
“auth”: { “type”: “none” },
“logo_url”: “https://example.com/logo.png”,
“legal_info_url”: “http://example.com”,
“contact_email”: “hello@example.com”
}
“`
构建插件的步骤如下：
1. 构建你希望语言模型调用的 API 端点（可以是新的 API、已有的 API，或围绕专门为 LLM 设计的现有 API 的包装）；
2. 创建一个记录 API 的 OpenAPI 规范，以及一个链接到 OpenAPI 规范并包含一些插件特定元数据的清单文件。
在 chat.openai.com 上开始对话时，用户可以选择他们希望启用的第三方插件。有关已启用插件的文档将作为对话上下文的一部分显示，模型能够根据需要调用适当的插件 API 以实现用户的意图。目前，插件主要针对后端 API 的调用，OpenAI 正在探索也可以调用客户端 API 的插件。
OpenAI 表示，他们正在积极开发插件，并推广给更广泛的受众。
这意味着，ChatGPT 带来的革命性变化，正在逐渐席卷一切。
参考内容：
[OpenAI Official Blog](https://openai.com/blog/chatgpt-plugins)
### 见解
ChatGPT 的插件功能无疑为其带来了更广泛的应用场景，使其超越原本局限于静态知识的状态。这种能力不仅能提升用户体验，还为用户提供了强大的工具以解决各种实际问题。然而，随之而来的安全风险和伦理挑战也不容忽视，OpenAI 需要采取全面且有效的措施来确保其插件的安全性和可靠性。在未来，结合外部信息的能力将可能重新定义人机交互的方式，也让我们期待 ChatGPT 在解决实际问题时的潜力被不断挖掘。
