ChatGPT封杀潮，禁入学校，AI顶会特意改规则，LeCun：要不咱把小模型也禁了？

狂欢之后，事情的走向开始进入封杀的过程。

最近，AI 界最引人注目的模型无疑是 ChatGPT，几乎每十个人中就有九个人会选择投票给它。这一现象的背后，正是因为这个模型具备了令人惊叹的多种功能，许多人甚至形容它为“真正的六边形战士”：不仅能进行聊天、搜索、翻译，还能创作故事、撰写代码、调试，甚至开发小游戏、参加美国高考…… 不少人戏谑道，从今往后，人工智能模型可以分为两类——ChatGPT 和其他。

然而，ChatGPT 尽管被广泛喜爱，其背后却是不断出现的麻烦，频频遭遇各种封禁。前段时间，Stack Overflow 就宣布禁用 ChatGPT，原因无他，官方解释称这一决定是由于 ChatGPT 生成的答案正确率太低，发布由其创建的答案会对查询正确答案的用户造成伤害。

这场风波尚未平息，顶级人工智能会议 ICML 也开始禁止使用 ChatGPT 和其他 AI 工具撰写的学术论文。接下来，让我们深入了解这一事件的具体情况。

### ICML 禁止使用大型语言模型撰写论文

前几天，国际机器学习会议 ICML 宣布禁止使用大型语言模型（如 ChatGPT）生成的论文，除非生成的文本作为论文实验分析的一部分呈现。

根据 ICML 的说法，尽管 ChatGPT 等语言模型代表着未来发展的趋势，但它们也带来了意想不到的后果和难以解决的问题。ICML 指出，ChatGPT 的训练数据来自公共数据，通常在未经同意的情况下收集，因此一旦出现问题，责任在谁？

另一个问题也尤为棘手——作者身份的识别究竟是由机器还是人类撰写。考虑到 ICML 仅禁止 AI 完全生成的文本，这一点尤为重要。会议组织者表示，他们并不反对使用 ChatGPT 等工具去编辑或润色作者撰写的文本，并指出许多作者已经借助类似 Grammarly 的半自动编辑工具来润色文章。

这一消息引发了社交媒体上热烈的讨论。Yann LeCun 转发该消息并附上评论：“如果大型语言模型不能用，那中型和小型语言模型算不算？”，而微软研究院 ML 基础团队负责人 Sebastian Bubeck 则反驳该规则是“目光短浅”，认为这种禁止并不是最优选择。

ICML 表示，他们将在明年重新评估对 AI 生成文本的禁令。长期以来，公众对人工智能生成文本的有害影响存在各种担忧，最常见的问题之一就是这些系统的输出结果普遍被认为不可靠。

人工智能模型经过训练，可以预测一个给定句子中的下一个单词，但它们没有硬编码的“事实”数据库可供参考，因此很容易生成似是而非的结果。很多时候，生成的语句虽然符合语法逻辑，却与客观现实相悖。

另一个难题在于，人们很难分辨文本是经过 AI “润色编辑”还是完全由 AI 生成的。这一问题对于学术论文尤为重要，因为如果作者使用 AI 模型生成简洁摘要，它究竟是编辑文本还是全新生成文本？

诚然，使用 ChatGPT 等 AI 工具并非没有优势。例如，在同行评审中，流畅的英语表达往往能得到更高的评价，而 AI 模型能帮助非英语母语的作者生成更为流畅的英文文本。这不仅为研究人员节省时间，也为学术领域创造了更公平的竞争环境。

然而，必须指出的是，ChatGPT 作为大型语言模型（LLM），与如 Grammarly 等简单的语法校正软件存在显著区别。LLM 的主要功能并不是调整已编写文本的结构和语言，而是生成新的文本内容。

实际上，很少有学术论文作者会信真的使用 AI 语言模型生成完整的学术论文，因为学术论文的要求极其严谨，通常在发表前作者会对内容进行反复核对。如果利用 AI 生成的论文出现错误，所有署名作者的声誉都会受到严重影响，进而影响到他们整个职业生涯。

从论文评审的角度来看，确实需要一个快速有效的检测工具，以区分一篇文章是 AI 生成的还是人类撰写的。近期，有开发者推出了名为 GPTZero 的应用，其具备检测功能。

GPTZero 由普林斯顿大学计算机科学专业的学生 Edward Tian 开发，使用两种不同的指标来评估文本是由 AI 模型编写：困惑度（perplexity）和突发性（burstiness）。这可以算是一种“模型”对抗“模型”的方式。

### 纽约市学校禁止访问 ChatGPT

几乎在同一时间，ChatGPT 也遭遇了学校的封禁。由于担心 AI 工具破坏教育，纽约市教育部已在其网络和设备上阻止对 ChatGPT 的访问。

该部门发言人 Jenna Lyle 表示，此禁令主要是担心 ChatGPT 对学生的学习产生潜在负面影响，以及对生成内容的安全性和准确性存有疑虑。尽管该工具能够快速提供简单的答案，但它无法培养学生的批判性思维和解决问题的能力——这些能力对于学业和未来的成功至关重要。

此外，ChatGPT 也面临其他语言模型所共有的问题。由于其训练数据来自互联网，常常在回答中重复和放大性别歧视、种族偏见等问题。此外，此类语言模型也倾向于编造信息，从历史日期到科学规律，很多人往往并不察觉其虚假性。

这些实际错误引起了教育工作者的高度关注，许多老师表示，像 ChatGPT 这样的工具基本不可能有效测试学生的写作能力。如果 ChatGPT 可以在几秒钟内帮助学生完成写作，他们就会失去花时间写作的动机。

不过，也有人认为，教育系统必须适应这一技术的出现——正如它曾适应早期的颠覆性技术，如谷歌搜索和维基百科一样。然而，适应 ChatGPT 显然仍需要一些时间。

无论是建立文本撰写规范，还是开发工具来分辨文本是否为 AI 生成，都反映出人们意识到了对 ChatGPT 等文本生成模型的使用规范的迫切需求。ChatGPT 的使用场景和价值仍有待进一步定义。

### 结语

在当前的科技环境中，AI 模型的崛起引发了各种讨论与挑战。在推动技术进步的同时，我们也必须认真面对由此带来的伦理和社会问题。随着人们对这种技术的使用不断探索，我们正在步入一个新的知识与智能生产的时代。

### 参考链接

– [The Verge: New York City School Bans ChatGPT](https://www.theverge.com/2023/1/5/23540263/chatgpt-education-fears-banned-new-york-city-safety-accuracy)
– [The Verge: ICML Bans AI Writing Tools for Papers](https://www.theverge.com/2023/1/5/23540291/chatgpt-ai-writing-tool-banned-writing-academic-icml-paper)
– [Twitter: Edward Tian on GPTZero](https://twitter.com/edward_the6/status/1610067688449007618?s=20&t=KcWXRmQ0sNLMWKgZFIivrw)
– [Daily Beast: Princeton Student Develops GPTZero](https://www.thedailybeast.com/princeton-student-edward-tian-built-gptzero-to-detect-ai-written-essays)