不出所料，自动驾驶向ChatGPT下手了！
ChatGPT 的技术思路与自动驾驶能碰撞出怎样的火花呢？
去年底，ChatGPT 横空出世，以其真实自然的人机对话、比拟专家的回答以及偶尔的胡言乱语而迅速走红，风靡全球。
与之前那些换脸、捏脸、甚至诗歌与绘画生成等红极一时但很快热度退散的 AIGC 应用不同，ChatGPT 不仅保持了热度，还有全面爆发的趋势。如今，谷歌、百度等公司的 AI 聊天机器人也正在迅速跟进。
比尔·盖茨对此给予了高度评价，他认为：“ChatGPT 的意义不亚于 PC 和互联网的诞生。”那么，这背后的原因又是什么呢？
首先，人机对话是一个刚需。图灵测试的设计初衷就是希望通过人机对话的方式来检验人工智能是否已经成功地欺骗了人类。能在对话中获得准确的答案，显然比搜索引擎提供一大堆推荐网页要更为贴心。毕竟，懒惰可以被视为人类进步的原动力。
其次，ChatGPT 的性能出众。它不仅可以进行流畅的人际对话，还能生成各种新闻、邮件、论文，甚至进行复杂计算和编写代码，仿佛让人感受到了一种“哆啦A梦”的神奇体验——有求必应。
那么，ChatGPT 为何如此强大？
ChatGPT：我掌握着大型模型，拥有“杠”的能力
先来看一个“不要你以为，我要我媳妇以为”的例子。
在与 ChatGPT 对话时，曾有人说“我媳妇这么说的”，而 ChatGPT 则会稍作坚持后选择妥协并修改自己的回答。然而，经过大量训练，ChatGPT 变得越发坚定。无论你是否提到“媳妇”，它都会坚持真理，2+2就是等于4，绝不会妥协。
这背后的原因在于，ChatGPT 经过了重新训练，特别注重真实性和数学能力。反过来说，机器人也有可能被人类引导走偏。
那么，ChatGPT 到底是什么？它是基于数百亿参数组合而成的 GPT-3.0 架构发展出的一款自然语言处理聊天工具。ChatGPT 的算法采用了 Transformer 神经网络架构，具备极强的时序数据处理能力，通俗地说，就是能够有效处理上下文关系。
Transformer 是一种结构简单的编解码器，可以几乎无限堆叠，形成一个大规模的预训练语言模型。基于 Transformer 模型构建的 GPT 架构能出色地完成多种语言处理任务，如填空、造句、分段、翻译等。随着数据集和模型参数的不断增加，当到达 GPT-3.0 时，其文本生成能力便显著增强。
因此，基于问答的对话模式也应运而生。但 GPT-3.5 还不等同于 ChatGPT。
ChatGPT 还需通过监督学习和强化学习来实现。具体而言，ChatGPT 使用的被称为“人类反馈强化学习（RLHF）”的训练方法，能够让模型根据人类反馈，最小化低效、失真或偏见信息的输出。
简单来说，GPT 只保证有问必答，但并不保证回答的准确性，而 ChatGPT 则需要在保证对话的流畅性基础上确保回答的准确性。这正如小孩在成年人的反复纠正中，逐渐学会了有效的对话。
那么，既然 ChatGPT 如此优秀，我们不妨问问它：能否将 ChatGPT 应用于自动驾驶技术的训练中？答案显然是肯定的。
### 结合自动驾驶的探索
毫末智行的 CEO 顾维灏在今年1月的 AI DAY 上首次提到了 ChatGPT，并直接表示公司正在研究 ChatGPT 背后的技术。
顾维灏指出：“实现从 GPT-3 到 ChatGPT 的飞跃，最核心的在于使用了‘利用人类反馈强化学习（RLHF）’的训练方式，进而更好地利用人类知识，使模型能够自我判断其答案的质量，逐步提升给出高质量答案的能力。”
那么，这对自动驾驶有什么启示呢？
毫末认为，ChatGPT 的技术思路和自动驾驶的认知决策思路有着相似之处。该公司在认知驾驶决策算法的演化中，分为以下三个阶段：
1. 第一个阶段引入了个别场景的端到端模仿学习，直接模拟人类驾驶行为。
2. 第二个阶段通过引入海量正常人类驾驶数据，利用大模型和 Prompt 的方式实现可控可解释的认知决策。
3. 第三个阶段则引入真实的接管数据，尝试运用“人类反馈强化学习（RLHF）”。一般来说，人类司机的每一次接管都是对自动驾驶策略的一次反馈，这种接管数据可以视为负样本，用于记录自动驾驶决策的修正，同时也可以作为改进认知决策的正样本。
因此，毫末构建了一个“旧策略、接管策略、人工标签策略”的排序模型，基于此模型开发出一套自动驾驶决策的奖励模型，以便在各种情况下做出最优决策。
毫末将这一模型称为人驾自监督认知大模型，旨在让自动驾驶系统学习资深驾驶员的优秀开车方法。在通过人类反馈进行学习中，提高决策的准确性。例如，在掉头和环岛等困难场景中，通过率提升超过 30%。
此外，顾维灏还提到，毫末在1月初的 HAOMO AI DAY 上不仅发布了该人驾自监督大模型，还一口气推出了另外四个大模型。这些模型有望帮助毫末实现车端感知架构的跨代升级，将过去的多个下游任务整合为一个更加端到端的架构，涵盖红绿灯、局部路网、预测等任务，实现飞跃的进步。
### 总结
总体来说，人工智能技术是当前许多传统产业的改造引擎，也是新兴产业的发展助力器。正如当年互联网所宣称的“所有行业都要被互联网重塑”，如今的所有行业同样面临“AI+”的转型。
需要强调的是，人工智能的变革并非必然，而是依赖于一系列因素：包括天才算法的出现、海量数据和计算能力的成本下降，以及技术从业者的勇敢实践。ChatGPT 的成功就是这样一个典型的例子，而自动驾驶的实现也理应如此。
