ChatGPT 如何工作？

1.生成

ChatGPT 是一种生成式人工智能模型–它可以生成文本、代码、图像和声音。生成式人工智能的其他例子还有图像生成工具，如DALL-E 或音频生成器。

2.预培训

ChatGPT 的 “预训练 “功能让它似乎对互联网上的一切了如指掌。GPT 模型是在一种称为 “无监督学习 “的过程中通过大量数据训练出来的。

在ChatGPT 之前，人工智能模型是通过监督学习建立起来的–给它们提供明确标注的输入和输出，然后教它们将一个映射到另一个。这一过程相当缓慢，因为数据集必须由人类编制。

当早期的GPT 模型接触到它们所训练的大型数据集时，就会从各种来源吸收语言模式和上下文含义。

这就是为什么ChatGPT 是一款常识聊天机器人–在向公众发布之前，它已经在一个庞大的数据集上接受过训练。

如果用户希望进一步训练GPT 引擎–使其专门处理某些任务，如为您的独特组织编写报告–可以使用 定制LLMs 的 技术。

3.变压器

变压器是一种神经网络架构，由 Vaswani 等人在 2017 年发表的题为 “Attention is All You Need “的论文中介绍。在变压器之前，递归神经网络（RNN）和长短期记忆（LSTM）网络等模型通常用于处理文本序列。

RNN 和 LSTM 网络会按顺序阅读文本输入，这与人类的阅读方式相同。但转换器架构能够同时处理和评估句子中的每个单词，从而将某些单词评为更相关的单词，即使这些单词位于句子的中间或末尾。这就是所谓的自我关注机制。

就拿这个句子来说”因为笼子太大了，小老鼠放不进去”

转换器可以给 “老鼠 “一词打分，认为它比 “笼子 “更重要，并正确识别出句子中的 “它 “指的是老鼠。

但是，像 RNN 这样的模型可能会将 “它 “解释为笼子，因为它是最近处理过的名词。

与前代产品相比，”转换器 “使ChatGPT 能够更好地理解上下文，并做出更智能的响应。

什么是自然语言处理？

自然语言处理（NLP）是人工智能的一个分支，主要研究计算机与人类通过自然语言进行交互。

它使机器能够以一种既有意义又有用的方式理解、解释和生成人类语言。

NLP vs NLU vs NLG

NLP 是一个广泛的领域，包括自然语言理解（NLU）和自然语言生成（NLG）等多个分支学科。

NLP 是一个总体领域，而 NLU 和 NLG 则是其中的专业领域。这是因为自然语言处理必须同时涉及理解和在来回对话中生成。

NLP 如何发挥作用？

NLU 可分解人类语言，解读其含义和意图。下面将逐步介绍其工作原理：

1. 文本经过预处理，以去除不必要的元素（如标点符号和停顿词）。
2. 该系统可从文本中识别实体、关键词和短语等关键要素。
3. 它通过分析句子结构来理解词语和概念之间的关系。
4. 北大西洋公约组织模型将识别到的元素映射到具体的意图或目标上。
5. NLU 引擎会根据上下文和用户交互历史完善其理解能力。

系统提供结构化输出，可触发适当的行动或反应。