华强北,基于 seajs 的高性能网站开发和优化实践_王保平(淘宝),天津手机网站制作,杭州知名的网站制作策略大语言模型的预训练[2]:GPT、GPT2、GPT3、GPT3.5、GPT4相关理论知识和模型实现、模型应用以及各个版本之间的区别详解
1.GPT 模型
1.1 GPT 模型简介
在自然语言处理问题中#xff0c;可从互联网上下载大量无标注数据#xff0c;而针对具体问题的有标注数据却非常少#x…大语言模型的预训练[2]:GPT、GPT2、GPT3、GPT3.5、GPT4相关理论知识和模型实现、模型应用以及各个版本之间的区别详解
1.GPT 模型
1.1 GPT 模型简介
在自然语言处理问题中可从互联网上下载大量无标注数据而针对具体问题的有标注数据却非常少GPT 是一种半监督学习方法它致力于用大量无标注数据让模型学习 “常识”以缓解标注信息不足的问题。其具体方法是在针对有标签数据训练 Fine-tune 之前用无标签数据预训练模型 Pretrain并保证两种训练具有同样的网络结构。 GPT 底层也基于 Transformer 模型与针对翻译任务的 Transformer 模型不同的是它只使用了多个 Deocder 层。
下图展示了 GPT 模型结构和在不修改模型主体结构的情况下如何使用模型适配多分类、文本蕴含、相似度、多项选择这几类问题。 其左侧展示了 12 层的 Transformer Decoder 模型与 Transformer 基础模型一致。右侧展示了在 Fine-Tune 时先将不同任务通过数据组合代入 Transformer 模型然后在基础模型输出的数据后加全连接层Linear以适配标注数据的格式。
例如其中最简单的分类任务如对于句子的感情色彩识别问题只涉及单个句子结果是二分类。因此只需要代入句子其在最后加一个全连接层即可而判断相似度问题由于两句之间没有相互关系则需要将两句用加入定界符按不同前后顺序连接分别输入模型生成不同的隐藏层数据再代入最终的全连接层。
1.2 模型实现
在预训练 Pretrain 部分用 u 表示每一个 token(词)当设置窗口长度为 k预测句中的第 i 个词时则使用第 i 个词之前的 k 个词同时也根据超参数Θ来预测第 i 个词最可能是什么。简言之用前面的词预测后面的词。 具体方法是代入 Transformer 模型下式中的模型由 L 组隐藏层组成最初输入隐藏层的数据是词编码 U 乘词嵌入参数 We 加上位置参数 Wp后面经过 L 个层如上图左侧的 Transformer 组处理。
在有监督训练 Fine-tune 部分比如判断句子感情色彩 (二分类问题) 的句子中包含 m 个词 x1…xm在 pretain 训练好的模型之加后再加一个全连接层用于学习描述输入信息 x 与目标 y 关系的参数 Wy最终预测目标 y。 兼顾上式中的 L1 和 L2加入权重参数λ控制其比例计算出 L3作为优化的依据。 GPT 与基本的 Transformer 相比还进行了以下修改
将 GLUEGaussian Error Linear Unit作为误差函数GLUE 可视为 ReLU 的改进方法ReLU 将小于 1 的数据转换成 0大于 1 的部分不变而 GELU 对其稍做调整如下图所示: 位置编码基础 Transformer 使用正余弦函数构造位置信息位置信息不需要训练相应的参数而 GPT 将绝对位置信息作为编码。
1.3 模型效果
GPT 基于 Transformer 修改在一个 8 亿单词的语料库上训练12 个 Decoder 层12 个 attention 头隐藏层维度为 768。 GPT 在自然语言推理、分类、问答、对比相似度的多种测评中均超越了之前的模型。且从小数据集如 STS-B约 5.7k 训练数据实例到大数据集550k 训练数据都表现优异。甚至通过预训练也能实现一些 Zero-Shot 任务。但由于无标签数据与具体问题的契合度低因此学起来更慢需要的算力也更多。
1.4 模型应用 GPT 模型可以用于生成自然语言文本。在实际应用中GPT 模型可以应用于多个场景下面是一些常见的应用场景
语言生成GPT 模型可以用于生成自然语言文本例如文章、对话、新闻、小说等。这种应用场景可以应用于自动写作、机器翻译、智能客服等领域。语言理解GPT 模型可以用于自然语言理解例如文本分类、情感分析、实体识别等。这种应用场景可以应用于搜索引擎、广告推荐、舆情监测等领域。对话系统GPT 模型可以用于构建对话系统例如智能客服、聊天机器人等。这种应用场景可以应用于客户服务、娱乐等领域。语言模型GPT 模型可以用于构建语言模型例如语音识别、机器翻译等。这种应用场景可以应用于智能家居、智能交通等领域。
总之GPT 模型可以应用于多个领域包括自然语言生成、自然语言理解、对话系统、语言模型等。随着人工智能技术的不断发展和应用GPT 模型的应用场景也将不断扩展和深化。
2.GPT2 模型
GPT2 是 Open AI 发布的一个预训练语言模型在文本生成上有着惊艳的表现其生成的文本在上下文连贯性和情感表达上都超过了人们的预期。仅从模型架构而言GPT-2 并没有特别新颖的架构GPT-2 继续沿用了原来在 GPT 中使用的单向 Transformer 模型而 GPT-2 的目的就是尽可能利用单向 Transformer 的优势做出 BERT 使用的双向 Transformer 所无法实现的功能即通过上文生成下文文本。
2.1 GPT2 模型架构
GPT-2 的结构类似于 GPT 模型仍然使用单向的 Transformer 模型只做了一些局部修改如将归一化层移到 Block 的输入位置在最后一个自注意力块之后加了一层归一化增大词汇量等等GPT2 模型结构图 其中 Transformer 解码器结构如下图 GPT-2 模型由多层单向 Transformer 的解码器部分构成本质上是自回归模型即每次产生新单词后将新单词加到原输入句后面作为新的输入句。 GPT-2 将 Transformer 堆叠的层数增加到 48 层隐层的维度为 1600参数量更是达到了 15 亿 (Bert large 是 3.4 亿)。「小号」12 层「中号」24 层「大号」36 层「特大号」48 层。GPT-2 训练了 4 组不同的层数和词向量的长度的模型如图 GPT-2 去掉了 fine-tuning 训练只有无监督的 pre-training 阶段不再针对不同任务分别进行微调建模而是不定义这个模型应该做什么任务模型会自动识别出来需要做什么任务。收集了更加广泛、数量更多的语料组成数据集。数据集包含 800 万个网页大小为 40GGPT2 需要的是带有任务信息的数据。提出了新的 NLP 范式强调通过更多的高质量训练数据训练高容量语言模型从而无监督完成下游多任务。尝试以一种通用的语言模型的方法去解决现有的大部分 NLP 任务。
2.2 模型应用
GPT-2 模型主要用于自然语言处理任务例如 文本生成GPT-2 可以学习大量的文本数据并生成类似于人类写作的文章、故事或诗歌。 机器翻译GPT-2 可以将一种语言的文本翻译成另一种语言的文本如中英文互译。 情感分析利用 GPT-2 进行情感分析可以判断一段文本表达的情感是积极、消极还是中立。 文本分类GPT-2 可以将文本归类为不同的类别如新闻分类、电影评价分类等。 问答系统GPT-2 可以回答用户提出的问题并提供相关的信息和解决方案。 对话系统GPT-2 可以模拟人类对话与用户进行交互并回答用户提出的问题。
2.3模型评价 优点 生成能力强大GPT-2 在生成文本方面具有出色的能力可以生成连贯、流畅的文章、故事甚至代码片段。上下文理解该模型通过学习大量的文本数据能够理解上下文并生成具有逻辑关联性的回复。多领域应用GPT-2 对于多个领域的任务都具有良好的适用性包括机器翻译、摘要生成、对话系统等。预训练模型可用性GPT-2 的预训练模型已经在公开领域发布可以方便地进行微调以适应特定任务需求。语言表达多样性GPT-2 能够生成多样化的语言表达从正式到口语化、幽默到严肃使得生成的文本更加生动和富有趣味性。 缺点 缺乏常识和实际知识尽管 GPT-2 可以生成连贯的文本但它没有自己的常识和实际知识容易受到错误或误导性信息的影响。对抗性样本的漏洞GPT-2 容易受到对抗性样本的攻击即通过故意构造的输入来欺骗模型导致不准确或误导性的输出。缺乏创造性和主动性GPT-2 是基于大量数据的统计模型没有真正的创造性和主动性只能在已有的知识范围内生成文本。存在长期依赖问题GPT-2 在处理长文本时可能会遇到长期依赖问题导致生成的文本在逻辑上不一致或不连贯。可解释性差GPT-2 是一个黑盒模型它的决策过程难以解释无法提供详细的推理或证据支持。
3.GPT3 模型
GPT3Generative Pre-trained Transformer 3是由 OpenAI 开发的自然语言处理模型是目前公认的大语言模型的开山鼻祖。在 GPT 系列中第一代 GPT 发布于 2018 年包含 1.17 亿个参数。2019 年发布的 GPT2 包含 15 亿个参数。而 GPT3 拥有 1750 亿个参数是其前身的 100 多倍是同类程序的 10 多倍。GPT3 使用了深度学习中的 Transformer 神经网络结构并利用了无监督预训练技术可以自动处理各种自然语言任务如文本生成、问答、翻译等。
GPT3 延续自己的单向语言模型训练方式不仅大量增加模型参数而且 GPT3 主要聚焦于更通用的 NLP 模型GPT3 模型在一系列基准测试和特定领域的自然语言处理任务从语言翻译到生成新闻中达到最新的 SOTA 结果。对于所有任务GPT3 没有进行任何微调仅通过文本与模型进行交互。与 GPT2 模型架构一样如下图所示 但与 GPT-2 相比GPT-3 的图像生成功能更成熟不需经过微调就可以在不完整的图像样本基础上补全完整的图像。GPT-3 意味着从一代到三代的跨越实现了两个转向
从语言到图像的转向使用更少的领域数据、甚至不经过微调步骤去解决问题。
3.1 GPT3 训练策略
GPT3 在下游任务中采用 in-context learning 进行训练。情境学习in-context learning在被给定的几个任务示例或一个任务说明的情况下模型应该能通过简单预测以补全任务中其他的实例。以下是三种情景学习方法 few-shot learning (没有梯度传播在预测时将一些例子也作为输入输出模型) 定义允许输入数条范例和一则任务说明 下图为示例 one-shot learning (没有梯度传播在预测时将一个例子也作为输入输出模型) 定义只允许输入一条范例和一则任务说明 下图为示例 zero-shot learning (没有梯度传播) 定义不允许输入任何范例只允许输入一则任务说明 下图为示例
3.2 模型性能
GPT-3 在 few-shot / zero-shot 设置下比 LAMBADA 和 Penn Tree Bank 这样的语言建模数据集表现得更好。对于其他数据集它无法击败最先进的技术但提高了 zero-shot 的最先进的性能。 GPT-3 在 NLP 的任务中也表现得相当好比如回答闭书的问题、模式解析、翻译等通常优于最先进的技术或者与经过微调的模型相当。对于大多数任务该模型在 few-shot 设置比 one-shot 和 zero-shot 更好。 GPT-3 除了在传统的 NLP 任务中进行评估外还在算术加法、单词解读、新闻生成、学习和使用新单词等综合任务中进行评估。对于这些任务性能也随着参数数量的增加而增加并且模型在 few shot 设置中比 one-shot 和 zero-shot 设置中表现得更好。
下图解释了如何将 GPT-3 理解为元学习meta learning模型学习了很多不同的任务可以类比成元学习的过程因此具有更好的泛化性。
3.3 局限性
虽然 GPT-3 能够生成高质量的文本但有时它在形成长句子和反复重复文本序列时开始失去连贯性。 GPT-3 的限制包括复杂和昂贵的模型推理这是由于其沉重的架构语言和模型产生的结果的可解释性较低以及关于帮助模型实现其少量的学习行为的不确定性。
3.4 模型应用
GPT-3 是一个非常强大的语言模型可以用于许多不同的应用和领域 自然语言生成GPT-3 可以用于自动生成文章、电子邮件、产品描述等各种类型的文本。 智能客服GPT-3 可以用于构建聊天机器人解决客户的问题并提供帮助。 写作助手GPT-3 可以提供主题、段落和句子建议同时根据用户输入的数据自动生成合适的文本。 语言翻译GPT-3 可以用于翻译不同语言之间的文本从而促进跨文化交流。 自动摘要GPT-3 可以用于自动提取一篇文章或文档的主要信息和重点从而帮助用户更快地了解其内容。 虚拟助手GPT-3 可以用于构建虚拟助手例如 Siri 或 Alexa。它可以理解用户的指令并执行相应的操作。 个性化推荐GPT-3 可以分析用户的历史行为和偏好从而为他们提供个性化的商品和服务推荐。 智能搜索GPT-3 可以用于改进搜索引擎结果提供更准确的答案和建议。 自动化编程GPT-3 可以用于自动生成代码和脚本从而节省开发者的时间并减少错误的产生。 艺术创作GPT-3 的文本生成能力可以用于创作诗歌、小说、剧本等艺术形式从而提供新颖的文学体验。
这些只是 GPT-3 应用领域的一小部分。随着技术的发展GPT-3 将在越来越多的领域得到应用。
4.GPT3.5 大语言模型
GPT3.5 是一款由 OpenAI 开发的聊天机器人模型它能够模拟人类的语言行为与用户进行自然的交互。它的名称来源于它所使用的技术—— GPT-3 架构即生成式语言模型的第 3 代同时基于 GPT3.5 开发出 ChatGPT 智能聊天机器人模型。 GPT3.5 通过使用大量的训练数据来模拟人类的语言行为并通过语法和语义分析生成人类可以理解的文本。它可以根据上下文和语境提供准确和恰当的回答并模拟多种情绪和语气。这样就可以让用户在与机器交互时感受到更加真实和自然的对话体验。
GPT3.5 模型上和之前 GPT-3 都没有太大变化主要变化的是训练策略变了用上了强化学习。如下图为 GPT3.5 模型结构图 4.1 GPT3.5 训练策略
GPT3.5 训练策略采用奖励模型进行训练一个奖励模型RM的目标是刻画模型的输出是否在人类看来表现不错。即输入 [提示 (prompt)模型生成的文本] 输出一个刻画文本质量的标量数字。 奖励模型可以看做一个判别式的语言模型因此可以用一个预训练语言模型热启而后在 [x[prompt模型回答], y 人类满意度] 构成的标注语料上去微调也可以直接随机初始化在语料上直接训练。
4.2 基于强化学习RL进行语言模型优化
GPT3.5 将初始语言模型的微调任务建模为强化学习RL问题因此需要定义策略policy、动作空间action space和奖励函数reward function等基本要素。 策略就是基于该语言模型接收 prompt 作为输入然后输出一系列文本或文本的概率分布而动作空间就是词表所有 token 在所有输出位置的排列组合单个位置通常有 50k 左右的 token 候选观察空间则是可能的输入 token 序列即 prompt为词表所有 token 在所有输入位置的排列组合而奖励函数则是基于奖励模型训练好的 RM 模型配合一些策略层面的约束进行的奖励计算。 计算奖励reward
基于前面的预先富集的数据从里面采样 prompt 输入同时输入给初始的语言模型和当前训练中的语言模型policy得到两个模型的输出文本 y1y2。用奖励模型 RM 对 y1、y2 打分判断谁更优秀。打分的差值便可以作为训练策略模型参数的信号这个信号一般通过 KL 散度来计算 “奖励 / 惩罚” 的大小。若 y2 文本的打分比 y1 高的越多奖励就越大反之惩罚则越大。这个 reward 信号就反映了文本整体的生成质量。通过这个 reward便可以根据 Proximal Policy Optimization (PPO) 算法来更新模型参数。 该阶段流程如下图所示 4.3 模型优缺点
GPT3.5 作为自然语言处理领域的重要技术之一具有非常广泛的应用前景和发展潜力。通过对话生成技术可以实现智能客服、知识问答系统、自然语言生成等多种应用场景大大提高了人机交互的效率和便利性。随着计算机技术的不断发展和深度学习算法的不断进步GPT3.5 的应用领域也将不断扩展和深化为人们提供更加先进、高效、智能的自然语言处理服务。下图为两个提示的 GPT3.5 输出。 GPT3.5 优点 多功能性GPT3.5 可以回答各种问题提供创意灵感支持语音识别等多种功能可以应用于多个领域如技术支持、智能客服、文本生成等。 自然语言处理能力GPT3.5 具备较强的自然语言处理能力可以模拟人类对话表达思想和感情提供更加自然流畅的回答。 多语种支持GPT3.5 支持多种语言可以满足不同国家和地区的语言需求。 智能学习GPT3.5 可以通过对大量数据进行学习不断提高自身的表达能力和回答准确率具备一定的智能学习能力。 便捷性GPT3.5 可以通过第三方的应用程序或者网站、OpenAI 提供的 API 或者在 OpenAI 官方网站上使用使用起来非常便捷。 GPT3.5 缺点 可能存在偏见由于 GPT3.5 是通过对大量数据进行学习得到的可能存在数据偏见的问题。这可能导致 GPT3.5 对某些群体或某些观点的回答存在偏见。 缺乏人情味尽管 GPT3.5 可以模拟人类对话但它仍然缺乏真正的情感和人性化无法像真正的人类一样进行复杂的思考和情感表达。 需要大量数据为了让 GPT3.5 具备较高的回答准确率和表达能力需要训练大量的数据这需要消耗大量的时间和资源。 可能存在安全隐患在使用 GPT3.5 模型时需要输入一定的文本或语音数据这可能会导致个人隐私泄露的风险。
5.GPT4 大语言模型
GPT-4第 4 代生成式预训练变换模型 Generative Pre-trained Transformer 4是一个大型多模态模型能够接受图像和文本输入并输出文本。GPT4 依旧采用 Transformer 模型结构具有处理图片的能力模型结构不再是 Decoder-only而是具有 Encoder 完成图像的编码。如下图所示GPT4 指出这幅图把一个大而过时的 VGA 接口插入一个小而现代的智能手机充电端口是荒谬的。 GPT4 模型比 GPT3 模型参数量增大数倍模型参数量或接近万亿级别为了训练 GPT4OpenAI 使用了 Microsoft 的 Azure 云计算服务其中包括连接在一起的数千个 Nvidia A100 图形处理单元或 GPU。GPT4 在训练策略中提出 RBRMS基于规则的奖励模型来处理安全性问题。
5.1 GPT4 模型安全性
GPT-4 做了大量的工作来保证模型的安全性首先聘请了 50 余位不同方向的领域专家进行对抗测试和红队测试二是训练了一个基于规则的奖励模型Rule-Based Reward Models, RBRMsRLHF 来辅助模型的训练。
RBRMSRule-Based Reward Models目的是通过正确的奖励引导模型的训练来拒绝生成有害的请求以及不拒绝无害的请求。
RLHFReinforcement Learning from Human Feedback即用强化学习的方法利用人类反馈信号直接优化语言模型。训练过程如下图所示可以分解为三个核心步骤
多种策略产生样本并收集人类反馈训练奖励模型训练强化学习策略微调 LM 5.2 模型对比 模型规模GPT-4 的规模比 GPT-3 更大包括更多的参数和更深的网络结构。随着规模的增加GPT-4 能够捕捉更为复杂的语言模式和语义关系从而提高对自然语言的理解和生成能力。 性能提升由于规模的扩大GPT-4 相较于 GPT-3 在多数自然语言处理任务中表现出更高的性能。这包括阅读理解、机器翻译、摘要生成、问答等任务。这意味着 GPT-4 能够更好地理解用户输入生成更准确、更自然的回复。 训练数据和数据清洗GPT-4 使用了更新、更丰富的训练数据集。相较于 GPT-3GPT-4 在数据筛选和清洗方面采取了更为严格的标准以减少训练数据中的错误信息、过时内容和偏见。 微调能力GPT-4 在微调方面的表现优于 GPT-3这意味着使用较少的标签数据GPT-4 就能适应特定任务和领域。这使得 GPT-4 在个性化定制和特定场景下的应用更为灵活和高效。 鲁棒性和可解释性GPT-4 在模型鲁棒性和可解释性方面取得了一定的进展。通过引入新的技术和方法GPT-4 能够更好地处理异常输入、抵抗对抗性攻击同时提供关于其预测的可解释性。 优化资源消耗虽然 GPT-4 的规模更大但 OpenAI 已经采取了一系列优化措施以降低模型在训练和推理阶段的资源消耗。这使得 GPT-4 在保持高性能的同时降低了计算成本和环境影响。 生成策略的改进GPT-4 在生成策略方面进行了优化提高了输出文本的质量、多样性和可控性。这意味着 GPT-4 在生成回复时能够更好地满足用户的需求和偏好同时降低了生成无关、重复或不恰当内容的风险。 更广泛的应用领域得益于性能的提升和优化措施GPT-4 在各种应用领域具有更广泛的适用性。除了传统的自然语言处理任务外GPT-4 还能够应对更复杂的场景如多模态任务、知识图谱生成等。 社区支持与开发工具随着 GPT-4 的推出OpenAI 也为开发者提供了更丰富的支持资源和工具包括 API、SDK、预训练模型等。这使得开发者更容易在自己的项目中集成和利用 GPT-4。
GPT-4 比以前的模型表现出更多的常识性如下图案例所示 5.3 应用
多模式和跨学科构成GPT-4 不仅在文学、医学、法律、数学、物理科学和编程等不同领域表现出高度的熟练程度而且还能流畅地结合多个领域的技能和概念显示出对复杂思想的理解能力令人印象深刻。下图为 GPT-4 和 ChatGPT 在跨学科任务上的比较案例 代码生成GPT-4 能够在非常高的水平上进行编码无论是从指令编写代码还是理解现有代码能够处理广泛的编码任务从编码挑战到现实世界的应用从低级汇编到高级框架从简单的数据结构到复杂的程序还可以对代码的执行进行推理模拟指令的效果并以自然语言解释结果甚至可以执行伪代码这需要解释在任何编程语言中都无效的非正式和模糊的表达。如下图为 GPT-4 执行 Python 代码案例 GPT4 在各个领域的应用场景给人类带来了革新力量除了上述的应用领域外还有以下应用领域 内容创作与编辑 GPT-4 在文本生成方面的优秀表现为创作者提供了强大的支持。从撰写软文、博客文章到书籍创作GPT-4 都能够根据用户需求生成高质量的内容。同时GPT-4 还具有智能纠错和编辑功能能帮助用户快速优化文本提高工作效率。 语言翻译 借助 GPT-4 的深度学习技术语言翻译领域得以实现实时、准确的翻译服务。GPT-4 支持多种语言之间的互译为国际交流和合作提供了便捷的语言沟通桥梁。 客服与支持 越来越多的企业开始将 GPT-4 应用于在线客服系统实现智能、高效的用户服务。GPT-4 可以根据用户提问快速生成准确、专业的回答大大提高了客户满意度和客服效率。 智能教育 GPT-4 在教育领域的应用前景也十分广阔。AI 辅导系统可以为学生提供个性化的学习建议和答疑解惑服务。此外GPT-4 还可用于编写教材、教案等教育资源为老师们分担工作负担。 游戏开发 GPT-4 在游戏领域也发挥着重要作用。开发者可以利用 GPT-4 生成各种游戏场景、角色对话和剧情设计为玩家创造丰富、独特的游戏体验。 语音助手 语音助手已经成为人们日常生活中不可或缺的一部分。GPT-4 通过自然语言处理技术使得语音助手可以更好地理解用户的需求并提供更精确的回应满足人们在生活、工作等方面的需求。 数据分析与可视化 GPT-4 可应用于数据分析领域通过对大量数据进行深度挖掘帮助企业和个人发现潜在价值。同时GPT-4 还能生成清晰易懂的可视化图表使数据分析结果更直观、更易于理解。 法律咨询 借助 GPT-4 的知识储备和智能推理能力用户可以在法律问题上获得专业的解答和建议。这将大大降低人们在法律咨询方面的成本和时间投入。 医疗领域 GPT-4 在医疗领域的应用也日益受到关注。AI 模型可以协助医生进行病例分析、诊断建议等工作提高医疗服务的准确性和效率。此外GPT-4 还可以为患者提供健康咨询和科普知识提高大众的健康意识。 人工智能伦理与监管 随着 GPT-4 等 AI 技术的普及人工智能伦理和监管问题日益凸显。GPT-4 可以帮助相关机构研究、制定相应的政策和规范确保 AI 技术在合规、安全的环境下发展。
