织梦 网站设计,wordpress标签链接,网站做的自适应体验差,建筑人才网官方网站评职称人们对人工智能的兴趣随着科幻电影的诞生和发展变得愈发浓厚。每当我们听到“人工智能”这个词#xff0c;便会联想到《终结者》、《黑客帝国》、《我#xff0c;机器人》等电影。 机器人具有独立思考的能力在目前看来还比较遥远#xff0c;但机器学习和自然语言理解领域已经…
人们对人工智能的兴趣随着科幻电影的诞生和发展变得愈发浓厚。每当我们听到“人工智能”这个词便会联想到《终结者》、《黑客帝国》、《我机器人》等电影。 机器人具有独立思考的能力在目前看来还比较遥远但机器学习和自然语言理解领域已经在过去几年取得了重大进展。个人助理Siri/Alexa、聊天机器人及问答机器人等应用程序正悄无声息地改变着人们的生活方式。
人们需要理解大量有歧义且结构多变的语言并从中获取意义这促使自然语言理解Natural Language UnderstandingNLU和自然语言生成Natural Language Generation, NLG成为人工智能中发展最快的应用。Gartner预测“到2019年自然语言生成将是90%的现代BI和分析平台的标准特征”。本文将回顾NLG的历史并展望其未来。
什么是NLG NLG通过预测句子中的下一个单词传达信息。使用语言模型能够预测下一个可能出现的单词也就是找到单词在序列中的概率分布。举个例子预测“I need to learn how to __”的下一个单词语言模型会计算下一个单词如“write”“drive”可能出现的概率。RNNs及LSTMs等高级神经网络能够处理较长的句子提高了语言模型预测的准确性。
马尔可夫链Markov Chains 马尔可夫链是最早用于语言生成的算法。它通过当前单词预测句子中的下一个单词。举个例子模型通过下面两个句子进行训练“I drink coffee in the morning”和“I eat sandwiches with tea”。“drink”后面出现“coffee”的概率是100%“I”后面出现“eat”和“drink”的概率分别为50%。马尔可夫链在计算下一个单词出现概率的时候会把每个单词之间的关系考虑进去。该模型最早用于为智能手机输入句子提供下一个单词生成建议。
但由于仅注意当前单词马尔可夫模型无法探测当前单词与句子中其它单词的关系以及句子的结构使得预测结果不够准确在许多应用场景中受限。 循环神经网络Recurrent Neural Network RNN 神经网络启发于人类大脑的工作原理通过对输入和输出数据之间的非线性关系进行建模为计算提供了一种新的方法用于语言建模即称为神经语言建模。
RNN是神经网络的一种它能够捕捉输入数据的序列特征。通过前馈网络处理序列中的每一个item并将模型的输出作为序列的next item此过程能够帮助存储前面每步的信息。这样的“记忆”使得RNN在语言生成中有着出色的表现因为记住过去的信息能够帮助更好的预测未来。与马尔可夫链不同的是在进行预测时RNN不仅关注当前单词还关注已经处理过的单词。
利用RNN进行语言生成 在RNN的每一次迭代中模型都能在其“记忆”单元中存储出现过的单词以及计算下一个单词出现的概率。举个例子有“We need to rent a __”此时要预测句子中的下一个单词。模型能够记住在词典中每个单词随前面单词出现的概率。在上述例子中“house”或者“car”比“river”和“dinner”有着更高的出现概率。“记忆”单元选择概率更高的单词并对其进行排序然后进行下一次迭代。 但RNN有一个很大的问题——梯度消失。随着序列长度的增加RNNs不能存储那些很久前遇到的单词便只能根据最近的单词进行预测。这使得RNNs无法应用于生成连贯的长句子。
长短期记忆网络Long Short-Term Memory LSTM 长短期记忆网络是RNNs的变体比vanilla RNNs更适合处理长序列。LSTM应用广泛其与RNNs的结构类似。不同的是RNNs只有一个简单的层结构而LSTM内部有4个层结构。一个LSTM由4部分组成cell输入门输出门以及遗忘门。
利用LSTM进行语言生成 示例输入句子为“I am from Spain. I am fluent in ___”。为了正确预测出下一个单词“Spanish”LSTM会更加关注上一句中的“Spain”并且利用cell对其进行记忆。在处理序列时cell会对获取的信息进行存储这些信息会用于预测下一个单词。当遇到句号时遗忘门会意识到句子中的上下文发生了改变并忽略当前cell中存储的状态信息换句话说遗忘门的作用是让循环神经网络“忘记”之前没有用到的信息。
LSTM及其变体能够解决梯度消失问题并生成连贯的句子。但是LSTM也有其局限性计算要求高难以训练。
Transformer Transformer在2017年由Google团队在论文《Attention Is All You Need》中首次提出并涉及到一种名为“self-attention mechanism”的新方法。Transformers目前广泛用于解决NLP问题例如语言建模机器翻译以及文本生成等。Transformer模型由一组编码器和一组解码器组成前者负责处理任意长度的输入后者负责输出生成的句子。
在上述示例中编码器处理输入句子并为其生成表示。解码器利用表示生成用于输出的句子。每个单词最初的表示或嵌入由空心圆表示。接下来Transformer模型利用self-attention机制获取所有其他单词之间的关系生成每个单词的新表示如图中的实心圆。对每个单词重复该步骤连续生成新的表示类似地解码器从左往右依次生成单词。
与LSTMs不同的是Transformer需要的步骤少应用self-attention机制能够在不考虑单词位置的情况下直接捕捉句子中所有单词之间的关系。
最近许多研究学者对vanilla transformer模型进行了改进提升了速度与精度。在2018年谷歌提出BERT模型此模型在各种NLP任务中均取得了最先进的结果。在2019年OpenAI发布了一个基于transformer的语言模型只需要输入几行文本就可以生成长篇文章。
利用Transformers进行语言生成 Transformer模型同样可以用于语言生成最著名的要数OpenAI提出的GPT-2语言模型。该模型通过将注意力集中在与预测下一个单词相关的单词上更好的学习并预测句子中的下一个单词。
使用Transformer进行文本生成与机器翻译所遵循的结构类似。举个例子“Her gown with the dots that are pink, white and ____”。通过利用self-attention机制对前面所出现的颜色白色和粉色进行分析理解需要预测的单词也是一种颜色此时模型的输出为“blue”。Self-attention能够帮助模型选择性地关注每一个单词在句子中担任的角色而不仅仅是通过循坏记住些许特征。 语言生成的未来 本文带我们纵览了语言生成的发展从利用马尔可夫链预测下一个单词到使用self-attention生成连贯的文章。但是我们仍处于生成语言建模的初期今后还会往自主生成文本的方向迈进。生成模型也将用于图像、视频、音频等内容的开发。
原文链接 本文为云栖社区原创内容未经允许不得转载。
