星沙网站制作,无锡百度推广代理公司,买的服务器怎么做网站,百度医生在线问诊【新智元导读】击败卡斯帕罗夫的「深蓝」并不是真正的人工智能#xff0c;它过度依赖了人类设计的规则#xff0c;而最近DeepMind的一项深度强化学习新研究表明#xff0c;不用人工介入#xff0c;完全数据驱动#xff0c;算法自己就能发现算法。「深蓝」并非以智取胜它过度依赖了人类设计的规则而最近DeepMind的一项深度强化学习新研究表明不用人工介入完全数据驱动算法自己就能发现算法。「深蓝」并非以智取胜而是一个劳动密集型选手当「深蓝」在1997年击败国际象棋世界冠军卡斯帕罗夫时人工智能似乎要来了。一台电脑击败了有史以来最聪明的国际象棋选手之一很多人惊呼电脑要超越人类了。然而事实并非如此虽然「深蓝」是一段精心编制的程序但这种方法过于劳动密集过于依赖清晰的规则和有限的可能性无法迁移到更复杂的游戏中更不用说现实世界了。深度学习成功的关键在于算法基本上是自己编写的给定数据集他们从中学习到一些表征所谓的算法就是这么出来的。而DeepMind 正在开发一种新的元学习算法来进一步实现自动化这种算法能够从零开始发现自己的价值函数--深度强化学习中的一个关键编程规则。近日该论文发表在了arxiv上。发现强化学习算法的算法DeepMind最近引入了一种新的元学习方法可以自动生成强化学习算法称为学习策略梯度LPG。研究人员认为该算法可以从数据中自动发现更新规则而且能更好地适应特定环境它既包括预测什么价值函数又包括如何从中学习如何与环境交互。该元学习方法的目标是从环境和初始代理参数的分布中寻找最优的更新规则。我们来看下学习策略梯度LPG是如何进行元训练的。首先用θ参数化主体产生状态的动作概率π和预测向量y。其次由η设置的更新规则LPG将代理的输出作为输入向后展开给LSTM以生成代理输出πˆyˆ的目标。最后更新规则参数η是从多个生存期进行元学习的在每个生存期中不同的代理与采样的环境进行交互并使用共享更新规则更新其参数θ。在所有K N个参数通过滑动窗口更新后在所有并行生命周期内取平均值计算出元梯度以使回报最大化。LPG进行元训练时没有做任何试图发现更新规则的先验工作取而代之的是它们全都依赖于价值函数可以说是RL的最基本构建块进行引导。代理的更新θ代理通过下面这个公式引导梯度上升来更新参数其中πˆ和yˆ是LPG的输出。是Kullback-Leibler散度。αy是用于预测更新的系数在更高的层面来看πˆ指定应如何调整动作概率并直接影响代理的行为。yˆ指定 代理在给定状态预测下的类别分布并且在LPG发现其有用的语义例如价值函数并使用y通过自举来间接更改策略之前不会对策略产生影响。LPG的元训练过程这只是研究人员建议的框架实际上并不限于这种特定形式的代理更新和架构例如具有KL散度的分类预测你也可以采用其他方案。但是有一点需要注意不要对y强制执行任何语义只能允许LPG从数据中发现y的语义。LPG的更新η对LPG进行元训练时要考虑到它可以在多大程度上改善与不同类型环境交互的代理的性能。具体而言通过对等式中的目标应用策略梯度来计算元梯度。直观地我们使用从θ0到θN的更新规则η进行N次参数更新直到生命周期结束并估计更新参数θN的策略梯度以找到使θN的预期收益G最大化的超梯度方向。从零开始自主学习已经在14款游戏中超越人类LPG生成的强化学习算法表现如何呢研究人员在复杂的Atari游戏中对LPG进行了评估。与高级RL算法相比LPG可以很好地推广到Atari游戏。令人惊讶的是训练环境主要由表格形式的数据组成其基本任务比Atari游戏要简单得多而且LPG在元训练期间从未见过如此复杂的世界。不过接受LPG训练的代理可以在许多Atari游戏中学习复杂的行为从而在14款游戏中实现超越人类的表现而无需依赖任何手工设计的RL组件例如价值函数而是使用从零开始发现的规则。上图展示了LPG从玩具环境到Atari的泛化。X轴是用于元学习LPG的玩具环境的数量。Y轴是代理在训练结束时胜过人类的Atari游戏的数量。虚线对应每年的最新算法。可以看到LPG的表现非常喜人。更多的细节请参见https://arxiv.org/pdf/2007.08794.pdfLPG不是很完美但我们离通用RL又近了一步LPG仍然落后于人工设计的先进算法。但是它在训练甚至是某些Atari游戏中的表现都超过了人为设计的基准但这只能表明它在某些环境下是出色的。本文首次尝试了结合「预测内容」和「如何进行引导」来元学习完整的RL的更新规则从而取代了一些现有的RL概念。由于LPG完全是数据驱动的得出的算法可能会捕获环境训练集中的意外偏差而除了发现算法时的奖励训练时并没有提供特定领域的信息这使得算法很难在训练环境中捕获偏见。但是至少证明了强化学习从玩具环境迁移到具有挑战性的基准是可能的。DeepMind的这一研究让我们朝着通用 RL 算法又迈进了一步。
