网站建设销售人才简历,重庆沙坪坝火车站,潍坊做网站公司,奥创微信管理系统来源#xff1a;人工智能和大数据摘要#xff1a;3月2日#xff0c;DeepMind发表博客文章#xff0c;提出一种称为SAC-X#xff08;计划辅助控制#xff09;的新学习范式#xff0c;旨在解决让AI以最少的先验知识#xff0c;从头开始学习复杂控制问题的挑战。这在真实环… 来源人工智能和大数据摘要3月2日DeepMind发表博客文章提出一种称为SAC-X计划辅助控制的新学习范式旨在解决让AI以最少的先验知识从头开始学习复杂控制问题的挑战。这在真实环境中成功让机械臂从头开始学习拾放物体。SAC-X 是基于从头开始学习复杂的任务这种想法即一个智能体首先应该学习并掌握一套基本技能。就像婴儿在爬行或走路前必须具有协调能力和平衡能力为智能体提供与简单技能相对应的内在目标具有辅助作用这会增加它理解和执行更复杂任务的可能性。研究者认为SAC-X是一种通用的强化学习方法未来可以应用于机器人以外的更广泛领域。不管你让小孩还是大人整理物品他们很大可能都不会乖乖听你的话如果想要让 AI 智能体进行整理收拾那就更难了。如果想成功需要掌握如下几个核心视觉运动技能接近物体抓住并举起它打开盒子把物体放进去。而更复杂的是执行这些技能时必须按照正确的顺序。对于一些控制类的任务比如整理桌面或堆叠物体智能体需要在协调它的模拟手臂和手指的九个关节时做到三个 W即如何how何时when以及在哪里where以便正确地移动最终完成任务。在任何给定的时间内需要明确各种可能的运动组合的数量以及执行一长串正确动作这些需求引申出一个严肃的问题这成为强化学习中一个特别有趣的研究领域。诸如奖赏塑形reward shaping、学徒学习Apprenticeship learning或从演示中学习Learning from Demonstration等技术可以帮助解决这个问题。然而这些方法依赖于大量与任务相关的知识而从零开始通过最少的预先知识学习复杂的控制问题仍然是一个众所周知的挑战。我们最近的论文提出了一种新的学习范式叫做「调度辅助控制」Scheduled Auxiliary Control (SAC-X)我们试图通过这种学习范式来克服这个问题。SAC-X 是基于从头开始学习复杂的任务这种想法即一个智能体首先应该学习并掌握一套基本技能。就像婴儿在爬行或走路前必须具有协调能力和平衡能力为智能体提供与简单技能相对应的内在目标具有辅助作用这会增加它理解和执行更复杂任务的可能性。我们在几个模拟和真实的机器人任务中演示了 SAC-X 法包括不同物体的堆叠将物体放到盒子里。我们定义的辅助任务遵循一般原则鼓励智能体探索其感应空间。例如激活手指上的触觉传感器感知手腕的力度利用本体感应器将关节角度调到最大在视觉传感器范围内强制性移动物体。对于每个任务如果实现目标会提供相应的简单奖励。没实现目标的话奖励为零。智能体首先学习激活手指上的触觉传感器然后移动物体模拟智能体最终掌握复杂的堆叠任务智能体接下来可以自行决定其当前的「意图」例如下一步做什么。可能会是一个辅助任务或者是外部定义的目标任务。至关重要的是对于目前还没有使用基于回放的离策略学习方法的任务该代理可以从奖励信号中发现和学习。例如当拾取或移动一个物体时智能体可能会偶然地将物体堆叠起来观察到「堆叠奖励」。一系列简单的任务会让智能体观察到罕见的外部奖励所以让智能体具有安排意图的能力至关重要。基于收集到的所有的间接知识智能体会建立一个个性化的学习课程。在如此大的领域中通过这种方法来利用知识非常高效在只有很少的外部奖励信号的情况下尤其有用。通过调度模块智能体会决定接下来的意图。利用元学习算法调度器会在训练过程中得到改进该算法试图最大限度地提高主任务的进程进而显著提高数据效率。在探索完许多内部辅助任务之后智能体学会了如何堆叠和整理物品评估表明SAC-X 能够从零开始完成我们设置的所有任务这些任务都是在相同的辅助任务集下完成的。令人兴奋的是利用 SAC-X我们实验室的机器人手臂能够成功地从零开始学习拾取和摆放。在过去这极具挑战性因为在现实世界中让机器人学习需要高效的数据所以流行的方法是预训练模拟智能体然后再将这种能力转移到真正的机器人手臂中。针对真实的机器人手臂 SAC-X 能学习如何举起和移动绿色的立方体在此之前它从来没有接触过这类任务我们认为 SAC-X 是通向从零学习控制任务的重要一步只需定义好整体目标。SAC-X 允许任意定义辅助任务这些任务可以基于一般的看法如有意激活传感器最终会涵盖研究人员认为重要的任务。从这方面来说SAC-X 是一种通用的强化学习方法可以广泛应用于控制和机器人领域之外的一般稀疏强化学习环境。未来智能实验室是人工智能学家与科学院相关机构联合成立的人工智能互联网和脑科学交叉研究机构。未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市云脑研究计划构建互联网城市云脑技术和企业图谱为提升企业行业与城市的智能水平服务。 如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
