p2p贷款网站开发,网站网站开发,怎么寻找要建设网站的客户群,wordpress 不显示ip来源#xff1a;智源社区导读#xff1a;强人工智能的发展是近年来关注的话题。让AI从人类的感知和行为#xff0c;而非单纯的标注数据中学习#xff0c;成为许多研究者关注的重点。其中#xff0c;如何利用人类习得的日常生活经验#xff0c;启发构建能够适应不同环境智源社区导读强人工智能的发展是近年来关注的话题。让AI从人类的感知和行为而非单纯的标注数据中学习成为许多研究者关注的重点。其中如何利用人类习得的日常生活经验启发构建能够适应不同环境与外部世界交互的人工智能这成为一些领域探索的新路。被誉为强化学习之父的Richard Sutton近日提出了利用经验启发AI发展的思路。他将AI从利用数据到利用经验的过程分为四个发展阶段提出了未来构建真正AIReal AI的发展方向。2022年5月31日Richard Sutton在2022北京智源大会上发表了题为“The Increasing Role of Sensorimotor Experience in AI”的主题演讲对利用经验启发AI发展的方法进行了总结和展望。讲者简介理查德·萨顿(Richard Sutton)现代计算型强化学习创始人之一是 DeepMind 的杰出研究科学家阿尔伯塔大学计算科学系教授也是英国皇家学会、加拿大皇家学会、人工智能促进会、阿尔伯塔机器智能研究所 AMII 和 CIFAR 的研究员。整理戴一鸣、崔靖男01. 背景经验对智能发展的重要意义Sutton认为智能体与外部世界发生交互向其发出动作并接收感知带来的反馈。这种涉及到经验的交互是强化学习中正常的感知方式。也是让智能体尝试预测外部世界时所采用的正常途径。然而这种方法在监督学习中并不多见而监督学习是当前最为常见的机器学习类型。机器学习中并不涉及普通经验Ordinary Experience模型也不会从不同于普通经验的特殊训练数据中学习。事实上在运行时监督学习系统根本不学习。所以说经验是互动带来的数据是与外部世界沟通的途径。经验没有任何意义除非与其他经验之间产生联系。当然有一个例外经由特殊信号所表示奖励。奖励代表着好的目标智能体当然希望能够最大化奖励。演讲中Sutton提出了一个核心问题智能最终是可以被什么来解释是客观的术语Objective terms还是经验的术语Experiential terms前者包含外部世界的状态、目标、人、地点、关系、空间、动作、距离等不在智能体中的事物后者则包含感知、动作、奖励、时间步等智能体内部的事物。Sutton认为尽管研究者通常会在交流和写论文时思考客观的概念但是现在应当更加关注有关智能体与外部世界交互过程中产生的经验。为了进一步介绍经验对于智能体的重要意义Richard Sutton 提出随着经验逐渐被重视一共经历了四个阶段。分别为智能体Agenthood 奖励Reward经验状态Experiential State以及可预测知识Predictive Knowledge。经过这四个阶段的发展AI逐渐拥有经验变得更加实际、可学习且易于扩展。02. 经验在AI发展的历程1.智能体Agenthood智能体的含义是拥有/获得经验的AI。可能令人惊讶的是早期的AI系统确实没有任何经验。在人工智能发展的早期阶段1954-1985年大多数AI系统只是用来解决问题或回答问题他们没有感知能力也不会行动。机器人是一个例外但传统的系统只有启动状态和目标状态如同下图中要堆叠的积木块一样。如果要达到恰当的目标状态其解决方案就是一个行动序列确保AI能够从启动状态达到目标状态。这其中没有感知和行动的存在因为整个外部世界是已知、确定、封闭的所以并不需要让AI感知和行动。研究者知道什么事情会发生所以只需要构建一个解决问题的计划让AI来执行即可人类知道这样就能解决问题。在过去30年的发展中人工智能的研究关注构建智能体。这种转变可以体现在这一点人工智能的标准教科书囊括了智能体的概念将其作为基础。例如1995年版本的《人工智能一种现代的方法》中提到全书的统一主题在于介绍智能体Intelligent Agent的概念。在这种视角下AI的问题在于描述和构建智能体并从环境中获得认知并采取行动。随着研究的发展标准、现代的方法是构建一个能够和外部世界交互的智能体。Sutton认为可以从这个视角看待AI。2.奖励Reward奖励Reward是以经验的形式来描述AI的目标。这也是当前提出的一种有效方法能够构建AI的所有目标。这也是Sutton与其合作者提出的方法。奖励被认为是目前较为充分的一种假说——智能及其相关的能力都可以被理解为是服务于最大化奖励的结果。所以有说法认为奖励对于智能体而言已经足够了。然而Sutton认为这一思路是需要被挑战的。奖励并不足够实现智能。奖励仅仅只是一个数字、一个标量它并不足以解释智能的目标。来自头脑之外仅用单一数字表达的目标显得太小、太还原甚至太贬低人类的目标了。人类喜欢把目标想象得更宏大如照顾家庭、拯救世界、世界和平、让世界更美好。人类的目标比最大化快乐和舒适更为重要。正如研究者发现奖励并不是很好的构建目标的方法研究者也发现了通过奖励构建目标的优势。奖励构建的目标太小但是人们可以在其中取得进展——目标可以被良好、清晰地定义且易于学习。这对于通过经验构建目标而言反而是个挑战。Sutton认为想象通过经验来充分地构建目标这是有挑战的。回顾历史可以看到AI原本也不是对奖励有兴趣的即使是现在也是如此。所以不管是早期的问题解决系统还是当前最新版的AI教科书其依然将目标定义为需要达到的世界状态World State而非经验性的定义。这种目标可能依然是特定的一系列“积木”不是一种需要达到的感知结果。当然最新的教科书中已经有章节提到强化学习并提及这些AI使用的是奖励机制。此外构建目标的过程中奖励已是一种常规的做法可以使用马尔科夫决策过程来实现。对于批评奖励不能够充分构建目标的研究者如Yann LeCun来说奖励已经是智能这块“蛋糕”顶端的“樱桃”了它很重要。在接下来的两个阶段Sutton将介绍应当怎样从经验的角度来理解外部世界但在此之前他将首先介绍经验指代的是什么。3.插曲什么是经验如下图的序列非真实数据所示当时间步启动的时候系统会得到感知信号而且也会发出信号和行动。所以感知信号可能会引起一些动作而这些动作会引起下一个感知信号。在任何时候系统都需要关注关注最近的行动和最近的信号这样才能决定接下来将会发生什么应当怎样去做。如图所示这是一个智能体执行程序的输入输出信号阵列。第一列是时间步每一步可认为是0.1秒或0.01秒的瞬间。行动信号列则采用二级制表示由灰白两色表示。之后是感知信号列其中前四列是二进制值也使用灰白两色后四列则采用0-3的四种取值用红黄蓝绿四种颜色表示最后一列则是连续变量代表奖励。在实验中研究者将数字去掉只留下颜色以便于在其中寻找模式。Sutton认为经验是指对感觉-运动经验的数据中发现的模式产生的知识和理解。在本案例中Sutton列举了四个典型的模式1.行动的最后一位和紧随其后的感知信号是相同的。如果某一时间步的行动是白色的其后的第一个感知信号也是白色灰色亦然。2.当出现红像素时紧随其后的一个时间步是绿色像素。扩大数据范围后可以发现在红绿像素先后出现后隔一个时间步会出现蓝色像素。3.数据的最后三列往往会出现一长串同样颜色保持不变。一种颜色一旦开始会持续多个时间周期最终形成条纹。如很长的一串红色、绿色、蓝色等。4.如果展示AI预测的特定感知数据很多时候这是无法立刻被观察到的因此在本数据中增加返回值Return其代表着对将会到来的奖励的预测。框中的绿色条带代表了随后的奖赏中绿色会比红色多。这代表着当前对于奖励的预测。特殊的阴影区域则表示等待函数。等待函数的阴影区域中会有绿色和红色的条带。在这里研究者将越早返回的带有颜色奖励给予更高的权重。当随着返回值根据时间移动时就可以看到预测结果和实际奖励之间的颜色和值的对应变化这种返回值便是一种预测——其可以从经验中学习到。Sutton认为这种返回值本质上并不是从已经发生的事件中学习的而是从时间差信号中学到的。其中最重要的信号就是价值函数。在本例中返回值实际上是一个价值函数代表的是对于未来奖励的总和。如果想要一个一般形式的复杂的能够指代未来值的函数可采用名为一般价值函数General Value Functions GVFs的方法。一般价值函数包括了各种信号不仅仅是奖励可以是任何时间包络形式而不仅仅是指数。一般价值函数还可以包括任何队列的策略可以预测数量非常多范围很广的事情。当然Sutton认为通过计算进行预测其难易程度取决于被预测对象的形式。当使用一般价值函数进行预测时被预测对象的表达形式需要被设计成易于学习的形式且需要很高的计算效率。4.经验状态Experiential State提到“状态”这个词很多研究会提到的是世界状态World State这是一个属于客观概念之下的词语。状态指的是对客观世界的一种符号化的描述反映能够和世界本身的情况匹配。例如对于积木块的位置信息C在A上等。在最近的一段时间一些研究者如Judea Pearl提出了概率图模型其表示的是世界状态的概率分布。一些事件如“外面下雨草地是否是湿的”等这些事件之间都存在概率关系。另一种状态是信念状态(Belief State在这种概念中状态是一种概率分布表示的是离散世界的状态其对应的方法被称为POMDPsPartially observable Markov decision process——存在隐藏状态变量其中部分是可观察到的可以使用马尔科夫决策过程进行建模。以上的方法均是客观的状态与经验相距甚远是研究者一开始尝试描述世界状态的方法。而与之不同的是经验状态。Sutton认为经验状态指的是整个世界的状态根据经验来定义。经验状态是过去经验的总结能够预测和控制未来将会获得的经验。这种构造过去经验预测未来的做法在研究中已有体现。例如强化学习任务之一——雅达利游戏中研究者会用最后四帧的视频构建经验状态然后预测之后的行为。LSTM网络中的一些方法也可以被认为是从某种经验状态中进行预测。回看经验状态它是可以递归更新的。经验状态是整个过去发生事情总结的函数由于AI需要每时每刻访问经验状态实现对接下来发生事件的预测所以经验状态的更新是递归式的当前时刻只访问上一时刻的经验状态而上一时刻经验状态是对过去所有发生过的事件的总结。到了下一个时刻也只访问此时此刻的经验状态而这个经验状态也是对过去发生的所有事件的总结。下图显示了智能体经验状态的构造过程。其中红色箭头表明智能体的基础工作信号包括感觉、行动、奖励等。蓝箭头标注的是经验状态表征的方向从感知中输出其负责对每个时间步更新其经验状态。更新的状态会被用来为行动制定策略或进行其他更新。5.预测性知识Predictive Knowledge知识如“乔拜登是美国总统”“埃菲尔铁塔在巴黎”等都是对于外部客观世界的一种描述并不是经验性的。但是类似于“做某事预计花费X小时”这类知识是经验知识。经验知识和客观知识之间存在着巨大的差异这也是对于AI研究具有挑战性的一点。以往的AI研究倾向于将知识视为一种客观项尽管近期已经有一些研究从经验的角度来看待问题。早期的AI系统没有经验也就无法进行预测。而更现代一些的AI将知识视为客观的存在。更为先进一些的是概率图模型但是很多时候其研究的是两件同时发生的事情之间的概率而预测面向的应该是一连串序列事件。基于对序列事件的预测是具有明确语义属性的知识。如果某事情被预测会发生AI就可以将预测和实际结果对比。而这种预测模型可以被认为是一种新的世界知识即预测性知识。而在预测性知识中Sutton认为最前沿的就是通用价值函数General Value Function和选择模型Option Model。Sutton 把世界知识分为两类一是关于世界状态的知识二是关于世界状态转换的知识。有关世界状态转换知识的案例是世界预测模型。此处的的世界预测模型并不是初级形态的马科夫决策过程或差分方程。它可以是抽象的状态在经验状态中可以被抽取出来。由于预测是以整个行为为条件进行的所以在选择模型中智能体也可以选择停止某个策略终结某种条件。有时候使用对于旋律的迁移模型可以预测进行了某个行动后的状态。以日常生活为例假设某人要去城里他/她会对前往市中心的距离、时间进行一个预测对于超过某个阈值的行为如步行10分钟进城就会进一步预测出一个状态如疲惫等。有了这种能够延伸行为的模型其知识所表示的规模也可以非常的大。例如可以根据一个行为预测世界状态然后根据状态再预测下一个行为......以此类推。总结经验在AI研究中的发展历程Sutton表示经验是世界知识的基础人类本身是通过感知和行动来认识和影响世界的经验是人类获得信息、采取行动的的唯一方式而且是人类离不开的。遗憾的是由于经验过于主观化和个人化人类仍然不喜欢用经验的方式去思考和表达。经验对于人类太过陌生、反直觉、短暂、复杂。而经验也是主观、私人的与他人进行交流或者进行验证几乎是不可能的。Sutton认为经验对于AI十分重要有以下几个原因。一是经验来自于AI的日常运行过程获得这些经验是无成本的、自动的。同时AI领域有大量的数据用于计算因此经验提供了通向了解世界的道路如果世界中的任何事实都是经验性的那么AI可以从经验中学习对世界的认识并在经验中进行验证。总结而言Sutton认为过去70年的AI发展历程中AI逐渐在增加对经验的重视——获得经验、根据经验设定目标、并根据经验获得状态和知识。在每一个阶段对于人类更为陌生的经验研究正在变得更加重要而且其具有接地气Grounding、可学习和可扩展的优势。03. 未来AI利用经验的方法Sutton认为目前对于经验利用方面AI还未完成阶段三和四但是这种趋势向前会越走越远。Sutton认为将一切都归于经验是通向真正AI的可行路径。尽管非常具有挑战性但这是能够理解数据流实现智能的图景。最后Sutton进一步凝炼重视感知运动经验的四个阶段形成一句标语“数据驱动着人工智能而经验就是终极的数据。如果能利用好经验我们就可以更快速有力地推动人工智能发展。”未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市大脑研究计划构建互联网城市大脑技术和企业图谱为提升企业行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。 如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
