常州网站建设培训,杭州网站建站公司,网站备案是免费的吗,网站制图软件来源#xff1a;半导体行业观察在先进工艺和架构的协同下#xff0c;芯片的性能在过去几年获得了爆发性的增长#xff0c;尤其是在最近几年火热的人工智能行业#xff0c;这个取得的成就是有目共睹的。据OpenAI在2018年年中发表的报告#xff0c;自 2012 年以来#xff0… 来源半导体行业观察在先进工艺和架构的协同下芯片的性能在过去几年获得了爆发性的增长尤其是在最近几年火热的人工智能行业这个取得的成就是有目共睹的。据OpenAI在2018年年中发表的报告自 2012 年以来人工智能训练任务中使用的算力正呈指数级增长。人们对于算力的需求增长也超过 300,000 倍。作为对比如果是以摩尔定律的速度这个数字只会是12倍的增长。在他们看来正是这些硬件性能的跨越式突破才成就了现在的AI产业。自2012年以来AI对算力的要求sourceOpenAIOpen AI的报告进一步指出成本考量和物理学特性等因素将会压制传统AI硬件性能的上升势头。但市场对AI算力的需求仍然处于增长期为此探索新的硬件方案成为了AI芯片供应商亟待解决的问题。不少厂商也都另辟蹊径从多个方向解决广为人知的“冯诺依曼瓶颈”。在鲲云信息科技有限公司创始人牛昕宇博士以下简称牛博士看来一个不同于过往的新架构是解决当前AI问题的正确之选。他同时也指出目前的AI芯片行业需要变革的不仅仅是架构。亟待变革的AI芯片架构对AI芯片行业有所了解的读者都应该知道现在统治人工智能芯片市场的厂商主要是英伟达依靠GPU优秀的并行计算能力和CUDA生态这家本来只是做显卡的厂商在人工智能时代大放异彩。除了英伟达之外拥有庞大部署量的英特尔至强处理器和声名在外的谷歌TPU和特斯拉FSD也是AI芯片市场一个不可忽略的角色。这些处理器有一个共同特点那就是他们无一例外采用了指令集架构处理器。经典指令集架构图这些架构在实际应用中不能发挥人工智能芯片的全部算力潜力为此牛博士指出在算力需求猛增的AI时代需要一种新的芯片架构这主要是由以下两个原因决定的从硬件架构上看指令集架构芯片中有部分芯片面积用于支持指令控制。更关键的问题在于在指令执行过程中计算单元在多数时间内处于等待的状态等待计算所需数据的到来。从这个角度看指令集架构下的算力并没有被充分发挥出来给到用户。另一方面如上图右边所示一个标准的五级指令集的每一条指令都要经过读取、解码、执行、读写内存和把数据写到寄存器里面去这五个步骤。在这些步骤中只有执行这一步骤是在执行真正的计算。其他部分都是在做指令的读取和解码这样的功能。虽然可以通过指令流水降低计算单元闲置不过在实际执行过程中受限于指令间的依赖、以及指令间协同的时钟不确定性指令内部的计算单元会出现闲置等挑战。牛博士举例说到英伟达T4在Batch128或Batch最高的测试环境下按照其官网公布的指标去比对几个网络实际的使用算力得出的结果是峰值算力的7%到30%左右。这意味着产品有很大部分的性能还不能完全发挥出来。“如果大家都在类似架构下竞争在接近的芯片利用率前提下芯片公司的产品升级最后会变成依赖制程工艺和软件生态的比拼。而且对比P4与T4产品的实测性能可以发现随着峰值算力的增加芯片的实际利用率有所降低”牛博士补充说。从目前的市场发展上看包括英伟达在内的多家AI芯片厂商都在沿着上述技术路线演进但从当前制程工艺的发展和材料本身的特性限制看来继续大幅提升峰值算力意味着更高的芯片成本而随着峰值算力降低的芯片利用率意味着给到用户的实测算力并不会等比例线性提升。这与当前AI应用客户更高算力性价比的需求是相背而行的。换而言之寻找一个新的AI芯片架构迫在眉睫。“数据流架构或许会是一个不错的选择”牛博士说。根据他的观点所有的计算架构需要保证一个核心需求加减乘除等计算操作能够按照编程需求按特定次序完成对特定数据的计算。与传统的冯·诺依曼架构或控制流体系结构进行对比数据流架构并没有指令相关的指令控制与执行单元。数据流架构依靠数据流动次序而不是指令执行次序保证计算执行顺序从而将计算与数据搬运重叠以实现更高的吞吐量和更低的延迟。定制数据流计算示例“在指令集架构中由于指令协同的不确定性计算与数据读写无法深度重叠部分时间计算单元处于等待数据状态从而导致闲置计算单元和芯片利用率的下降。而数据流架构中每个时钟下所有计算单元的状态是确定的计算单元无需等待其它单元的计算从而消除计算资源闲置。”牛博士表示。“这就像一个交响乐团当乐团中每个人都按照统一的拍子进行演奏时而且每个人在每个拍子下的动作是确定的乐团中的乐器之间并不需要相互等待可以按照自己的节拍并行的演奏就会协作完成一首曲子。这就像数据流架构中计算单元间的协作关系通过精确的时钟进行协作而并不存在先后依赖关系所以无需等待。”牛博士补充说。据介绍数据流架构支持时钟级的精确计算让每个数据流动及计算在每个时钟都可精确预计从而支持将数据流动与计算深度重叠消除计算单元闲置于此同时数据流架构中没有指令从而破除了指令集架构的控制冗余以及等待指令读取译码带来的计算单元闲置问题进一步提升芯片利用率。此外数据流架构中一个数据流流水线中可深度整合大量计算单元从而打破指令集架构中峰值算力提升与芯片利用率的冲突问题通过不断加深数据流流水线可以在提升峰值算力同时不降低流水线中计算单元闲置时间。”正是因为数据流架构拥有如此多的优势包括Wave Computing、SambaNova和Groq在内的多家公司投入了这个领域的研发值得一提的是Groq的初创团队还是由谷歌TPU的核心成员创立由此可以看到数据流架构的前景。当然鲲云科技创始团队自1994年就开始探索数据流架构在各个垂直领域的开发和落地在数据流技术上具有深厚的积累自然是这个架构的积极支持者。也正是在这个背景下团队创立了鲲云科技从零开始探索针对深度学习的数据流架构也就是CAISA。AI芯片能力≠芯片峰值算力在架构类似的情况下峰值算力是一个可以简单快速估算芯片实测性能的指标也是在AI芯片设计中重点关注的指标。然而近几年提升峰值算力的发展方向将人工智能芯片的发展推向了另一个极端峰值算力或每瓦的峰值算力已经成为评价一颗AI芯片性能的单一指标导致大量AI芯片研发资源投入到如何把峰值算力推高。然而对于用户来说峰值算力其实并不是他们的本质需求。“用户真正关心的是AI芯片的实测算力而不完全是峰值算力。峰值算力并不能直接释放给用户真正释放给用户的要乘上一个系数叫做芯片利用率”牛博士说。“峰值算力指标假设每个芯片内部计算单元每个时钟都处于计算状态而现有指令集架构在运算执行中计算单元存在闲置”牛博士强调。以英伟达T4加速卡为例常用的识别、检测和分割的算法ResNet50、SSD-ResNet50和U-Net Industrial在Batch128或者最高性能的情况下可以分别获得32.1%、7.5%、11.9%的芯片利用率这意味着在实际应用中只有7%到32%的峰值算力转换为实测性能释放给用户当中带来的芯片性能浪费是显而易见的。T4加速卡的测试结果“为了让用户获得更高的性能除了持续提高峰值性能以外芯片利用率的提升会是一个更好的方案因为这会在不增加芯片成本的情况下大幅提升芯片的实测性能。这也是鲲云科技新推出的CAISA 芯片正在努力的方向”牛博士说。这是一款采用28nm工艺打造的芯片搭载了四个CAISA 3.0引擎具有超过1.6万个MAC乘累加单元峰值性能可达10.9TOPs。而通过PCIe 3.0×4接口与主处理器通信同时具有双DDR通道可为每个CAISA芯片提供超过340Gbps的带宽。CAISA芯片架构图作为一款面向边缘和数据中心推理的人工智能芯片CAISA芯片可实现最高95.4%的芯片利用率。这就让他们在既满足客户在价格和功耗方面需求的同时还能为客户提供更强的算力提高了性价比。而之所以能做到如此高的芯片利用率与鲲云科技的CAISA 3.0数据流架构有莫大的关系。CAISA3.0架构图在文章前面我们提到鲲云科技首席科学家Wayne Luk陆永青院士从1994年就开始将数据流架构应用到各个垂直领域。经历了前十几年的发展积累到鲲云科技于2016年成立并在FPGA上实现交付与客户的交流迭代之后完成了此次全新的架构升级。来到CAISA3.0中数据计算与数据流动的重叠压缩计算资源的每一个空闲时钟通过算力资源的动态平衡消除流水线的性能瓶颈通过数据流的时空映射最大化复用芯片内的数据流带宽减少对外部存储带宽的需求。上述设计使CNN算法的计算数据在CAISA3.0内可以实现不间断的持续运算最高可实现95.4%的芯片利用率在同等峰值算力条件下可获得相对于GPU 3倍以上的实测算力从而为用户提供更高的算力性价比。相比旗舰款Xavier加速卡搭载CAISA芯片的星空加速卡X3可以最高提供4.12倍实测性能提升而与T4相比鲲云科技也能提供最高3.91倍实测性能提升。这都是超高的芯片利用率提升所带来的。得益于这个利用率过往通过提升峰值性获得更高性能而带来的高成本问题也迎刃而解。X3 vs Xavier 芯片利用率对比图X3 vs Xavier 性能对比图X3 vs Xavier 延时对比图X9 vs T4 芯片利用率对比图X9 vs T4 性能对比图X9 vs T4 延时对比图也许很多人并没有理解这个3.91倍背后的意义让我们举个现有的例子来对比说明一下。AI从业人员都知道英伟达为了展现其T4的实力在其官方网站上公布了这个加速卡跑在不同网络模型下的性能指标。作为AI芯片行业的风向标任何一款芯片想要说明自己的实力只需要跑和T4一样的网络然后公布相关的Benchmark就可以如愿以偿。早前被英特尔收购的Habana就是这样做的。根据Habana所公布benchmark性能相比于T4官网指标最新官网指标为5415FPS通过更高的峰值算力Habana的产品提供了2.85倍实测性能提升。正是因为在实测性能上取得的领先最终获得Intel的青睐让他们以20亿美元的估值被收购。通过这个例子我们也可以看到鲲云科技这个数字的真正价值。在这个高性能芯片的支持下鲲云科技打造了高算力性价比的AI计算平台星空加速卡系列并推出了X3和X9两款产品。其中星空X3加速卡是搭载单颗CAISA 芯片的数据流架构深度学习推断计算平台为工业级半高半长单槽规格的PCIe板卡。得益于其轻量化的规格特点X3加速卡可以与不同类型的计算机设备进行适配包括个人电脑、工业计算机、网络视频录像机、工作站、服务器等满足边缘和高性能场景中的AI计算需求。相较于英伟达边缘端旗舰产品XavierX3可实现1.48-4.12倍的实测性能提升。星空X3加速卡X9加速卡为搭载4颗CAISA 芯片的深度学习推断板卡峰值性能43.6TOPS主要满足高性能场景下的AI计算需求。同英伟达旗舰产品T4相对X9在ResNet-50, YOLO v3等模型上的芯片利用率提升2.84-11.64倍。在实测性能方面X9在ResNet50可达5240FPS与T4性能接近在YOLO v3、UNet Industrial等检测分割网络实测性能相较T4有1.83-3.91倍性能提升。在达到最优实测性能下X9处理延时相比于T4降低1.83-32倍。实测性能以及处理延时的大幅领先让数据流架构为AI芯片的发展提供了提升峰值性能之外的另一条技术路线。星空X9加速卡发布据了解目前星空X3加速卡已经推出市场而星空X9加速卡将于今年8月推出市场。全球首个数据流AI芯片背后从行业的现状看来鲲云科技是全球首家推出数据流AI芯片并且提供第三方实测benchmark的中国芯片企业。这是前文说到的Wave Computing、SambaNova和Groq等国外明星初创企业所不能达到的成就。而通过数据流网络中算子的不同配置和组合鲲云科技的CAISA芯片更可支持到绝大多数的CNN算法并能让开发者轻易地将模型迁移到这个平台上。。能做到这样是其架构和软件相互协同获得的成果。CAISA3.0架构可以通过流水线动态重组实现对不同深度学习算法的高性能支持。通过CAISA架构层的数据流引擎、全局数据流网、全局数据流缓存以及数据流引擎内部的人工智能算子模块、局部数据流网、局部数据流缓存的分层设计在数据流配置器控制下CAISA架构中的数据流连接关系和运行状态都可以被自动化动态配置从而生成面向不同AI算法的高性能定制化流水线。在保证高性能的前提下支持用户使用基于CAISA3.0架构的计算平台实现如目标检测、分类及语义分割等广泛的人工智能算法应用。“专为CAISA3.0架构配备的RainBuilder编译工具链支持从算法到芯片的端到端自动化部署”牛博士强调。而在RainBuilder编译工具链的支持下用户和开发者无需了解架构的底层硬件配置简单两步即可实现算法快速迁移和部署。RainBuilder架构图据透露RainBuilder编译器可自动提取主流AI开发框架TensorFlowCaffePytorchONNX等中开发的深度学习算法的网络结构和参数信息并面向CAISA结构进行优化工具链中的运行时Runtime和驱动Driver模块负责硬件管理并为用户提供标准的API接口运行时可以基于精确的CAISA性能模型实现算法向CAISA架构的自动化映射同时提供可以被高级语言直接调用的API接口最底层的驱动可以实现对用户透明的硬件控制。RainBuilder工具链使用简单部署方便通用性强可以让用户快速和低成本的部署和迁移已有算法到CAISA硬件平台上。回顾计算行业的发展不同的应用催生了不同的处理器架构。早期PC的出现让X86架构和Intel名扬天下近十年移动设备的出现又推动了Arm架构和高通的蓬勃发展。现在我们进入了AI时代也许一个属于数据流处理器和鲲云科技的时代从这刻开始正式上演。未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市云脑研究计划构建互联网城市云脑技术和企业图谱为提升企业行业与城市的智能水平服务。 如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
