徐州住房与城乡建设部网站,wordpress显示作者的信息,2023年可能倒闭的地产开发商,怎样做免费网站卖东西【本文详细介绍了Spark的三种部署方式及其比较#xff0c;欢迎读者朋友们阅读、转发和收藏#xff01;】目前Apache Spark支持三种分布式部署方式#xff0c;分别是 standalone 、 spark on mesos 和 spark on YARN #xff0c;其中#xff0c;第一种类似于MapReduce 1.0所…【本文详细介绍了Spark的三种部署方式及其比较欢迎读者朋友们阅读、转发和收藏】目前Apache Spark支持三种分布式部署方式分别是 standalone 、 spark on mesos 和 spark on YARN 其中第一种类似于MapReduce 1.0所采用的模式内部实现了容错性和资源管理后两种则是未来发展的趋势部分容错性和资源管理交由统一的资源管理系统完成让Spark运行在一个通用的资源管理系统之上这样可以与其他计算框架比如MapReduce公用一个集群资源最大的好处是降低运维成本和提高资源利用率(资源按需分配)。本文将介绍这三种部署方式并比较其优缺点。standalone模式 即独立模式自带完整的服务可单独部署到一个集群中无需依赖任何其他资源管理系统。从一定程度上说该模式是其他两种的基础。借鉴Spark开发模式我们可以得到一种开发新型计算框架的一般思路先设计出它的standalone模式为了快速开发起初不需要考虑服务(比如master/slave)的容错性之后再开发相应的wrapper将stanlone模式下的服务原封不动的部署到资源管理系统yarn或者mesos上由资源管理系统负责服务本身的容错。目前Spark在standalone模式下是没有任何单点故障问题的这是借助zookeeper实现的思想类似于Hbase master单点故障解决方案。将Spark standalone与MapReduce比较会发现它们两个在架构上是完全一致的1) 都是由master/slaves服务组成的且起初master均存在单点故障后来均通过zookeeper解决(Apache MRv1的JobTracker仍存在单点问题但CDH版本得到了解决)2) 各个节点上的资源被抽象成粗粒度的slot有多少slot就能同时运行多少task。不同的是MapReduce将slot分为map slot和reduce slot它们分别只能供Map Task和Reduce Task使用而不能共享这是MapReduce资源利率低效的原因之一而Spark则更优化一些它不区分slot类型只有一种slot可以供各种类型的Task使用这种方式可以提高资源利用率但是不够灵活不能为不同类型的Task定制slot资源。总之这两种方式各有优缺点。Spark On Mesos模式 。 这是很多公司采用的模式官方推荐这种模式(当然原因之一是血缘关系)。正是由于Spark开发之初就考虑到支持 Mesos 因此目前而言Spark运行在Mesos上会比运行在YARN上更加灵活更加自然。目前在Spark On Mesos环境中用户可选择两种调度模式之一运行自己的应用程序(可参考Andrew Xia的“ Mesos Scheduling Mode on Spark ”)1) 粗粒度模式(Coarse-grained Mode) 每个应用程序的运行环境由一个Dirver和若干个Executor组成其中每个Executor占用若干资源内部可运行多个Task(对应多少个“slot”)。应用程序的各个任务正式运行之前需要将运行环境中的资源全部申请好且运行过程中要一直占用这些资源即使不用最后程序运行结束后回收这些资源。举个例子比如你提交应用程序时指定使用5个executor运行你的应用程序每个executor占用5GB内存和5个CPU每个executor内部设置了5个slot则Mesos需要先为executor分配资源并启动它们之后开始调度任务。另外在程序运行过程中mesos的master和slave并不知道executor内部各个task的运行情况executor直接将任务状态通过内部的通信机制汇报给Driver从一定程度上可以认为每个应用程序利用mesos搭建了一个虚拟集群自己使用。2) 细粒度模式(Fine-grained Mode) 鉴于粗粒度模式会造成大量资源浪费Spark On Mesos还提供了另外一种调度模式细粒度模式这种模式类似于现在的云计算思想是按需分配。与粗粒度模式一样应用程序启动时先会启动executor但每个executor占用资源仅仅是自己运行所需的资源不需要考虑将来要运行的任务之后mesos会为每个executor动态分配资源每分配一些便可以运行一个新任务单个Task运行完之后可以马上释放对应的资源。每个Task会汇报状态给Mesos slave和Mesos Master便于更加细粒度管理和容错这种调度模式类似于MapReduce调度模式每个Task完全独立优点是便于资源控制和隔离但缺点也很明显短作业运行延迟大。Spark On YARN模式 。 这是一种最有前景的部署模式。但限于 YARN 自身的发展目前仅支持粗粒度模式(Coarse-grained Mode)。这是由于YARN上的Container资源是不可以动态伸缩的一旦Container启动之后可使用的资源不能再发生变化不过这个已经在YARN计划(具体参考 https://issues.apache.org/jira/browse/YARN-1197 )中了。总之这三种分布式部署方式各有利弊通常需要根据公司情况决定采用哪种方案。进行方案选择时往往要考虑公司的技术路线(采用Hadoop生态系统还是其他生态系统)、服务器资源(资源有限的话就不要考虑standalone模式了)、相关技术人才储备等。
