企业网站建设费未付款怎样挂账,企业年金指的是什么,阿里巴巴国际站入口,建设网站有哪些参考文献1、SparkContext概述
Spark的程序编写是基于SparkContext的#xff0c;体现在2方面#xff1a;①Spark编程的核心基础#xff08;RDD#xff09;#xff0c;第一个RDD是由SparkContext创建的#xff1b;②Spark程序的调度优化也是基于SparkContext#xff0c;RDD在一开…1、SparkContext概述
Spark的程序编写是基于SparkContext的体现在2方面①Spark编程的核心基础RDD第一个RDD是由SparkContext创建的②Spark程序的调度优化也是基于SparkContextRDD在一开始不会立即运行会交给框架主要是SparkContext。
Spark程序的注册是在SparkContext实例化时候生成的对象来完成的也就是SchedulerBackend。
Spark程序运行的时候通过Cluster Manager获得具体的计算资源也是通过SparkContext产生的对象SchedulerBackend来获取的。
SparkContext崩溃或者结束的时候整个Spark程序也结束了。 2、SparkContext中的三大核心对象
SparkContext创建的时候有4大核心DAGSchedulerTaskSchedulerSchedulerBackend和MapOutputTrackerMaster。
DAGScheduler面向Job的Stage的高层调度器
TaskScheduler是一个接口根据具体的Cluster Manager的不同会有不同的实现
SchedulerBackend是一个接口根据具体的Cluster Manager的不同会有不同的实现有三大核心功能①负责与Master连接注册当前程序②接收集群中为当前应用程序而分配的计算资源Executor的注册并管理Executor。③负责发送Task到具体的Executor执行
MapOutputTrackerMaster负责Shuffle中数据输出和读取的管理。
3、 SparkContext源码
1SparkContext的默认构造器必须传入Sparkconf 2在SparkContext实例化的时候默认构造器中所有不在方法中的内容都会被实例化很多成员都会被赋值其中有一个关键的代码createTaskScheduler他调用的时候返回了SchedulerBackend和TaskScheduler具体的实例然后基又构建了DAGScheduler。 3进入createTaskScheduler方法中他这里面根据不同的模式local模式或者其他模式进行不同的处理。默认情况下local模式task失败不重试其他模式下失败可以重试。 以Standlone模式进行解读源码如下根据传进的url首先创建TaskSchedulerImpl底层调度器的核心和灵魂创建TaskSchedulerImpl的时候必须创建一个Schedulerbackend在TaskSchedulerImpl.initialize的时候将Schedulerbackend他作为一个参数传入。StandaloneSchedulerBackend是被TaskSchedulerImpl来管理的。 然后进入到TaskSchedulerImpl的initialize方法中这个主要是确定任务具体的调度方式这里有两种方式FIFO默认方式先进先出的方式和FAIR。在TaskSchedulerImpl实例调用initialize时首先构建一个调度池SchedulerPool。 4createTaskScheduler执行完后返回的TaskScheduler实例为TaskSchedulerImplScheduler的实例为StandaloneSchedulerBackend。代码继续往下走执行_taskScheduler.start()因为taskScheduler返回的实例是TaskSchedulerImpl所以调用TaskSchedulerImpl的start方法。 start方法里面调用的是它管理的StandaloneSchedulerBackend的start方法。
5在StandaloneSchedulerBackend的start方法中有个Commond比较关键我们的StandaloneSchedulerBackend向我们的集群进行注册的时候会把commond传递给mastermaster会到worker让worker去启动具体进程资源的时候具体进程的主类的名字就叫CoarseGrainedExecutorBackend。 6CoarseGrainedExecutorBackend是有main方法的入口类这个就是我们的executor所在进程的入口我们修改指令就可以修改框架用自己实现的ExecutorBackend。
在他的main方法中执行run方法的时候 在run方法中new出了CoarseGrainedExecutorBackend这个类的实例 注意在启动CoarseGrainedExecutorBackend之后就会启动executorexecutor启动之后转过来向driver注册这个话是的。要先注册成功才会分配executor 7回到StandaloneSchedulerBackend中从commond往下走start的时候new了一个StandaloneAppClient。 进入到StandaloneAppClient这个类中参数有RpcEnvmater数组应用程序的description还有一个监听器集群发送事件的时候会被回调 在里面有个重要的内部类ClientEndpoint在start方法中new出它 在ClientEndpoint启动的时候会有registerWithMaster。这时候开始注册在注册的时候变成tryRegisterAllMastersAllMasters是因为有的时候会有多个master实际上生产环境一定有多个master做HA。
我们创建一个线程池在tryRegisterAllMasters注册的时候从registerMasterThreadPool拿一个线程去注册 在tryRegisterAllMasters是注册给master所以这里有master的引用然后就send一个消息过去。这边会发送一个RegisterApplication他是case class里面描述了我们应用程序的相关信息包括名称使用最大cpu个数还有每个executor使用的memory的内容等这里的command就是刚才的command还有appUiUrl是web上面显示的url 8转过来就是交给我们的master去注册master在收到RegisterApplication的消息之后通过给worker发送指令启动executor其实是executorbackend进程去启动executor的。这些所有的executor都要向SchedulerBackend去注册。 4、流程图
