大学网站建设宣传方案,workpress做静态网站,我国旅游网站的建设,网站建设和技术服务合同一、前述Spark中控制算子也是懒执行的#xff0c;需要Action算子触发才能执行#xff0c;主要是为了对数据进行缓存。控制算子有三种#xff0c;cache,persist,checkpoint#xff0c;以上算子都可以将RDD持久化#xff0c;持久化的单位是partition。cache和persist都是懒执…一、前述Spark中控制算子也是懒执行的需要Action算子触发才能执行主要是为了对数据进行缓存。控制算子有三种cache,persist,checkpoint以上算子都可以将RDD持久化持久化的单位是partition。cache和persist都是懒执行的。必须有一个action类算子触发执行。checkpoint算子不仅能将RDD持久化到磁盘还能切断RDD之间的依赖关系。二、具体算子1、 cache默认将RDD的数据持久化到内存中。cache是懒执行。chche () persist()persist(StorageLevel.Memory_Only)2、persist可以指定持久化的级别解释1、MEMORY_AND_DISK 意思是先往内存中放数据内存不够再放磁盘2、最常用的是MEMORY_ONLY和MEMORY_AND_DISK。”_2”表示有副本数。3、选择的原则是首先考虑内存然后考虑序列化之后再放入内存最后考虑内存加磁盘。4、尽量避免使用“_2”和DISK_ONLY级别。5、deserialized是不序列化的意思。注意事项1、cache和persist都是懒执行必须有一个action类算子触发执行。2、cache和persist算子的返回值可以赋值给一个变量在其他job中直接使用这个变量就是使用持久化的数据了。持久化的单位是partition。3、cache和persist算子后不能立即紧跟action算子。错误rdd.cache().count() 返回的不是持久化的RDD而是一个数值了3、 Checkpoint对Lineage非常长时使用 1、概念和特征 不仅可以将数据持久化到磁盘还可以切断RDD之间的依赖关系checkpoint也是懒执行。Checkpoin不仅存储结果还会存储逻辑还可以存储元数据。 Persisit切断不了RDD的依赖关系。 2、checkpoint 的执行原理1.Spark job执行完之后spark会从finalRDD从后往前回溯。2当回溯到对某个RDD进行了checkpoint会对这个RDD标记。3回溯完成之后Spark会重新计算标记RDD的结果然后将结果保存到Checkpint目录中。 3、优化checekpoint因为最后是要触发当前application的action算子所以在触发之前加一层cache操作一样会往前执行cache操作实现对数据的cache ,所以考虑将cache优化到checkpoin的优化流程里。对RDD执行checkpoint之前最好对这个RDD先执行cache这样新启动的job回溯完成之后重新开的job只需要将内存中的数据cache缓存好的checkpoint那个点的数据拷贝到HDFS上就可以。省去了重新计算这一步不需要重头开始来走到checkpoint这个点了。总结持久化的最小单位是partition
