网站seo优化有哪些,网站平台建设,网站建设销售话术文本格式,医院网站建设套餐方案#x1f4cb; 博主简介 #x1f496; 作者简介#xff1a;大家好#xff0c;我是wux_labs。#x1f61c; 热衷于各种主流技术#xff0c;热爱数据科学、机器学习、云计算、人工智能。 通过了TiDB数据库专员#xff08;PCTA#xff09;、TiDB数据库专家#xff08;PCTP… 博主简介 作者简介大家好我是wux_labs。 热衷于各种主流技术热爱数据科学、机器学习、云计算、人工智能。 通过了TiDB数据库专员PCTA、TiDB数据库专家PCTP、TiDB数据库认证SQL开发专家PCSD认证。 通过了微软Azure开发人员、Azure数据工程师、Azure解决方案架构师专家认证。 对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究对Databricks的使用有丰富的经验。 个人主页wux_labs如果您对我还算满意请关注一下吧~ 个人社区数据科学社区如果您是数据科学爱好者一起来交流吧~ 请支持我欢迎大家 点赞收藏⭐️吐槽您的支持是我持续创作的动力~ 《PySpark大数据分析实战》-12.Spark on YARN配置Spark运行在YARN上 《PySpark大数据分析实战》-12.Spark on YARN配置Spark运行在YARN上前言启动Hadoop集群配置Spark运行在YARN上使用spark-submit提交代码结束语 《PySpark大数据分析实战》-12.Spark on YARN配置Spark运行在YARN上
前言
大家好今天为大家分享的是《PySpark大数据分析实战》第2章第4节的内容Spark on YARN配置Spark运行在YARN上。 启动Hadoop集群
在node1上执行集群启动命令启动Hadoop集群包括HDFS和YARN。Hadoop集群启动命令如下
$ start-all.shHadoop集群启动后各个节点的进程信息如图所示。 对于HDFS每个节点都是DataNodenode1是NameNode对于YARN资源调度框架每个节点都是NodeManagernode1是ResourceManager。Spark集群不需要启动节点的进程中看不到任何Spark相关的进程。
Hadoop 3中HDFS的Web端口默认是9870通过浏览器访问该端口可以打开Web界面了解集群的概览信息如图所示。 在Web界面的Datanodes页面列出了集群的DataNode列表如图所示。 在服务器上通过hdfs命令将words.txt文件上传到HDFS命令如下
$ hdfs dfs -put words.txt /文件上传成功后通过Web界面浏览HDFS的文件如图所示。 Hadoop 3中YARN的Web端口默认是8088通过浏览器访问该端口可以查看YARN的信息YARN集群信息如图所示。 配置Spark运行在YARN上
Spark on YARN是不需要启动Spark的所以Spark的配置大多数都是可以省略的但是需要配置告诉Spark在哪里去寻找YARN所以需要配置spark-env.sh为Spark配置HADOOP_CONF_DIR和YARN_CONF_DIR。需要保证在集群的每个节点上这个配置保持同步可以在每个节点单独配置也可以在一个节点上配置完成后同步到其他节点。spark-env.sh配置命令如下
$ vi $SPARK_HOME/conf/spark-env.shspark-env.sh配置内容如下
HADOOP_CONF_DIR/home/hadoop/apps/hadoop-3.3.5/etc/hadoop
YARN_CONF_DIR/home/hadoop/apps/hadoop-3.3.5/etc/hadoop使用spark-submit提交代码
words.txt已经上传到HDFS在Spark应用程序中可以访问HDFS上的文件修改脚本/home/hadoop/WordCount.py读取HDFS上的文件。修改后WordCount.py的代码如下
from pyspark import SparkConf, SparkContextif __name__ __main__:conf SparkConf().setAppName(WordCount)# 通过SparkConf对象构建SparkContext对象sc SparkContext(confconf)# 通过SparkContext对象读取文件fileRdd sc.textFile(hdfs://node1:8020/words.txt)# 将文件中的每一行按照空格拆分成单词wordsRdd fileRdd.flatMap(lambda line: line.split( ))# 将每一个单词转换为元组wordRdd wordsRdd.map(lambda x: (x, 1))# 根据元组的key分组将value相加resultRdd wordRdd.reduceByKey(lambda a, b: a b)# 将结果收集到Driver并打印输出print(resultRdd.collect())使用spark-submit命令指定master是yarn提交代码进行运行命令如下
$ spark-submit --master yarn WordCount.py在YARN的Web界面Applications菜单下可以看到提交运行的Spark应用程序如图所示。 在列表中点击应用ID链接可以查看应用程序执行的详细信息如图所示。 在详情页面底部的列表中点击Logs链接可以查看应用程序运行日志等信息如图所示。 结束语
好了感谢大家的关注今天就分享到这里了更多详细内容请阅读原书或持续关注专栏。
