兰陵住房建设局网站,沈阳铁西做网站公司,网站建设基础知识及专业术语,重庆梁平网站建设报价不多说#xff0c;直接上干货#xff01; 这篇博客是#xff0c; 是在Scala IDEA for Eclipse里maven创建scala和java代码编写环境。 Scala IDEA for Eclipse里用maven来创建scala和java项目代码环境#xff08;图文详解#xff09; 本博文包括#xff1a; Scala IDE fo… 不多说直接上干货 这篇博客是 是在Scala IDEA for Eclipse里maven创建scala和java代码编写环境。 Scala IDEA for Eclipse里用maven来创建scala和java项目代码环境图文详解 本博文包括 Scala IDE for Eclipse的下载 Scala IDE for Eclipse的安装 本地模式或集群模式 我们知道对于开发而言IDE是有很多个选择的版本。如我们大部分人经常用的是如下。 Eclipse *版本 Eclipse *下载 而我们知道对于spark的scala开发啊有为其专门设计的eclipseScala IDE for Eclipse。 1、Scala IDE for Eclipse的下载 http://scala-ide.org/ 2、Scala IDE for Eclipse的安装 进行解压 3、Scala IDE for Eclipse的WordCount的初步使用 在这之前先在本地里安装好java和scala 因为我这篇博客是面向基础的博友而分享的。所以在此是在Scala IDE for Eclipse里手动新建scala项目。 注意推荐使用IDEA 当然有人肯定还依依不舍Scala IDE for Eclipse。 则如下是我写的另一篇博客 Scala IDEA for Eclipse里用maven来创建scala和java项目代码环境图文详解 默认竟然变成了scala 2.11.8去了 这一定要换 Scala2.11.8默认的版本 -------- scala2.10.4我们的版本 第一步修改依赖的scala版本从scala2.11.*至scala2.10.*。 这里是兼容版本没问题。Scala2.10.6和我们的scala2.10.4没关系 第二步加入spark的jar文件依赖 http://spark.apache.org/downloads.html 我这里以spark-1.5.2-bin-hadoop2.6.tgz为例其他版本都是类似的很简单 http://www.apache.org/dyn/closer.lua/spark/spark-1.5.2/spark-1.5.2-bin-hadoop2.6.tgz 第三步找到spark依赖的jar文件并导入到Scala IDE for Eclipse的jar依赖中 添加Spark的jar依赖spark-1.5.2-bin-hadoop2.6.tgz里的lib目录下的spark-assembly-1.5.2-hadoop2.6.0.jar 第四步在src下建立spark工程包 第五步创建scala入口类 定义main方法 第六步:把class变成object并编写main入口方法。 本地模式 第1步 第2步 第3步 第4步 第5步 第6步 集群模式 这里学会巧复制粘贴WordCount.scala 为 WordCount_Clutser.scala。 现在呢来从Linux里拷贝文件到hadoop集群里 即将 /usr/local/spark/spark-1.5.2-bin-hadoop2.6/README.md 到 / 或 hdfs://SparkSingleNode:9000 sparkSparkSingleNode:/usr/local/hadoop/hadoop-2.6.0$ pwd/usr/local/hadoop/hadoop-2.6.0sparkSparkSingleNode:/usr/local/hadoop/hadoop-2.6.0$ bin/hadoop fs -copyFromLocal /usr/local/spark/spark-1.5.2-bin-hadoop2.6/README.md hdfs://SparkSingleNode:9000/sparkSparkSingleNode:/usr/local/hadoop/hadoop-2.6.0$ bin/hadoop fs -ls /Found 2 items-rw-r--r-- 1 spark supergroup 3593 2016-09-18 10:15 /README.mddrwx-wx-wx - spark supergroup 0 2016-09-09 16:28 /tmpsparkSparkSingleNode:/usr/local/hadoop/hadoop-2.6.0$ // val lines:RDD[String] sc.textFile(D://SoftWare//spark-1.6.2-bin-hadoop2.6//README.md, 1)//path指的是文件路径minPartitions指的是最小并行度 // val lines sc.textFile(D://SoftWare//spark-1.6.2-bin-hadoop2.6//README.md, 1)//path指的是文件路径minPartitions指的是最小并行度 // val lines sc.textFile(hdfs://SparkSingleNode:9000/README.md, 1)//没必要会感知上下文 // val lines sc.textFile(/README.md, 1)//path指的是文件路径minPartitions指的是最小并行度 val lines sc.textFile(/README.md)//为什么这里不写并行度了呢因为,hdfs会有一个默认的 如我们的这里/里有188个文件每个文件小于128M。 所以会有128个小集合。 当然若是大于的话我们可以人为干预如3等 做好程序修改之后 我这里啊遇到如上的错误。 http://blog.csdn.net/weipanp/article/details/42713121 (3)Exception in thread main java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(II[BI[BIILjava/lang/String;JZ)V at org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(Native Method) 修复方法在hadoop2.6源码里找到NativeCrc32.java创建与源码一样的包名拷贝NativeCrc32.java到该包工程目录下。 hadoop-2.6.0-src/hadoop-common-project/hadoop-common/src/main/java/org/apache/hadoop/util/NativeCrc32.java 以及缺少hadoop.dll注意是64位的。放到hadoop-2.6.0下的bin目录下 玩玩spark-1.5.2-bin-hadoop2.6.tgz 继续出现了一些问题 其实啊在集群里模板就是如下 val file spark.textFile(hdfs://...”) val counts file.flatMap(line line.spilt( )) .map(word (word,1)) .reduceByKey(__) counts.saveAsTextFile(hdfs://...”) 欢迎大家加入我的微信公众号大数据躺过的坑 免费给分享 同时大家可以关注我的个人博客 http://www.cnblogs.com/zlslch/ 和 http://www.cnblogs.com/lchzls/ 人生苦短我愿分享。本公众号将秉持活到老学到老学习无休止的交流分享开源精神汇聚于互联网和个人学习工作的精华干货知识一切来于互联网反馈回互联网。 目前研究领域大数据、机器学习、深度学习、人工智能、数据挖掘、数据分析。 语言涉及Java、Scala、Python、Shell、Linux等 。同时还涉及平常所使用的手机、电脑和互联网上的使用技巧、问题和实用软件。 只要你一直关注和呆在群里每天必须有收获 以及对应本平台的QQ群161156071大数据躺过的坑 转载于:https://www.cnblogs.com/zlslch/p/5880006.html
