哪有专做飞织鞋面的网站,网络推广和网站推广平台,wordpress被篡改文件,iis搭建网站教程Spark是一个基于内存的开源计算框架#xff0c;于2009年诞生于加州大学伯克利分校AMPLab#xff08;AMP#xff1a;Algorithms#xff0c;Machines#xff0c;People#xff09;#xff0c;它最初属于伯克利大学的研究性项目#xff0c;后来在2010年正式开源#xff0… Spark是一个基于内存的开源计算框架于2009年诞生于加州大学伯克利分校AMPLabAMPAlgorithmsMachinesPeople它最初属于伯克利大学的研究性项目后来在2010年正式开源并于 2013 年成为了 Apache 基金项目到2014年便成为 Apache 基金的顶级项目该项目整个发展历程刚过六年时间但其发展速度非常惊人。 正由于Spark来自于大学其整个发展过程都充满了学术研究的标记是学术带动Spark核心架构的发展如弹性分布式数据集RDDresilient distributed datasets、流处理Spark streaming、机器学习MLlib、SQL分析Spark SQL和图计算GraphX。 一、Spark是什么
Spark是一种“One Stack to rule them all”的大数据计算框架是一种基于内存计算的框架是一种通用的大数据快速处理引擎。
这一站式的计算框架包含了Spark RDD(这也是Spark Core用于离线批处理)、Spark SQL(交互式查询)、Spark Streaming(实时流计算)、MLlib(机器学习)、GraphX(图计算)等重要处理组件。
二、Spark的发展历史
2009年诞生于美国加州大学伯克利分校AMP 实验室
2010年通过BSD许可协议开源发布
2013年捐赠给Apache软件基金会并切换开源协议到切换许可协议至 Apache2.0
2014年2月Spark 成为 Apache 的顶级项目
2014年11月, Spark的母公司Databricks团队使用Spark刷新数据排序世界记录
Spark 成功构建起了一体化、多元化的大数据处理体系。在任何规模的数据计算中 Spark 在性能和扩展性上都更具优势。
Hadoop 之父Doug Cutting 指出Use of MapReduce engine for Big Data projects will decline, replaced by Apache Spark (大数据项目的MapReduce 引擎的使用将下降由Apache Spark 取代)
Hadoop 商业发行版本的市场领导者Cloudera 、HortonWorks 、MapR 纷纷转投Spark,并把Spark 作为大数据解决方案的首选和核心计算引擎。
2014 年的如此Benchmark 测试中 Spark 秒杀Hadoop 在使用十分之一计算资源的情况下相同数据的排序上 Spark 比Map Reduce 快3 倍 在没有官方PB 排序对比的情况下首次将S park 推到了IPB 数据(十万亿条记录) 的排序在使用190 个节点的情况下工作负载在4 小时内完成 同样远超雅虎之前使用3800 台主机耗时16 个小时的记录。
2015年6月 Spark 最大的集群来自腾讯–8000 个节点 单个Job 最大分别是阿里巴巴和Databricks–1PB 震撼人心同时Spark的Contributor 比2014 年涨了3 倍达到730 人总代码行数也比2014 年涨了2 倍多达到40 万行。
IBM 于2015 年6 月承诺大力推进Apache Spark 项目 并称该项目为以数据为主导的未来十年最重要的新的开源项目。这承诺的核心是将Spark 嵌入IBM 业内领先的分析和商务平台并将Spark 作为一项服务在IBMB平台上提供给客户。IBM 还将投入超过3500 名研究和开发人员在全球10余个实验室开展与Spark 相关的项目并将为Spark 开源生态系统无偿提供突破性的机器学习技术–IBM SystemML。同时IBM 还将培养超过100 万名Spark 数据科学家和数据工程师。
2016 年在有“计算界奥运会”之称的国际著名Sort Benchmark全球数据排序大赛中由南京大学计算机科学与技术系PASA 大数据实验室、阿里巴巴和Databricks 公司组成的参赛因队NADSort以144美元的成本完成lOOTB 标准数据集的排序处理创下了每TB 数据排序1.44美元成本的最新世界纪录比2014 年夺得冠军的加州大学圣地亚哥分校TritonSort团队每TB 数据4.51美元的成本降低了近70%而这次比赛依旧使用Apache Spark 大数据计算平台在大规模并行排序算法以及Spark 系统底层进行了大量的优化以尽可能提高排序计算性能并降低存储资源开销确保最终赢得比赛。
在FullStack 理想的指引下Spark 中的Spark SQL 、SparkStreaming 、MLLib 、GraphX 、R 五大子框架和库之间可以无缝地共享数据和操作 这不仅打造了Spark 在当今大数据计算领域其他计算框架都无可匹敌的优势 而且使得Spark 正在加速成为大数据处理中心首选通用计算平台。 三、Spark的优点
Spark之所以这么受关注主要是因为其有与其他大数据平台不同的特点主要如下。
1轻量级快速处理
与 Hadoop 的 MapReduce 相比, Spark 基于内存的运算是 MapReduce 的 100 倍.基于硬盘的运算也要快 10 倍以上.
Spark 实现了高效的 DAG 执行引擎, 可以通过基于内存来高效处理数据流 2易于使用
Spark 支持 Scala, Java, Python, R 和 SQL 脚本, 并提供了超过 80 种高性能的算法, 非常容易创建并行 App 而且 Spark 支持交互式的 Python 和 Scala 的 shell, 这意味着可以非常方便地在这些 shell 中使用 Spark 集群来验证解决问题的方法, 而不是像以前一样 需要打包, 上传集群, 验证等. 这对于原型开发非常重要. 3. 通用、支持复杂查询
Spark 结合了SQL, Streaming和复杂分析. Spark 提供了大量的类库, 包括 SQL 和 DataFrames, 机器学习(MLlib), 图计算(GraphicX), 实时流处理(Spark Streaming) . 可以把这些类库无缝的柔和在一个 App 中. 减少了开发和维护的人力成本以及部署平台的物力成本. 4. 可融合性强
Spark 可以非常方便的与其他开源产品进行融合. 比如, Spark 可以使用 Hadoop 的 YARN 和 Appache Mesos 作为它的资源管理和调度器, 并且可以处理所有 Hadoop 支持的数据, 包括 HDFS, HBase等. 5实时的流处理
对比MapReduce只能处理离线数据Spark还能支持实时流计算。Spark Streaming主要用来对数据进行实时处理当然在YARN之后Hadoop也可以借助其他的工具进行流式计算。对于Spark Streaming著名的大数据产品开发公司Cloudera曾经对Spark Streaming有如下评价 简单、轻量且具备功能强大的APISparks Streaming允许用户快速开发流应用程序。容错能力强不像其他的流解决方案比如使用Storm需要额外的配置而Spark无需额外的代码和配置因为直接使用其上层应用框架Spark Streaming就可以做大量的恢复和交付工作让Spark的流计算更适应不同的需求。集成性好为流处理和批处理重用了同样的代码甚至可以将流数据保存到历史数据中如HDFS。 6活跃和不断壮大的社区
Spark起源于2009年当下已有超过50个机构730个工程师贡献过代码与2014年6月相比2015年代码行数扩大了近三倍数据源于Spark Summit 2015公布的数据这是个惊人的增长
*、本文参考
Spark官网
深入浅出一文让你了解什么是Spark
Spark入门——什么是Hadoop为什么是Spark?
spark是什么及发展趋势概述
