网站建设泉州效率网络,怎样优化网络速度,陕西交通建设养护工程有限公司网站,商业网站开发实训内容一.概述 实时获取来自不同数据源的海量数据经过实时分析处理#xff0c;或的有价值的信息#xff0e;
1.数据的处理流程
静态数据:数据不会发生变化#xff0c;如数据仓库中的数据#xff1b;流数据:数据以大量#xff0c;快速#xff0e;时变的流形式持续到达#xf…一.概述 实时获取来自不同数据源的海量数据经过实时分析处理或的有价值的信息
1.数据的处理流程
静态数据:数据不会发生变化如数据仓库中的数据流数据:数据以大量快速时变的流形式持续到达
2.流数据特征:
数据快速持续到达潜在大小也许是无穷无尽的数据来源众多格式复杂数据量大但是不十分关注存储一旦经过处理要么被丢弃要么被归档存储数据顺序颠倒或者不完整系统无法控制将要处理的新到达的数据元素的顺序
3.数据的分析计算
. 大数据的典型的三大计算框架
HadoopSparkStrom
5.流计算基本理念
数据的价值随着时间的流逝而降低当事件出现时就应该进行处理儿不是缓存起来进行批处理低延迟,高可靠可扩展
6.流计算系统要求:高性能海量式实时性分布式易用性可靠性
二.流计算处理流程 1.数据实时采集:通常采集多个数据源的海量数据需要保证实时性低延迟与稳定可靠
2.数据采集系统的基本架构
3.数据实时计算 4.实时查询服务
5.流处理系统和传统的数据处理系统的区别
三.流计算的应用 电子商务 实时交通
四.开源流计算框架Storm
1.Storm 简介
1.1 优点:
可以简单高效可靠地处理流数据支持多种编程语言处理非常灵活可以非常方便的与现有数据库系统产品进行融合从而开发出非常强大的实时计算系统
1.2 特点
整合性简易的API;可扩展性可靠的消息处理支持各种编程语言快速部署免费开源
2.Storm 设计思想
2.1 Storm 将流数据Stream 描述成无限的Tuple 序列这些Tuple 序列会以分布式的方式并行地创建和处理
2.2 Spout 2.3 Bolt 2.4 Topology
2.5 Stream Groupings 3.Storm 框架设计
3.1 Storm 与Hadoop 类似 3.2 Storm 集群采用Master-Worker的节点方式
3.3 Strom 集群架构图
3.4 Worker 进程
3.5 Storm 工作流程
四.Spark Streaming,Samza流计算框架及其比较
4.1 Spark Streaming
面向批处理的实时计算框架独特的RDD 设计方式
4.2 Spark Streaming 的设计
可以整合多种数据源如Kafka,Flume,HDFS,TCP套接字处理后的数据可以存储至文件系统数据库或显示在仪表盘里
4.3 执行流程 Spark Streaming 的基本原理是将实时输入数据流以时间片(秒级)为单位进行拆分然后经Spark 引擎以类似批处理的方式处理每个时间片数据 DStream 操作示意图 数据流的建模
4.4 Spark Streaming 与Storm 的对比
4.5 Samza 基本概念 作业: 分区每一个分区都是一个消息队列 任务: 数据流图 Samza 架构 流数据层负责数据流的收集分发流处理层和执行层都被设计成可插拔的开发人员可以使用其他框架来替代YARN 和Kafka;执行层处理层 对比 Storm Spark Streaming和Samza的对比
