ae有么有做gif的网站,品牌推广型网站,网络热词2021流行语,华艺网站开发为什么80%的码农都做不了架构师#xff1f; 一#xff1a;Hadoop的相关概念 1、Hadoop是一个基于java语言的MapReduce框架。 2、Hadoop的改进#xff1a; a、Hadoop Streaming--任何命令行脚本都可以通过Streaming调用MapReduce框架。 b、Hadoop Hive#xf… 为什么80%的码农都做不了架构师 一Hadoop的相关概念 1、Hadoop是一个基于java语言的MapReduce框架。 2、Hadoop的改进 a、Hadoop Streaming--任何命令行脚本都可以通过Streaming调用MapReduce框架。 b、Hadoop HiveApache Hive可以把海量数据集放入数据仓库中用户可以编写类似SQL语句的Hive查询语句来查找数据Hive引擎把Hive查询语句透明的转换为底层MapReduce任务来执行高级用户可以使用Java语言来编写用户自定义函数UDF。Hive也支持标准的ODBC、JDBC数据库驱动。Hive还可以用来开发商业智能分析程序去处理分析存放在Hadoop中的数据。 c、Pig过程性语言,是一种探索大规模数据集的脚本语言。用于描述数据流的语言称为 Pig latin. d、HBse一个在HDFS上开发的面向列的分布式数据可以实时的随机访问超大规模数据集。粗体 3、刚开始的时候Hadoop系统只能做到用户提交任务之后以先进先出的模式在集群上执行任务。为了解决这样的问题Hadoop中出现了更加复杂的任务调度器公平调度器计算能力调度器。 4、Hadoop 2.x 相较于 1.x解决了扩展性问题。 二MapReduce编程模型简介 5、MapReduce模型有两个彼此独立的步骤这两个步骤都是可以配置并需要用户在程序中自定义。 Map数据初始读取和转换步骤在这个步骤中每个独立的输入数据记录都进行并行处理。 Reduce一个数据整合或者加和的步骤。在这个步骤中相关联的所有数据记录都要放在一个计算节点来处理。 6、Hadoop系统中的MapReduce核心思路 a、将输入的数据在逻辑上分割成多个数据块每个逻辑数据块被Map任务单独处理。 b、数据块处理后所得结果会被划分到不同的数据集且将数据集排序完成。 c、每个经过排序的数据集传输到Reduce任务进行处理。 7、一个Map任务可以在集群的任何节点上运行多个Map任务可以并行的运行在集群上。Map任务的主要作用是把输入的数据记录转换为一个个键值对。所有Map任务的输出数据都会进行分区并且将每个分区的数据排序。每个分区对应一个Reduce任务。 三Hadoop系统的组成 8、Hadoop 1.x守护进程 a、名称节点NameNode维护存储在HDFS上的所有文件的元数据。 b、数据节点DateNode把真正的数据块存放在本地硬盘上这些数据块组成了保存在HDFS上的每个文件。 c、作业跟踪器JobTracker负责一个任务的整个执行过程。调度各个子任务到各自的计算节点运行时刻监控任务运行和计算节点的健康情况对失败的子任务进行重新调度。 d、任务跟踪器TaskTracker运行在各个数据节点上用来启动和管理各个Map/Reduce任务与作业跟踪器进行通信。 9、Hadoop系统任务分工1.x 主节点MasterNameNode/Secondary NameNode/JobTracker 从节点Save:DateNode/TaskTracker 10、HDFS系统提供一个统一的文件系统命名空间用户就像使用一个文件系统一样来存取集群节点上的数据。 11、Hadoop文件的本质是块存储有3个备份存储在数据节点上。 12、Hadoop借助一个单独配置的网络拓扑文件实现机架感知能力这个网络拓扑文件配置了机架到计算节点的域名DNS名称之间的映射。 13、名称节点上的关键文件 a、fsimage:保存了最近的一次检查点的HDFS系统元数据的持久化状态信息。 b、edits保存了最近的一次检查点之后到现在的HDFS系统元数据的状态变化信息。 c、fstime保存了最近一次检查点的时间戳。 14、任务跟踪器TaskTracker:接收MapReduce和shuffle这些操作任务的请求任务跟踪器接受到一个来自作业跟踪器的请求之后就会启动一个任务任务跟踪器会为这个任务初始化一个新的JVM。 15、作业跟踪器JobTracker:启动和监控MapReduce作业。 四Hadoop 2.x YARN 16、组成全局资源管理器节点管理器针对每种应用程序的应用程序管理器调度器容器 17、一部分CPU内核和一部分内存构成了一个容器。一个应用程序运行在一个容器内应用程序管理器的一个实例会向全局资源管理器请求获取资源。调度器会通过每个节点的节点管理器来分配资源容器。节点管理器会向全局资源管理器汇报每个容器的使用情况。 18、集群节点与容器之间的关系是一个节点可以运行多个容器但一个容器只能运行在一个节点之内。 19、Hadoop 2.x 解决了原先只能使用MapReduce框架的问题现在可以在2.x系统上运行更多的框架。 转载于:https://my.oschina.net/likeai34/blog/674918
