好的html5网站,网上培训ui设计,苏州自助建站系统,建设学校网站前的需求分析在Hadoop的存储处理方面提供了两种不同的机制#xff0c;一种是之前介绍过的Hbase#xff0c;另外一种就是Hive#xff0c;有关于Hbase#xff0c;它是一种nosql数据库的一种#xff0c;是一种数据库#xff0c;基于分布式的列式存储#xff0c;适合海量数据的操作…在Hadoop的存储处理方面提供了两种不同的机制一种是之前介绍过的Hbase另外一种就是Hive有关于Hbase它是一种nosql数据库的一种是一种数据库基于分布式的列式存储适合海量数据的操作底层依赖HDFS与rdbms的区别和其他的nosql基本类似例如不支持sql语句对于数据进行操作具体的关于Hbase的细节可以去参考我的上一篇博客今天我们会通过hive和Hbase的区别对于hive进行相应的讲解。 Hive 在其官方网站上的定义说hive是一个数据仓库数据仓库中存储数量级大且数据结构复杂的数据是多个其他数据库的集合的软件通过sql的方式帮助用户读写管理分布式存储中的数据展开来说Apache Hive是一个建立在Hadoop上的数据仓库基础架构它可以使用类似于sql语句的Hql对于存储在HDFS上的数据进行相应的操作可以转化为MapReduce作业但是虽然相比于Hbasehive提供了大家所熟悉的sql的功能但是对于一般sql的交互式查询还是没有被支持Hive实际上就是只在Hadoop上运行批处理而HBase操作的是数据库而不是在mapreduce上实时运行 Hive可以做什么 1、ETL把多个关系型数据库存储到数据仓库中的数据迁移过程就是ETLflume/sqoop包括数据的抽取转化落地加载等操作、reporting、数据分析 2、可以把多种数据进行格式化或者结构化管理的工具 3、可以更加简洁的访问HDFS或者Hbase 4、可以直接通过sql直接使用访问Mapreduce等框架 Hive的组件 1、服务端组件 Driver组件包括编译器、优化器、执行器将我们写的HQL进行解析便宜又话生成执行计划然后调用底层的计算框架 Metastore组件元数据服务组件负责存储hive的元数据存储在关系型数据库中 Thrift服务用来进行可扩展且跨语言的开发服务 Hive集成服务能让不同的开发语言调用hive接口 2、客户端组件 CLI命令行接口可以使用命令操作查看 Thrift客户端hive的许多客户端接口是建立在thrift客户端的基础之上的包括JDBC等 WEB UI 可以在浏览器中访问hive提供的服务接口 优点及使用场景 操作接口采用类SQL语法提供快速开发的能力(简单、容易上手) 避免了去写MapReduce减少开发人员的学习成本可以直接写sql进行操作 统一的元数据管理可与impala/spark等共享元数据 易扩展(HDFSMapReduce可以扩展集群规模支持自定义函数) 数据的离线处理比如日志分析海量结构化数据离线分析… Hive的执行延迟比较高因此hive常用于数据分析的对实时性要求 不高的场合 Hive优势在于处理大数据对于处理小数据没有优势因为Hive的执 行延迟比较高。 而对于Hive的执行流程我借用某大神的一句神总结将用户提交的SQL语句转换成Hadoop上的MR任务执行并向用户返回结果。Sql传入之后会提交到编译器中编译器分析sql然后去元数据中查数据的位置以及查看sql要进行什么操作然后转化成mapreduce程序执行计划吧执行计划交给执行器然后执行器开始执行并将结果进行返回到客户端而优化器的作用就是对整个计算过程进行优化比如在数据量特别小的时候就直接在内存中申请处理 如需更多的交流可以添加qq群859121793或添加微信群转载于:https://www.cnblogs.com/dsjxb/p/9473552.html
