织梦上网站次导航怎么做,wordpress 重置,做自媒体哪家网站好,拓网手机版网站管理系统1. 架构原理 1#xff09;StoreFile 保存实际数据的物理文件#xff0c;StoreFile以HFile的形式存储在HDFS上。每个Store会有一个或多个StoreFile#xff08;HFile#xff09;#xff0c;数据在每个StoreFile中都是有序的。 2#xff09;MemStore 写缓存#xff0c;由于…1. 架构原理 1StoreFile 保存实际数据的物理文件StoreFile以HFile的形式存储在HDFS上。每个Store会有一个或多个StoreFileHFile数据在每个StoreFile中都是有序的。 2MemStore 写缓存由于HFile中的数据要求是有序的所以数据是先存储在MemStore中排好序后等到达刷写时机才会刷写到HFile每次刷写都会形成一个新的HFile。 3WAL 由于数据要经MemStore排序后才能刷写到HFile但把数据保存在内存中会有很高的概率导致数据丢失为了解决这个问题数据会先写在一个叫做Write-Aheadlogfile的文件中然后再写入MemStore中。所以在系统出现故障的时候数据可以通过这个日志文件重建。 2. 写流程 写流程
1Client先访问zookeeper获取hbase:meta表位于哪个RegionServer。
2访问对应的RegionServer获取hbase:meta表根据读请求的namespace:table/rowkey查询出目标数据位于哪个RegionServer中的哪个Region中。并将该table的region信息以及meta表的位置信息缓存在客户端的metacache方便下次访问。
3与目标RegionServer进行通讯
4将数据顺序写入追加到WAL
5将数据写入对应的MemStore数据会在MemStore进行排序
6向客户端发送ack
7等达到MemStore的刷写时机后将数据刷写到HFile。 3. MemStoreFlush MemStore刷写时机要记住开始往memstore和停止mestore刷写的时机。 单个Store来看 memstroe 的大小达到了hbase.hregion.memstore.flush.size默认值128M其所在region的所有memstore都会刷写。当memstore的大小达到了hbase.hregion.memstore.flush.size默认值128M* hbase.hregion.memstore.block.multiplier默认值4时会阻止继续往该memstore写数据。 从regionerServer中来看regionserver中memstore的总大小达到java_heapsize*hbase.regionserver.global.memstore.size默认值0.4)*hbase.regionserver.global.memstore.size.lower.limit默认值0.95region会按照其所有memstore的大小顺序由大到小依次进行刷写。直到regionserver中所有memstore的总大小减小到上述值以下。当 regionserver 中 memstore 的总大小达到 java_heapsize*hbase.regionserver.global.memstore.size默认值0.4时会阻止继续往所有的memstore写数据。 到达自动刷写的时间也会触发memstoreflush。自动刷新的时间间隔由该属性进行配置hbase.regionserver.optionalcacheflushinterval默认1小时。 当 WAL 文件的数量超过 hbase.regionserver.max.logsregion 会按照时间顺序依次进 行刷写直到 WAL 文件数量减小到 hbase.regionserver.max.log 以下该属性名已经废弃 现无需手动设置最大值为 32。 4. 读流程 读流程 发送Get请求磁盘和内存一起读为了加速磁盘的读速度加了一个Block Cache
1Client 先访问 zookeeper获取 hbase:meta 表位于哪个 Region Server。
2访问对应的 Region Server获取 hbase:meta 表根据读请求的 namespace:table/rowkey 查询出目标数据位于哪个 Region Server 中的哪个 Region 中。并将该 table 的 region 信息以 及 meta 表的位置信息缓存在客户端的 meta cache方便下次访问。
3与目标 Region Server 进行通讯
4分别在 Block Cache读缓存MemStore 和 Store FileHFile中查询目标数据并将查到的所有数据进行合并。此处所有数据是指同一条数据的不同版本time stamp或者不同的类型Put/Delete。
5 将从文件中查询到的数据块BlockHFile 数据存储单元默认大小为 64KB缓存到 Block Cache。
6将合并后的最终结果返回给客户端。 5. StoreFile Compaction
由于memstore每次刷写都会生成一个新的HFile且同一个字段的不同版本timestamp 和不同类型Put/Delete有可能会分布在不同的 HFile 中因此查询时需要遍历所有的 HFile。
为了减少 HFile 的个数以及清理掉过期和删除的数据会进行 StoreFile Compaction。 Compaction 分为两种分别是 Minor Compaction 和 Major Compaction。Minor Compaction 会将临近的若干个较小的 HFile 合并成一个较大的 HFile但不会清理过期和删除的数据。 Major Compaction 会将一个 Store 下的所有的 HFile 合并成一个大 HFile并且会清理掉过期 和删除的数据。 6. Region Split
默认情况下每个Table 起初只有一个 Region随着数据的不断写入Region 会自动进行拆分。刚拆分时两个子 Region 都位于当前的 Region Server但处于负载均衡的考虑 HMaster 有可能会将某个 Region 转移给其他的 Region Server。
Region Split 时机
1.当1个region中的某个Store下所有StoreFile的总大小超过hbase.hregion.max.filesize 该 Region 就会进行拆分0.94 版本之前。
2.当 1 个 region 中 的 某 个 Store 下所有 StoreFile 的 总 大 小 超 过 Min(R^2 * hbase.hregion.memstore.flush.size,hbase.hregion.max.filesize)该 Region 就会进行拆分其 中 R 为当前 Region Server 中属于该 Table 的个数0.94 版本之后。
