技术支持 优府网络太原网站建设,做漫画网站的素材,wordpress如何设置商城,网络营销案例论文3000字场景 hbase数据迁移时我们需要统计迁移时的数据量#xff0c;以确保迁移后的数据的完成#xff0c;但是如果hbase表数据持续增加的话#xff0c;迁移时无法统计出准确的数据量#xff0c;此时我们使用快照的方式进行数据迁移#xff0c;以确保迁移的数量可以和某一时间节点…场景 hbase数据迁移时我们需要统计迁移时的数据量以确保迁移后的数据的完成但是如果hbase表数据持续增加的话迁移时无法统计出准确的数据量此时我们使用快照的方式进行数据迁移以确保迁移的数量可以和某一时间节点快照的数据量可以对应上。
快照原理 步骤
表快照生成后面的是快照名称注意快照名称不能包含表空间
snapshot nm:user,user_snapshot
查看快照
hbase(main):008:0 list_snapshots
SNAPSHOT TABLE CREATION TIME user_snapshot nm:user (2019-05-30 08:53:03 0800)
1 row(s)
Took 0.0839 seconds 恢复到快照时数据恢复后会将数据恢复至快照时间点的数据快照时间点之后的数据将会删除。
restore_snaphost user_snapshot 根据快照我们生成新表后续会介绍第二种方式不用clone_snapshot一个新表直接使用快照导出
clone_snapshot user_snapshot,nm:user_snapshot
此时可以查看表 nm:user_snapshot 数据量
ExportSnapshot迁移数据 mappers map数量bandwidth 带宽限制
hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot -snapshot user_snapshot -copy-from hdfs://h1:8082/hbase -copy-to hdfs://h2:8082/hbase --mappers 11 -bandwidth 1024 表迁移参考https://blog.csdn.net/zhangshenghang/article/details/82594143
