网站建设培训福州,武器系统软件开发文档,网站建设销售的技巧话语,网站建设时间规划表文章目录 知识点18#xff1a;数据存储设计知识点19#xff1a;Redis持久化#xff1a;RDB设计知识点20#xff1a;Redis持久化#xff1a;RDB测试后记 知识点18#xff1a;数据存储设计 目标#xff1a;掌握常见数据存储的设计 实施 问题 数据存储如何保证数据安全数据存储设计知识点19Redis持久化RDB设计知识点20Redis持久化RDB测试后记 知识点18数据存储设计 目标掌握常见数据存储的设计 实施 问题 数据存储如何保证数据安全HDFS的数据怎么保证安全性HDFS的元数据怎么保证安全性Spark的RDD数据怎么保证安全性 解决 磁盘存储数据存储在硬盘上 特点容量大、安全性高、读写速度上相对不如内存解决副本备份 内存存储数据存储在内存中 特点容量小、安全性低、读写性能高解决副本、持久化到磁盘 HDFS的数据怎么保证安全性 磁盘副本机制 HDFS的元数据怎么保证安全性 磁盘fsimage edits 副本机制可以配置fsimage存储在多个目录中每个目录存储一份 内存启动时加载到内存在内存进行读写 edits操作日志NameNode会将内存中元数据的变化记录在edits文件中 Spark的RDD数据怎么保证安全性 方式一血缘机制每个RDD保存与父RDD之间的依赖关系方式二persist/unpersist缓存将RDD缓存在内存或者磁盘中缓存有副本机制方式三checkpoint检查点持久化将RDD的数据持久在磁盘【HDFS】中 小结 掌握常见数据存储的设计
知识点19Redis持久化RDB设计 目标掌握Redis的RDB持久化机制 路径 step1问题step2RDB方案step3优缺点 实施 问题 Redis中的数据都存储在内存中由内存对外提供读写Redis一旦重启内存中的数据就会丢失Redis如何实现持久化写set/hset/lpush/sadd/zadd写入内存直接返回读get/hget/lrange/smembers/zrange 直接读取内存 每次Redis写入内存将数据同步到磁盘如果重启就将磁盘中的数据重新加载到磁盘提供读取 RDB方案 Redis默认的持久化方案 思想 按照一定的时间内如果Redis内存中的数据产生了一定次数的更新就将整个Redis内存中的所有数据拍摄一个全量快照文件存储在硬盘上新的快照会覆盖老的快照文件快照是全量快照包含了内存中所有的内容基本与内存一致如果Redis故障重启从硬盘的快照文件进行恢复 举例 配置save 30 2解释如果30s内redis内存中的数据发生了2条更新【插入、删除、修改】就将整个Redis内存数据保存到磁盘文件中作为快照 过程 触发 手动触发当执行某些命令时会自动拍摄快照【一般不用】 save手动触发拍摄RDB快照的将内存的所有数据拍摄最新的快照 前端运行阻塞所有的客户端请求等待快照拍摄完成后再继续处理客户端请求特点快照与内存是一致的数据不会丢失用户的请求会被阻塞 bgsave手动触发拍摄RDB快照的将内存的所有数据拍摄最新的快照 后台运行主进程会fork一个子进程负责拍摄快照客户端可以正常请求不会被阻塞特点用户请求继续执行用户的新增的更新数据不在快照中 shutdown执行关闭服务端命令flushall清空没有意义 自动触发按照一定的时间内发生的更新的次数拍摄快照 配置文件中有对应的配置决定什么时候做快照 #Redis可以设置多组rdb条件默认设置了三组这三组共同交叉作用满足任何一个都会拍摄快照
save 900 1
save 300 10
save 60 10000为什么默认设置3组 原因如果只有一组策略面向不同的写的场景会导致数据丢失 - 针对不同读写速度设置不同策略进行交叉保存快照满足各种情况下数据的保存策略 优缺点 优点 rdb方式实现的是全量快照快照文件中的数据与内存中的数据是一致的快照是二进制文件生成快照加载快照都比较快体积更小Fork进程实现性能更好总结更快、更小、性能更好 缺点 存在一定概率导致部分数据丢失 应用希望有一个高性能的读写不影响业务允许一部分的数据存在一定概率的丢失**【做缓存】**大规模的数据备份和恢复 小结 什么是RDB机制优缺点分别是什么 思想在一定时间内如果Redis发生一定次数的更新就拍摄一个全量快照二进制文件存储在磁盘中 如果重启直接加载二进制文件恢复到内存 触发 手动bgsave,shutdown自动save 时间 次数 特点 优点更小、更快、全量、性能更好缺点存在一定概率数据丢失 场景大规模数据缓存或者数据备份和恢复
知识点20Redis持久化RDB测试 目标实现RDB持久化的测试 实施 查看当前快照 ll /export/server/redis/datas/配置修改 cd /export/server/redis
vim redis.conf
#202行
save 900 1
save 300 10
save 60 10000
save 20 2重启redis服务配置才会生效 shutdown
redis-start.sh插入数据 set s1 laodaset s2 laoliuset s3 laoliu查看dump的rdb快照 ll /export/server/redis/datas/小结 实现RDB持久化的测试
后记
博客主页https://manor.blog.csdn.net
欢迎点赞 收藏 ⭐留言 如有错误敬请指正 本文由 Maynor 原创首发于 CSDN博客 不能老盯着手机屏幕要不时地抬起头看看老板的位置⭐ 专栏持续更新,欢迎订阅https://blog.csdn.net/xianyu120/category_12394313.html
