营销型网站是啥意思,尊云服务器,上海央企排名前十名,网站怎样做优化调整Cassandra操作 本文档操作都是在单数据中心#xff0c;Vnode上操作1.1. 添加节点到集群中 1.1.1. 添加非seed单节点 1.在新节点上安装Cassandra#xff0c;但不要启动2.修改cassandra.yaml文件#xff1a;cluster_name – 新节点加入集群名称listen_address/rpc_address – …Cassandra操作 本文档操作都是在单数据中心Vnode上操作1.1. 添加节点到集群中 1.1.1. 添加非seed单节点 1.在新节点上安装Cassandra但不要启动2.修改cassandra.yaml文件cluster_name – 新节点加入集群名称listen_address/rpc_address – 新节点IPseed_provider – 集群seeds列表3.启动新节点Cassandra4.使用nodetool status验证节点是否启动完毕状态为UN5.运行nodetool cleanup(或OpsCenter)在集群节点上移除脏数据(建议在低峰执行)1.2. 添加非seed单节点案例 已经存在Cassandra集群cluster_name ‘Test Cluster’ xxx_address 192.168.92.148 seed_provider 192.168.92.148 wKiom1cppL3B4g3eAAAi2QSK7_A312.png添加新节点192.168.92.149:1.安装Cassandra参考《Cassandra教程》wKioL1cppdWBh1E0AAAqS7BJjj8685.png2.修改cassandra.yamlcluster_namewKiom1cppRyQgL1OAAAJH-7ICJM624.pngseed_providerwKiom1cppTGRTNDYAAAFzgKBsxI614.pnglisten_address:wKiom1cppUKSINlaAAARH9Y2M4k195.pngrpc_address:wKioL1cppiuSXaHTAAAwhOPL0cU905.png3.启动CassandrawKiom1cppWrQEh_ZAAAHfko1RTA314.png4.验证新节点192.168.92.149是否启动完毕wKioL1cpplGjOAObAAAwiZhPyqs058.png5.删除192.168.92.148上的脏数据wKioL1cppnDRvX69AAAJU_XNzH8484.png或者wKiom1cppa6zkjcMAAEQ_CWmkCk571.png1.1.3. 添加非seed多个节点 步骤参考1.1.1唯一不同点步骤3启动Cassandra需要同时启动避免数据多次迁移。wKiom1cppcXgG_yVAAATIyr-29o972.pngwKioL1cppqqx_7fCAAAJIH1hzKU774.png1.1.4. 添加seed节点 由于seed需要修改cassandra.yaml文件所以需要重启所有节点1.先将seed作为非seed节点安装启动完成数据迁移操作步骤参考1.1.12.修改所有节点的cassandra.yaml文件添加seed3.重启所有节点1.2. 替换一个dead节点 由于一些硬盘损坏等原因需要执行替换dead节点1.确保dead节点状态为DN使用nodetool status:wKioL1cppsGzufqHAADpeBCNoHM141.png注意Address需要在下面步骤用到2.修改新节点cassandra.yaml文件参考1.1.13.启动新节点使用replace_address选项$ sudo bin/cassandra -Dcassandra.replace_addressaddress_of_dead_node删除节点参考1.4(建议72小时之后操作确保gossip删除掉了老节点)1.3. 替换一个running节点 由于升级新硬件等原因需要使用新节点替换添加新节点到集群中参考步骤1.1.1确保替换running节点状态为UN使用nodetoolstatus:wKiom1cpphiDrWPlAAA1B_i8fJk015.png4.删除running节点参考1.41.4. 删除节点 1.4.1. 删除UN状态节点 运行nodetooldecommission删除UN节点wKioL1cppv_j7ZivAAAH3iGF5ks849.png或者wKiom1cppjmTCRaaAAE-5vBVfQI416.png1.4.2. 删除DN状态节点 运行nodetoolremovenode命令wKiom1cppkrQRrCpAAAItR3PQ6g995.png注意 如果以上步骤无法删除可能是由于节点存在脏数据请运行nodetool assassinate强制删除1.5. 修改ReplicationFactor 1.5.1. ReplicationFactor减少 运行nodetool cleanup删除脏数据或者wKioL1cpp0Situ8oAAEQ_GnCSZU529.png1.5.2. ReplicationFactor增加 运行nodetool repair迁移数据或者wKioL1cpp2bw3WA-AAEwA_ieu7E092.pngCassandra优化 2.1. 安装前配置建议 2.1.1. 安装jemalloc jemalloc适合多线程下内存分配管理 wget http://www.canonware.com/download/jemalloc/jemalloc-3.6.0.tar.bz2 tar xjf jemalloc-3.6.0.tar.bz2 cd jemalloc-3.6.0 ./configure make make install echo /usr/local/lib/etc/ld.so.conf.d/local.conf ldconfig wKioL1cpp5HyAG8oAAA3jpQPa8Y101.png2.1.2. 安装NTP (略) 2.1.3. Commit log和data目录在独立硬盘 wKioL1cpp6PyIWveAAAvC7KYWAI807.pngwKiom1cppt2gKIqAAAAhpSf2WaI010.png2.1.4. 硬盘类型 硬盘类型SSD(微秒)SAS(毫秒)SATA(秒)延迟100~1208~40152.1.5. Linux优化 1.文件操作符/etc/security/limits.confnofile 65535memlock unlimited – nofile 32768 – as unlimited /etc/security/limits.d/90-nproc.confnproc 327682.Swap/etc/sysctl.confvm.max_map_count 131072 #最大限度使用物理内存 vm.swappiness 0 使之生效sysctl -p永久关闭swapswapoff –a /etc/fstab注释掉swapwKiom1cppyKA6sJrAAAzLjQpz9o105.png3.NUMAecho 0 /proc/sys/vm/zone_reclaim_mode 4.文件系统类型EXT4 2.1.6. 磁盘阵列RAID优化 使用高效性能RAID0 sudo blockdev --setra 128 /dev/ 2.1.7. cassandra-evn.sh配置建议 JVM配置在cassandra-evn.sh中MAX_HEAP_SIZE生产环境建议8GwKiom1cpp1GwzHp0AACEXhULvLs062.pngHEAP_NEWSIZE一般设置为MAX_HEAP_SIZE的1/4添加cassandra压缩线程级别减少其资源占用-Dcassandra.compaction.priority1 打开JVM压缩减少内存占用适用于64位JVM-XX:UseCompressedOops wKiom1cpp4KxPqHZAABZY1Ttqvc623.png2.1.8. cassandra.yaml配置建议 concurrent_reads16 * number_of_drives concurrent_counter_writes16 * number_of_drives concurrent_writes8 * number_of_cores #使用Memory Mapped File IO性能超过Standard IO64位 disk_access_mode: mmap #write性能提升5% memtable_allocation_type: offheap_objects2.2. 安装后监控——定位——优化 2.2.1. nodetool tpstats 线程池使用统计看是否有积压线程wKiom1cpp6nTmTMAAABUQAaTpeo434.png或者使用OpsCenterwKioL1cpqJCz6-lvAAA-lJo_EU0610.pngwKioL1cpqKWDALVwAAAmDlC-FsU281.png2.2.2. Read Requests/Write Requests 结合CPU和Disk使用监控来判断系统每秒可以支持的操作数量wKiom1cpp_DQtQE8AABRdkfpp3w679.pngwKioL1cpqMbC1TDwAAA-wD4PguY526.png2.2.3. total Memtable size 与内存使用比较确保大的memtable不会导致内存竞争大的memtable有利于写多读少情况wKioL1cpqOKCHLMgAAAk_7lutxM979.png2.2.4. SSTable count 确保sstablecount比较低(个位数)每次读操作会检查所有sstable太多的sstable影响read性能wKioL1cpqPaDs7LMAAAncf0Pt6g071.png2.2.5. total bytes compacted 确保不会发生频繁操作wKioL1cpqQiwB3gFAAA_LtjQpYs529.png2.2.6. read latency/write latency 确保延迟在可接受范围之内不包含网络延迟wKioL1cpqSPCdxQWAAAnjLcjGm4907.pngwKiom1cpqE6TT1WAAAAnQwgF-7o431.png出问题后定位writelatency写响应平均时长(以毫秒为单位)。依赖于consistency level和replication factor也包含了写replicas的网络延迟read latency受到硬盘网络和应用程序读的方式等影响。比如使用二级索引读请求数据大小client需要的consistencylevel都将影响readlatency。I/O的争用也会增加read latency。当SSTables有很多碎片compaction跟不上写负载则读也会变慢。2.2.7. partition size 监控表分区大小确保max不超过100MwKiom1cpqG2zVpQaAAAl8484Yio823.png2.2.8. cell count 监控表cell count确保不超过20亿wKioL1cpqVeCp-SOAAAkXqDKpLU110.png2.2.9. write Read active 读写请求数wKioL1cpqWnjxZXkAAAqG5kF0pA383.png2.2.10. OS系统监控 监控CPU、Memory、Disk的使用率、饱和度。wKioL1cpqYzy_ASAAAAhDAPQE1U728.pngwKiom1cpqLjjAFHLAAAlkQpGBhY571.pngwKioL1cpqY3QeNSrAAAhZsQei-k449.png 转载于https://blog.51cto.com/eric100/1770036
