直接做的视频网站,网络营销到底是干嘛的,如何查询网站备案进度,国外有做塑料粒子的网站吗GFS概念
Gluster 是一个开源的分布式文件系统
它是一个C/S架构
由存储服务器、客户端以及NFS/Samba存储网关组成
没有元数据服务器组件#xff0c;这有助于提升整个系统的性能#xff0c;可靠性和稳定性
文件系统定义
负责实现数据存储方式#xff0c;以什么格式保存在…GFS概念
Gluster 是一个开源的分布式文件系统
它是一个C/S架构
由存储服务器、客户端以及NFS/Samba存储网关组成
没有元数据服务器组件这有助于提升整个系统的性能可靠性和稳定性
文件系统定义
负责实现数据存储方式以什么格式保存在磁盘中的一个技术
GlusterFS特点
扩展性和高性能
分布式的特性
高可用性
冗余、容灾的能力
全局统一命令空间
将所有节点的命名空间整个统一命令空间。将整个系统的所有节点的存储容量组成一个大的虚拟存储池供客户端访问
弹性卷管理
逻辑存储池可以在线进行增加和移除不会导致业务中断。逻辑卷可以根据需求在线增长和缩减并可以在多个节点中实现负载均衡
基于标准协议
按照什么协议进行传输TCP/UDPGluster 存储服务支持 NFS、CIFS、HTTP、FTP、SMB 及 Gluster原生协议完全与 POSIX 标准可移植操作系统接口兼容
GlusterFS专业术语
Brick块存储服务器
实际存储用户数据的服务器相当于逻辑卷中的PE
Volume逻辑卷
一个逻辑卷是一组Brick的集合卷是数据存储的逻辑设备
本地文件系统的“分区”
FUSE用户空间的文件系统
用户的空间的文件系统类别EXT4这是一个”伪文件系统就是虚拟的文件系统“用户端的交换模块
VFS虚拟端口
用户是提交请求给VFS然后VFS交给FUSH再交给GFS客户端最后由客户端交给远程服务端进行存储
Glusterd服务
是运行再存储节点的进程客户端运行的是gluster clientGFS使用过程中整个GFS之间的交换由Gluster client 和 glusterd 完成
GlusterFS构成
模块化堆栈式架构
GlusterFS 采用模块化、堆栈式的架构通过对模块进行各种组合即可实现复杂的功能。例如 Replicate 模块可实现 RAID1Stripe 模块可实现 RAID0 通过两者的组合可实现 RAID10 和 RAID01同时获得更高的性能及可靠性
API
应用程序编程接口
模块化
每个模块可以提供不同的功能
推栈式
同时启用多个模块多个功能功能可以组合实现复杂的功能
1、GlusterFS总流程 I/O cache I/O缓存read ahead 内核文件预读distribute/stripe 分布式、条带化Gige 千兆网/千兆接口TCP/IP 网络协议InfiniBand 网络协议与TCP/IP具有转发丢失数据包的特性基于此通信协议可能导致通信变慢而IB使用基于信任的流程制的机制来保证连接的完整性。RDMA 负责数据传输有一种数据传输协议功能为了解决传输过程中客户端与服务器端数据处理的延迟。
上半部分为客户端中间为网络层下班部分为服务端
封装多核功能模块组成推栈式的结构来实现复杂的功能。然后以请求的方式与客户端进行交互客户端与服务端进行交互由于可能会存在系统兼容问题需要通过posix来解决系统兼容性问题让客户端的命令通过posix过滤后可以在服务端执行。
2、GFS的工作原理 上图说明
①外来一个请求例用户端申请创建一个文件客户端或应用程序通过GFS的挂载点访问数据。
②linux系统内核通过VFS的API收到请求并处理。
③VFS将数据递交给FUSE内核文件系统fuse文件系统则是将数据通过/dev/fuse设备文件递交给GluseterFS client端。
④GlusterFS client端收到数据后会根据配置文件的配置对数据进行处理。
⑤再通过网络将数据发送给远程端的Gluster server并将数据写入到服务器储存设备上。
⑥server再将数据转交给VFS虚拟文件系统转换再由VFS进行CFS转存处理最后交给EXT3文件系统最后存储到磁盘中。
3、分布式gfs服务器存储
分布式GFS存储是依靠于弹性hash算法通过对存储内容进行hash算法的运算可以得到32位的整数将32位整数平均划分到 分布式服务器中也就是每一个brick对应一段整数范围。用户根据计算得出数字找到对应的brick块。
弹性HASH算法
弹性 HASH 算法是 Davies-Meyer 算法的具体实现通过 HASH 算法可以得到一个 32 位的整数范围的 hash 值假设逻辑卷中有 N 个存储单位 Brick则 32 位的整数范围将被划分为 N 个连续的子空间每个空间对应一个 Brick。当用户或应用程序访问某一个命名空间时通过对该命名空间计算 HASH 值根据该 HASH 值所对应的 32 位整数空间定位数据所在的 Brick。
弹性HASH算法的优点
保证数据平均分布在每一个Brick中解决了对元数据服务器的依赖,进而解决了单点故障
四、GlusterFS的卷类型
1、分布式卷
没有对文件进行分块处理通过扩展文件属性保存HASH值支持底层文件系统有EXT3、EXT4、ZFS、XFS等 特点
文件分布在不同的服务器不具备冗余性更容易和廉价的扩展卷的大小。单点故障会造成数据丢失依赖底层的数据保护
2、条带卷
根据偏移量将文件分成N块N个条带节点轮询的存储在每个Brick Server节点存储大文件时性能尤为突出不具备冗余性类似Raid0 特点
数据被分割成更小块分布到块服务器群集中的不同条带区。分布减少了负载且更小的文件加速了存取的速度。没有数据冗余
3、复制卷
同一文件保存一份或多份副本因为要保存副本所以磁盘利用率较低若多个节点上的存储空间不一致将按照木桶效应取最低点的容量作为该卷的总容量。 特点
卷中所有的服务器均保存一个完整的副本卷的副本数量可由创建的时候决定但是复制必须等于卷中Brick所包含的存储服务器数。至少由两块服务器或更多服务器具备冗余性
4、分布式条带卷
兼顾分布式卷和条带卷的功能主要用于大文件访问处理至少最少需要4台服务器
5、分布式复制卷
兼顾分布式卷和复制卷的功能用于需要冗余的情况
五、部署GlusterFS集群实验
1、集群环境
Node1节点node1/192.168.154.40 磁盘 /dev/sdb1 挂载点 /data/sdb1/dev/sdc1 /data/sdc1/dev/sdd1 /data/sdd1/dev/sde1 /data/sde1Node2节点node2/192.168.154.50 磁盘 /dev/sdb1 挂载点 /data/sdb1/dev/sdc1 /data/sdc1/dev/sdd1 /data/sdd1/dev/sde1 /data/sde1Node3节点node3/192.168.154.60 磁盘 /dev/sdb1 挂载点 /data/sdb1/dev/sdc1 /data/sdc1/dev/sdd1 /data/sdd1/dev/sde1 /data/sde1Node4节点node4/192.168.154.70 磁盘 /dev/sdb1 挂载点 /data/sdb1/dev/sdc1 /data/sdc1/dev/sdd1 /data/sdd1/dev/sde1 /data/sde1客户端节点192.168.154.30
更改节点主机名称、关闭防火墙
以下四台服务器相同操作分别命名名称为node1、node2、node3、node4
[rootydq1 ~]# systemctl stop firewalld
[rootydq1 ~]# setenforce 0
[rootydq1 ~]# hostnamectl set-hostname node1
[rootydq1 ~]# su
[rootnode1 ~]# 节点进行磁盘挂载安装本地源
所有节点都需要做这边以node1为例
------------------------编写自动分区脚本并执行---------------------------
[rootnode1 ~] # vim /opt/fdisk.sh#!/bin/bash
NEWDEVls /dev/sd* | grep -o sd[b-z] | uniq
for VAR in $NEWDEV
doecho -e n\np\n\n\n\nw\n | fdisk /dev/$VAR /dev/nullmkfs.xfs /dev/${VAR}1 /dev/nullmkdir -p /data/${VAR}1 /dev/nullecho /dev/${VAR}1 /data/${VAR}1 xfs defaults 0 0 /etc/fstab
done
mount -a /dev/null:wq[rootnode1 ~] # chmod x /opt/fdisk.sh
[rootnode1 ~] # cd /opt/
[rootnode1 /opt] # ./fdisk.sh-----------------------创建本地DNS-------------------------------
[rootnode1 /opt] # echo 20.0.0.55 node1 /etc/hosts
[rootnode1 /opt] # echo 20.0.0.56 node2 /etc/hosts
[rootnode1 /opt] # echo 20.0.0.57 node3 /etc/hosts
[rootnode1 /opt] # echo 20.0.0.58 node4 /etc/hosts----------------------上传gfsrepo软件到/opt目录下
[rootnode1 /opt] # ls
fdisk.sh rh
[rootnode1 /opt] # rz -E
rz waiting to receive.
[rootnode1 /opt] # ls
fdisk.sh gfsrepo.zip rh
[rootnode1 /opt] # unzip gfsrepo.zip ----------------------编写创建本地源脚本并执行------------------------
[rootnode1 opt]# vim /opt/gfs.shcd /etc/yum.repos.d/
mkdir repo.bak
mv *.repo repo.bakecho [glfs]
nameglfs
baseurlfile:///opt/gfsrepo
gpgcheck0
enabled1 glfs.repo[rootnode1 opt]# chmod x gfs.sh
yum clean all yum makecache--------------------安装glusterd服务并启动---------------------
[rootnode1 opt]# yum -y install glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma
[rootnode1 opt]# systemctl start glusterd.service
[rootnode1 opt]# systemctl enable glusterd.service
[rootnode1 opt]# systemctl status glusterd.service 添加节点创建集群
添加节点到存储信任池中仅需在一个节点上操作我这里依旧在node1节点上操作
---------------------添加集群节点---------------------------
[rootnode1 opt]# gluster peer probe node1
peer probe: success. Probe on localhost not needed
[rootnode1 opt]# gluster peer probe node2
peer probe: success.
[rootnode1 opt]# gluster peer probe node3
peer probe: success.
[rootnode1 opt]# gluster peer probe node4
peer probe: success. ------------------查看集群节点-------------------------------
[rootnode1 opt]# gluster peer status
Number of Peers: 3Hostname: node2
Uuid: d7a3589b-da11-4f39-ac2a-f34416ca88a6
State: Peer in Cluster (Connected)Hostname: node3
Uuid: c57b2162-3f76-45ae-b139-fead1580a6f5
State: Peer in Cluster (Connected)Hostname: node4
Uuid: d4a0dc1c-31c5-4731-a7a1-783784325458
State: Peer in Cluster (Connected) 根据规划创建卷
根据以下规划创建卷
卷名称 卷类型 Brick
dis-volume 分布式卷 node1(/data/sdb1)、node2(/data/sdb1)
stripe-volume 条带卷 node1(/data/sdc1)、node2(/data/sdc1)
rep-volume 复制卷 node3(/data/sdb1)、node4(/data/sdb1)
dis-stripe 分布式条带卷 node1(/data/sdd1)、node2(/data/sdd1)、node3(/data/sdd1)、node4(/data/sdd1)
dis-rep 分布式复制卷 node1(/data/sde1)、node2(/data/sde1)、node3(/data/sde1)、node4(/data/sde1)
创建分布式卷 创建条带卷 创建复制卷 创建分布式条带卷 创建分布式复制卷 查看创建的卷种类 客户端 客户端测试
创建文件数据 查看挂载的数据 破坏性测试
挂起 node2 节点或者关闭glusterd服务来模拟故障
[rootnode2 ~]# systemctl stop glusterd.service在客户端上查看文件是否正常
分布式卷
[rootpromote test]# ll /test/dis/
总用量 163840
-rw-r--r-- 1 root root 41943040 12月 18 14:50 demo1.log
-rw-r--r-- 1 root root 41943040 12月 18 14:50 demo2.log
-rw-r--r-- 1 root root 41943040 12月 18 14:50 demo3.log
-rw-r--r-- 1 root root 41943040 12月 18 14:50 demo4.log
条带卷
[root test]# cd /test/stripe/ #无法访问条带卷不具备冗余性
[rootpromote stripe]# ll
总用量 0
分布式条带卷
[rootpromote test]# ll /test/dis_stripe/ #无法访问分布条带卷不具备冗余性
总用量 40960
-rw-r--r-- 1 root root 41943040 12月 18 14:51 demo5.log
分布式复制卷
[rootpromote test]# ll /test/dis_rep/ #可以访问分布式复制卷具备冗余性
总用量 204800
-rw-r--r-- 1 root root 41943040 12月 18 14:52 demo1.log
-rw-r--r-- 1 root root 41943040 12月 18 14:52 demo2.log
-rw-r--r-- 1 root root 41943040 12月 18 14:52 demo3.log
-rw-r--r-- 1 root root 41943040 12月 18 14:52 demo4.log
-rw-r--r-- 1 root root 41943040 12月 18 14:52 demo5.log 总结
复制卷(rep)、分布式复制卷(dis-rep) 具有冗余性其余的没有
其它维护命令
1查看GlusterFS卷
gluster volume list 2查看所有卷的信息
gluster volume info3查看所有卷的状态
gluster volume status
4停止一个卷
gluster volume stop dis-stripe5删除一个卷注意删除卷时需要先停止卷且信任池中不能有主机处于宕机状态否则删除不成功
gluster volume delete dis-stripe6设置卷的访问控制
#仅拒绝
gluster volume set dis-rep auth.deny 192.168.80.1007.仅允许
gluster volume set dis-rep auth.allow 192.168.80.* #设置192.168.80.0网段的所有IP地址都能访问dis-rep卷分布式复制卷
