东营网站建设dysem,京伦网站建设,烟台高新区建设局网站,wordpress粘贴图片版本:es 7.17.6 kibana 7.17.6 k8s:1.19.16
一、介绍
Elasticsearch和Kibana是一对强大的开源工具#xff0c;通常一起使用以构建实时数据分析和可视化解决方案。 Elasticsearch: Elasticsearch是一个分布式、高性能的实时搜索和分析引擎。它构建在开源搜索引擎库Lucene之上…版本:es 7.17.6 kibana 7.17.6 k8s:1.19.16
一、介绍
Elasticsearch和Kibana是一对强大的开源工具通常一起使用以构建实时数据分析和可视化解决方案。 Elasticsearch: Elasticsearch是一个分布式、高性能的实时搜索和分析引擎。它构建在开源搜索引擎库Lucene之上并提供了一个分布式、可扩展的架构用于存储、检索和分析大规模的数据。Elasticsearch支持全文搜索、结构化搜索、地理空间搜索等多种查询方式并提供了强大的聚合和分析功能。它还支持实时数据的索引和搜索使得您可以快速地在大数据集中进行复杂的搜索和分析操作。 Kibana: Kibana是一个开源的数据可视化工具专门用于分析和展示Elasticsearch中的数据。它提供了直观的图表、图形和仪表盘可用于实时监控和可视化大规模数据集。Kibana允许用户通过仪表盘配置和自定义可视化组件然后通过交互式的界面进行数据的探索和导航。它还支持复杂的数据过滤、查询和聚合操作使用户能够深入了解数据并发现隐藏的模式和见解。
通过将Elasticsearch和Kibana结合在一起可以构建强大的实时数据分析和可视化解决方案。Elasticsearch负责高性能的数据存储、检索和分析而Kibana则提供了直观易用的界面和工具使您能够将数据转化为有意义的见解和洞察。无论是监控日志数据、分析业务指标还是构建实时仪表盘和报告Elasticsearch和Kibana的组合可以帮助您实现强大的数据分析和可视化需求。
二、部署es
1、创建es namespace
apiVersion: v1
kind: Namespace
metadata:name: elklabels:name: elk
2、创建es StorageClass和pvc
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:name: es-storageclass
provisioner: nfs-storage-01
allowVolumeExpansion: true
reclaimPolicy: RetainapiVersion: v1
kind: PersistentVolumeClaim
metadata:name: es-storageclassnamespace: elkannotations:volume.beta.kubernetes.io/storage-class: es-storageclass
spec:resources:requests:storage: 200GivolumeMode: FilesystemaccessModes:- ReadWriteOnce3、通过sts的方式来部署es集群
apiVersion: apps/v1
kind: StatefulSet
metadata:name: es-clusternamespace: elk
spec:# 必须设置serviceName: es-cluster-svcreplicas: 3selector:# 设置标签matchLabels:app: es-clustertemplate:metadata:labels:app: es-clusterspec:# 初始化容器initContainers:- name: increase-vm-max-mapimage: busyboxcommand: [sysctl, -w, vm.max_map_count262144]securityContext:privileged: true- name: increase-fd-ulimitimage: busyboxcommand: [sh, -c, ulimit -n 65536]securityContext:privileged: true- name: increase-es-clusterimage: busyboxcommand: [/bin/sh, -c, mkdir -p /data/esbak,chown -R elasticsearch.elasticsearch /data/esbak ,chmod -R 777 /data/esbak]securityContext:privileged: truecontainers:- name: es-containerimage: elasticsearch:7.17.6ports:# 容器内端口- name: restcontainerPort: 9200protocol: TCP# 设置挂载目录volumeMounts:- name: es-datamountPath: /usr/share/elasticsearch/data- name: es-pluginsmountPath: /usr/share/elasticsearch/plugins#快照持久化路径- name: snapshot-volumemountPath: /data/esbak # 设置环境变量env:# 自定义集群名- name: cluster.namevalue: k8s-es# 定义节点名使用metadata.name名称- name: node.namevalueFrom:fieldRef:fieldPath: metadata.name# 初始化集群时ES从中选出master节点- name: cluster.initial_master_nodes# 对应metadata.name名称加编号编号从0开始value: es-cluster-0,es-cluster-1,es-cluster-2- name: discovery.zen.minimum_master_nodesvalue: 2#es快照备份路径- name: path.repovalue: /data/esbak# 发现节点的地址discovery.seed_hosts的值应包括所有master候选节点# 如果discovery.seed_hosts的值是一个域名且该域名解析到多个IP地址那么es将处理其所有解析的IP地址。- name: discovery.seed_hostsvalue: es-cluster-0.es-cluster-svc,es-cluster-1.es-cluster-svc,es-cluster-2.es-cluster-svc# 配置内存- name: ES_JAVA_OPTSvalue: -Xms8192m -Xmx8192m- name: network.hostvalue: 0.0.0.0#允许来自任意源的跨域请求- name: http.cors.allow-originvalue: *#启用跨域资源共享- name: http.cors.enabledvalue: true#索引分片数量- name: number_of_shardsvalue: 5#分片的副本数量- name: number_of_replicasvalue: 2volumeClaimTemplates:- metadata:# 对应容器中volumeMounts.namename: es-datalabels:app: es-volumespec:accessModes: [ ReadWriteOnce ]storageClassName: es-storageclassresources:requests:storage: 50Gi- metadata:name: es-pluginsspec:accessModes: [ ReadWriteOnce ]storageClassName: es-storageclassresources:requests:storage: 2Gi- metadata:name: es-pluginsspec:accessModes: [ ReadWriteOnce ]storageClassName: es-storageclassresources:requests:storage: 2Gi- metadata:name: snapshot-volumespec:accessModes: [ ReadWriteOnce ]storageClassName: es-storageclass# 申请资源的大小resources:requests:storage: 100Gi 4、部署es svc
apiVersion: v1
kind: Service
metadata:name: es-svcnamespace: elk
spec:selector:app: es-clustertype: NodePortports:- name: clusterport: 9200targetPort: 9200nodePort: 19200- name: transportport: 9300targetPort: 9300
5、发布es
kubectl applf -f ./ 6、验证
ip端口验证一下浏览器访问、curl命令都可以 三、部署es-head插件
这个插件方便我们查询es集群状态 1、编写yaml文件
apiVersion: apps/v1
kind: Deployment
metadata:labels:app: elasticsearch-headname: elasticsearch-headnamespace: elk
spec:replicas: 1selector:matchLabels:app: elasticsearch-headtemplate:metadata:labels:app: elasticsearch-headspec:containers:- image: springgos/es-head:latestimagePullPolicy: Alwaysname: elasticsearch-headports:- containerPort: 9100name: 9100tcp191001protocol: TCPresources: {}---
apiVersion: v1
kind: Service
metadata:labels:app: elasticsearch-headname: elasticsearch-headnamespace: elk
spec:ports:- name: 9100tcp191001nodePort: 19100port: 9100protocol: TCPtargetPort: 9100selector:app: elasticsearch-headtype: NodePort
2、访问验证 四、部署kibana
1、编写kibana-deploy.yaml和svc
注意kibana必须跟es保持同一个版本 apiVersion: apps/v1
kind: Deployment
metadata:name: kibananamespace: elk
spec:selector:matchLabels:app: kibanareplicas: 1template:metadata:labels:app: kibanaspec:restartPolicy: Alwayscontainers:- name: kibanaimage: kibana:7.17.6imagePullPolicy: Alwaysports:- containerPort: 5601env:- name: ELASTICSEARCH_HOSTSvalue: http://es-cluster-svc:9200
---
apiVersion: v1
kind: Service
metadata:name: kibananamespace: elk
spec:type: NodePortports:- name: kibanaport: 5601targetPort: 5601nodePort: 25601selector:app: kibana然后发布应用 kubectl applf -f ./
2、浏览器验证
如果es集群没有启动正常这里面是会报错的 五、通过kibana来创建es快照
1、什么是es快照
在Elasticsearch中快照备份是一种将索引和集群的状态数据保存到可恢复的快照中的机制。通过创建快照你可以在需要时恢复数据或在不同的集群之间迁移数据。
存储库Repository存储库是用来保存快照数据的位置可以是本地文件系统、远程文件系统或云存储服务。你需要在Elasticsearch中配置一个存储库指定存储快照的位置。快照Snapshot快照是在存储库中保存的索引和集群状态的副本。它包含了所有或指定的索引的数据、设置和元数据信息。过程Process创建快照的过程涉及协调节点coordinating node与数据节点data node之间的协作。协调节点负责指导数据节点将数据写入存储库并协调快照的创建过程
2、创建es快照
(1)、点击Stack Management (2)、创建快照库 参数解释
(File system location
这个是定义快照仓库路径我这边直接在es容器里面创建了所以我直接写的/data/esbak填写的目录一定要存在哟要不保存会报错提示没有这个目录。
Snapshot compression
参数用于压缩快照的索引映射和设置文件而数据文件本身不会被压缩。减少快照对磁盘空间占用。
Chunk size
“分块大小”是用于在快照过程中将大文件分成较小单元的概念。当创建快照时通常会将数据分割成更小、可管理的块以便进行高效的存储和备份。
Max snapshot bytes per second
“Max snapshot bytes per second”是每个节点创建快照的最大速率。
在数据存储系统中当创建快照时系统会复制数据并保存为快照。但是为了避免对系统的过度负载可以设置每个节点可以每秒复制的最大字节数。
Max restore bytes per second
Max restore bytes per second” 是每个节点进行快照还原的最大速率。
在数据存储系统中当需要从快照还原数据时系统会将快照中的数据复制回原始存储位置或目标位置。为了避免对系统造成过载可以设置每个节点每秒复制的最大字节数。
通过设置 “Max restore bytes per second”可以限制每个节点进行快照还原的速率。这有助于平衡系统资源的使用确保还原操作不会过多地消耗节点的处理能力或网络带宽。
Read-only
表示只有一个集群可以对该存储库进行写入操作而其他所有集群只能进行读取操作。 3、创建定时备份 参数解释
Data streams and indices
要备份索引和数据流可以手动选择它们或定义索引模式以动态匹配它们
参数解释
Data streams and indices
要备份索引和数据流可以手动选择它们或定义索引模式以动态匹配它们
Ignore unavailable indices
在进行快照时忽略不可用的索引。否则整个快照将会失败。
在进行数据快照时如果其中一个索引不可用比如索引已被删除或处于不可访问状态默认情况下整个快照操作都将失败。为了避免这种情况可以选择忽略不可用的索引。
通过设置 “忽略不可用的索引”即使某些索引在快照时不可用快照操作也会继续进行并且其他可用的索引将会被备份。这样可以确保整个快照操作的成功。
Allow partial indices
允许备份部分索引即允许备份包含不可用主分片的索引。否则整个快照将会失败。
在进行数据快照时如果某个索引的主分片不可用比如主分片丢失或不可访问默认情况下整个快照操作都将失败。为了避免这种情况可以选择允许备份部分索引。
通过设置 “允许部分索引”即使某个索引的主分片不可用快照操作仍将继续进行并且其他可用的分片将被备份。这样可以确保整个快照操作的成功。
Include global state
是指在进行数据快照时将全局集群状态和系统索引作为快照的一部分进行存储。
全局集群状态包含了有关整个Elasticsearch集群的配置和元数据信息例如索引模板、映射和设置等。系统索引包含了与Elasticsearch集群运行和管理相关的索引例如集群状态索引cluster state、索引模板索引、别名索引等。
通过包含全局状态可以完整地备份整个集群配置和元数据以便在需要时进行还原或迁移。
在进行快照时忽略不可用的索引。否则整个快照将会失败。
在进行数据快照时如果其中一个索引不可用比如索引已被删除或处于不可访问状态默认情况下整个快照操作都将失败。为了避免这种情况可以选择忽略不可用的索引。
通过设置 “忽略不可用的索引”即使某些索引在快照时不可用快照操作也会继续进行并且其他可用的索引将会被备份。这样可以确保整个快照操作的成功。 参数解释
Snapshots to retain
最小快照数: 这是策略中必须保留的最低快照数。无论其他条件如何都将保留至少此数量的快照。这确保了在最坏的情况下至少有一定数量的备份可供恢复。
最大快照数: 这是策略中允许保留的最大快照数。超过此数量的快照将被删除以避免无限增加存储空间的需求。保留较少的快照可以节省存储空间并提供更好的管理快照的能力。 注意一下kibana这个时区是美国时区跟中国时区相差12小时
六、验证
在kibana和服务器看已经有备份了快照备份成功
