做男女的那个视频网站,新昌县住房和城乡建设局网站,网站建设网站制作公司,wordpress结合cms本文记录工作中常用的关于 Elasticsearch 的 HTTP 接口#xff0c;以作备用#xff0c;读者也可以参考#xff0c;会持续补充更新。开发环境基于 Elasticsearch v5.6.8、v1.7.5、v2.x。 集群状态
集群信息 1
2
3
4
5
6
7http://localhost:9200/_cluster/stats?pretty
http…本文记录工作中常用的关于 Elasticsearch 的 HTTP 接口以作备用读者也可以参考会持续补充更新。开发环境基于 Elasticsearch v5.6.8、v1.7.5、v2.x。 集群状态
集群信息 1
2
3
4
5
6
7http://localhost:9200/_cluster/stats?pretty
http://localhost:9200/_cat/nodes
http://localhost:9200/_cat/indices
http://localhost:9200/_cluster/state
http://localhost:9200/_cat/aliasesGET _nodes/_all/stats/fs?prettytrue可以看到整个集群的索引数、分片数、文档数、内存使用等等信息。
健康状况 1http://localhost:9200/_cat/health?v可以看到分片数量状态【红、黄、绿】。
空间使用
查询每个节点的空间使用情况预估数据大小 1http://localhost:9200/_cat/allocation?v分片分布 1http://localhost:9200/_cat/shards索引状态
可以看到索引的数据条数、磁盘大小、分片个数【可以使用别名】。
各项指标解释说明参考indices-stats 。 1http://localhost:9200/your_index/_stats集群配置信息 1http://localhost:9200/_cluster/settings?pretty对于一些可以设置的参数临时生效对于集群的管理很有帮助。
例如节点黑名单cluster.routing.allocation.exclude._ip临时下线节点类似于黑名单分片不会往指定的主机移动同时会把分片从指定的节点全部移除最终可以下线该节点可通过 put transient 设置临时生效。 1
2
3
4
5curl -XPUT 127.0.0.1:9200/_cluster/settings -d {transient :{cluster.routing.allocation.exclude._ip : 192.168.0.1}
}例如临时关闭分片重分配【开启时设置值为 all】。 1
2
3
4
5
6
7
8
9
10
11
12curl -XPUT 127.0.0.1:9200/_cluster/settings -d {transient: {cluster.routing.allocation.enable: none}
}PUT /_cluster/settings/
{transient: {cluster.routing.allocation.enable: none}
}设置整个集群每个节点可以分配的分片数主要是为了数据分布均匀。 1
2
3
4
5
6
7
8GET _cluster/settingsPUT /_cluster/settings/
{transient: {cluster.routing.allocation.total_shards_per_node: 50}
}设置慢索引阈值指定索引进行操作可以使用通配符 1
2
3curl -XPUT 127.0.0.1:9200/your_index_*/_settings -d {index.indexing.slowlog.threshold.index.info: 10s
}设置慢查询阈值方式类似 1
2
3curl -XPUT 127.0.0.1:9200/your_index_*/_settings -d {index.indexing.slowlog.threshold.search.info: 10s
}推迟索引分片的重新分配时间平【适用于 Elasticsearch 节点短时间离线再加入集群提前设置好这个参数避免从分片的复制移动降低网络 IO】。 1
2
3
4
5
6PUT /your_index/_settings
{settings: {index.unassigned.node_left.delayed_timeout: 5m}
}可以使用索引别名、通配符设置这样就可以一次性设置多个索引甚至全部的索引。
热点线程
查看热点线程可以判断热点线程是 searchbulk还是 merge 类型从而进一步分析是查询还是写入导致 CPU 负载过高。 1
2
3http://localhost:9200/_nodes/node0/hot_threadshttp://localhost:9200/_nodes/hot_threads请求队列
查看请求队列情况可以看到每种类型请求的积压情况 1
2
3
4
5
6
7
8
9
10
11
12
13http://localhost:9200/_cat/thread_pool?v# 添加参数可以查看各个指标
http://localhost:9200/_cat/thread_pool/search?vhnode_name,ip,name,active,queue,rejected,completed,type,queue_size注意size 指标【在节点启动时是 0随着请求进来才会增加】有特殊含义不代表配置文件中的 size 参数【fixed 类型】。size会从 0 开始增长表示已经开启的线程池大小直到 max 值即配置文件中配置的。
min、max含义根据线程池类型不同而不同。查询请求/_tasks?detailedtrueactions*search*取消单个请求/_tasks/xx/_cancel取消整个节点/_tasks/_cancel?nodesxxactions*search*节点配置信息
可以查看节点的 JVM 配置、插件信息、队列配置等等。 1
2
3http://localhost:9200/_nodes/node_id
http://localhost:9200/_nodes?prettytrue
http://localhost:9200/_nodes/stats/thread_pool?prettytrue注意thread_pool 线程池相关参数自从 v5.x 以后不支持动态设置【即通过 put 接口】只能通过更改节点的配置文件并重启节点来操作这也说明了这个参数是对于节点生效不同配置的节点可以设置不同的值。
使用堆内存大小
使用 1http://localhost:9200/_cat/fielddata查看当前集群中每个数据节点上被 fielddata 所使用的堆内存大小。
此外还可以指定字段 1
2http://localhost:9200/_cat/fielddata?vfieldsuidpretty
http://localhost:9200/_cat/fielddata/uid?vpretty按照节点、索引来查询 1
2
3
4
5
6
7
8
9按照索引、分片
http://localhost:9200/_stats/fielddata?fields*按照节点
http://localhost:9200/_nodes/stats/indices/fielddata?fields*按照节点、索引分片
http://localhost:9200/_nodes/stats/indices/fielddata?levelindicesfields*
http://localhost:9200/_nodes/stats/indices/fielddata?levelindicesfields_uid清理缓存 1
2
3curl localhost:9200/index/_cache/clear?prettyfilterfalsefield_datatruefields_uid,site_name关于 bloomfalse 参数的问题要看当前 Elasticsearch 版本是否支持v5.6.x 是不支持了。推迟索引分片的重新分配时间
适用于节点短时间离线再加入集群提前设置好避免从分片的复制移动。 1
2
3
4
5
6PUT your_index/_settings
{settings: {index.unassigned.node_left.delayed_timeout: 5m}
}排除掉节点
不让索引的分片分配在上面想取消设置为 null 即可。 1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16# 索引级别的
PUT your_index/_settings
{index.routing.allocation.exclude._ip: ip1,ip2
}# 集群级别的等价于下线节点滚动重启时需要
PUT /_cluster/settings/
{transient: {cluster.routing.allocation.exclude._ip: ip1,ip2}
}# 集群均衡移动分片的并发数不能太大
cluster.routing.allocation.cluster_concurrent_rebalance基于负载的智能路由查询
v6.2 以及以上版本search 智能路由设置v7.0 以及以上版本默认开启。 1
2
3
4
5
6PUT /_cluster/settings
{transient: {cluster.routing.use_adaptive_replica_selection: true}
}查询全局超时时间
search 全局超时时间避免某些耗时的查询把集群拖垮。 1
2
3search.default_search_timeout示例5m查询时指定分片主机等 1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24preference_shards:8,12
preference_only_nodes:1
preference_primary
preference_replicaPOST your_index/_search?preference_shards:12
{query: {match_phrase: {content: 查证 quot;}}
}# 注意指定节点之后还要指定分片否则查询时报错找不到某个分片对应的节点。
# 示例
POST your_index_name/_search?preference_only_nodes:YKA3ZivmSj2K6qutW6KNQQpreference_shards:3
{query: {match_all: {}}
}分片迁移的并发数带宽流量大小等等 1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17# 并发数
PUT _cluster/settings
{transient: {cluster.routing.allocation.node_concurrent_outgoing_recoveries: 3,cluster.routing.allocation.node_concurrent_incoming_recoveries: 3,cluster.routing.allocation.node_concurrent_recoveries: 3}
}# 带宽
PUT _cluster/settings
{transient: {indices.recovery.max_bytes_per_sec: 20mb }
}只读索引问题
在集群机器的磁盘快用完之前集群会自动设置这台机器上面的节点的索引为【只读模式】不可写入写入直接拒绝并抛出异常信息。 120/10/10 19:02:44 ERROR ESBulkProcessor: {index:your_index_name,type:post,id:12aad31610551fb2e236367bbde01db7,cause:{type:exception,reason:Elasticsearch exception [typecluster_block_exception, reasonblocked by: [FORBIDDEN/12/index read-only /allow delete (api)];]},status:403}此时除了清理数据还需要手动设置。 1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19GET your_index_*/_settingsPUT your_index_*/_settings
{index: {blocks: {read_only_allow_delete: false}}
}PUT your_index_*/_settings
{index: {blocks: {read_only_allow_delete: null}}
}参考官方文档cluster.routing.allocation.disk.watermark.flood_stage 。
分析器
可以查看不同分析器的分词结果或者基于某个索引的某个字段查看分词结果。下面列举一些例子其它更多的内容请读者参考另外一篇博客Elasticsearch 分析器使用入门指南 。
查看集群安装的各种分词器效果指定文本内容、分词器即可 1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17POST _analyze
{text: 行完成是否成功请查看 ccc,analyzer:wordsEN
}POST _analyze
{text: 行完成是否成功请查看 ccc,analyzer:standard
}POST _analyze
{text: 行完成是否成功请查看 ccc,analyzer:english
}查看某个索引的某个字段的分词器效果【索引已经指定分词器可以通过 mapping 查看】指定索引名称、文本内容、字段名称不要指定索引的 type否则请求变为了新建文档 1
2
3
4
5POST my-index-post/_analyze
{text: 行完成是否成功请查看 ccc,field:content
}查询时也可以指定分词器【不同分词器会影响返回的结果例如 standard 分词器会过滤掉标点符号所以查不到数据】特别指定分词器即可。另外只能使用 match不能使用 match_phrase。 1
2
3
4
5
6
7
8
9
10
11POST my-index-post/post/_search
{query: {match: {content:{query: ,analyzer: standard}}}
}创建索引
创建带 mapping 的索引 1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28PUT /my-index-post/
{settings: {index.number_of_shards: 3,index.number_of_replicas: 1,index.refresh_interval: 30s,index.routing.allocation.total_shards_per_node: 3},mappings: {post: {_all: {enabled: false},dynamic_templates: [{title1: {match: title,match_mapping_type: *,mapping: {type: text,analyzer: wordsEN}}}]}}
}创建带 mapping 的 type【在索引已经存在的情况下】 1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31PUT /my-index-post/_mapping/post/
{_all: {enabled: false},dynamic_templates: [{title1: {mapping: {analyzer: wordsEN,type: text},match: title}},{title2: {mapping: {analyzer: wordsEN,type: text},match: *_title}}],properties: {avatar_url: {type: keyword}}
}更新索引的 mapping【在索引、类型都已经存在的情况下】 1
2
3
4
5
6
7
8
9
10
11
12PUT /my-index-post/_mapping/post
{post: {properties: {title: {type: text,analyzer: english,search_analyzer: standard }}}
}添加删除别名
给索引增加别名 1
2
3
4
5
6
7
8
9
10
11POST /_aliases
{actions: [{add: {index: my-index-post,alias: my-index-post-all}}]
}移除索引的别名 1
2
3
4
5
6
7
8
9
10
11POST /_aliases
{actions: [{remove: {index: my-index-post,alias: my-index-post-all}}]
}导入数据 1
2
3
4
5
6
7把文件中的数据导入索引批量的形式 由于数据中可能存在一些特殊符号所以使用文件的形式in 为文件路径 文件内容格式1 条数据需要包含 2 行内容index 表示索引数据
{index:{}}
JSON 原始数据 curl -XPOST http://localhost:9200/my-index-post/post/_bulk --data-binary $inbulk 接口详情参考另外一篇博客 使用 Elasticsearch 的 bulk 接口批量导入数据 。
查询数据
脚本查询
Elasticsearch 提供了脚本的支持可以通过 Groovy 外置脚本【已经过时v6.x 以及之后的版本不建议使用】、内置 painless 脚本实现各种复杂的操作【类似于写逻辑代码对数据进行 ETL 操作需要集群配置开启】。
以下是关于 v2.x 的说明 默认的脚本语言是 Groovy一种快速表达的脚本语言在语法上与 JavaScript 类似。它在 Elasticsearch v1.3.0 版本首次引入并运行在沙盒中然而 Groovy 脚本引擎存在漏洞允许攻击者通过构建 Groovy 脚本在 Elasticsearch Java VM 运行时脱离沙盒并执行 shell 命令。 因此在版本 v1.3.8、1.4.3 和 v1.5.0 及更高的版本中它已经被默认禁用。此外您可以通过设置集群中的所有节点的 config/elasticsearch.yml 文件来禁用动态 Groovy 脚本script.groovy.sandbox.enabled: false这将关闭 Groovy 沙盒从而防止动态 Groovy 脚本作为请求的一部分被接受。 1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52Groovy 脚本
{query: {bool: {filter: {script: {script: doc [keywords].values.length 2}}}}
}painless 脚本
{query: {bool: {filter: {script: {script: {source: doc [keywords].values.length 2,lang: painless}}}}}
}{query: {bool: {must: [{range: {update_timestamp: {gte: 1607670109000}}},{script: {script: {source: (doc [view_cnt].value)doc [comment_cnt].value,lang: painless}}}]}}
}日期桶聚合
对日期格式的字段做桶聚合可以使用 interval 设置桶间隔使用 extended_bounds 设置桶边界其它还可以设置时区、doc 过滤等。 1
2
3
4
5
6
7
8
9
10
11
12
13
14
15aggs: {by_month: {date_histogram: {field: publish_timestamp,interval: day,time_zone: 08:00,format: yyyy-MM-dd,min_doc_count: 100000,extended_bounds: {min: 2019-08-30,max: 2019-09-24}}}}对于聚合结果不准的问题可以增加参数适当提高准确性。size 参数规定了最后返回的 term 个数【默认是 10 个】shard_size 参数规定了每个分片上返回的个数【默认是 size * 1.5 10】如果 shard_size 小于 size那么分片也会按照 size 指定的个数计算。
聚合的字段可能存在一些频率很低的词条如果这些词条数目比例很大那么就会造成很多不必要的计算。因此可以通过设置 min_doc_count 和 shard_min_doc_count 来规定最小的文档数目只有满足这个参数要求的个数的词条才会被记录返回。min_doc_count规定了最终结果的筛选shard_min_doc_count规定了分片中计算返回时的筛选。 1
2
3
4
5
6
7
8
9
10
11aggs: {aggs_sentiment:{terms: {field: sentiment,size: 10,shard_size: 30,min_doc_count: 10000,shard_min_doc_count: 50}}
}更新文档
指定部分字段进行更新不影响其它字段【但是要注意如果字段只是索引 index 而没有存储 _source更新后会无法查询这个字段】。 1
2
3
4
5
6POST /my-index-user/user/0f42d65be1f5287e1c9c26e3728814aa/_update
{doc : {friends : [98681482902,63639783663,59956667929]}
}自动缓存相关
terms lookup 查询 1
2
3
4
5
6
7
8
9
10
11
12
13
14自动缓存
POST my-index-post/_search
{query: {terms: {user_item_id:{index: my-index-user,type: user,id: 0f42d65be1f5287e1c9c26e3728814aa,path: friends}}}
}操作缓存的接口 1
2关闭缓存
curl -XPOST localhost:9200/_cache/clear?filter_pathyour_cache_key多层嵌套反转桶聚合
多层聚合查询关于嵌套、反转参考nested-aggregation 。 1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44POST combine-paas-1003-index/2723-data/_search
{aggs: {x: {aggs: {xx: {aggs: {xxx: {aggs: {xxxx_interaction_cnt: {sum: {field: 2723_interaction_cnt}}},reverse_nested: {}}},terms: {field: Titan_sports.yundongerji,size: 100}}},nested: {path: Titan_sports}}},query: {bool: {must: [{term: {2723_is_noise: {value: 否 quot;}}}]}},size: 1
}统计个数聚合
对于多篇文章统计每个站点下面的作者个数 1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20-- 多层嵌套以及特殊的聚合每个 site_name 下面的作者个数统计
{aggs: {s: {aggs: {a: {cardinality: {field: author}}},terms: {field: site_name,size: 0}}},query: {},size: 0
}存在查询
exists、missing 这两类查询在不同的版本之间使用方式不一致。 1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46-- 存在、不存在判断条件1.7.5 版本和 2.3.4 版本的方式不一样
-- 2.3.4使用 exists、missing 关键字即可
{query: {exists: {field: gender}}
}{query: {missing: {field: gender}}
}-- 更高版本【v5.x 以及以上】的 ES 关键字 missing 已经被废弃改为 must_not 和 exists 组合查询以下有示例
{query: {bool: {must_not: {exists: {field: user}}}}
}-- 1.7.5使用 filter 后再使用对应关键词本质是一种过滤器
{query: {filtered: {filter: {exists: {field: data_type}}}}
}-- 此外不同版本连接 ES 的 client 方式也不一样【tcp 连接如果是 http 连接就不会有问题】代码不能兼容所以只能使用其中 1 种方式【在本博客中可以搜索到相关总结】随机取数
随机取数【需要 ES 集群支持脚本请求】 1
2
3
4
5
6
7
8
9
10
11
12
13
14GET your_index_name/_search
{query: {match_all: {}},sort: {_script: {script: Math.random (),type: number,order: desc}},size: 20
}如果 ES 集群不支持脚本请求会抛出异常illegal_argument_exception原因cannot execute [inline] scripts。
删除数据
根据查询条件删除数据 1
2
3
4
5
6
7
8
9
10
11POST my-index-post/post/_delete_by_query/
{query: {terms: {id: [1,2]}}
}当然如果是低版本的 Elasticsearch在 1.x 的版本中还可以使用发送 DELETE 请求的方式删除数据容易引发一些操作失误不建议使用。
更多内容参考Elasticsearch 根据查询条件删除数据的 API 。
索引关闭开启
主要有两个接口
开启索引curl -XPOST http://localhost:9200/your_index/_open关闭索引curl -XPOST http://localhost:9200/your_index/_close
参考这篇博客的部分内容使用 http 接口删除 Elasticsearch 集群的索引 。
迁移数据
迁移一个索引的数据到另外一个索引切记需要提前创建好索引包含 mapping避免字段类型出问题 1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24POST _reindex
{source: {index: my-index-post,type: post},dest: {index: my-index-post-bak,type: post}
}size 参数在最外层表示随机抽取 n 条测试
size 参数在 source 里面表示 batch 大小默认 1000参数 wait_for_completionfalse 可以让任务在后台一直运行到完成否则当数据量大的时候执行时间过长会超时退出。查看任务状态取消任务 GET _tasks?detailedtrueactions*reindexPOST _tasks/task_id:1/_cancelPOST _tasks/_cancel?nodesnodexxactions*search*此外参考Elasticsearch 的 Reindex API 详解 里面包含了常见的参数使用方式以及查看迁移任务进度、取消迁移任务的方式。
移动分片
需要先关闭 rebalance再手动移动分片否则由于手动迁移分片造成集群进行分片的重新分配进而消耗 IO、CPU 资源。手动迁移分片完成之后再打开 rebalance让集群自行进行重新分配管理。
临时参数设置 1
2
3
4
5
6
7
8
9
10
11
12
13
14
15关闭
curl -XPUT localhost:9200/_cluster/settings -d
{transient: {cluster.routing.allocation.enable: none}
}打开
curl -XPUT localhost:9200/_cluster/settings -d
{transient: {cluster.routing.allocation.enable: all}
}分片的迁移使用 1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41move移动分片
cancel取消分片
allocate重新分配分片 curl -XPOST localhost:9200/_cluster/reroute -d {commands : [{move :{index : test, shard : 0,from_node : node1, to_node : node2}},cancel :{index : test, shard : 0, node : node1}},{allocate : {index : test, shard : 1, node : node3}}]
}将分配失败的分片重新分配
curl -XGET localhost:9200/_cluster/reroute?retry_failedtrue用命令手动分配分片接受丢数据ES 集群升级前关闭了 your_index 索引升级后把副本数设置为 0打开有 20 个分片无法分配集群保持红色。关闭也无效只好接受丢数据恢复空分片。
{commands: [{allocate_empty_primary: {index: your_index,shard: 17,node: nodexx,accept_data_loss: true}}]
}注意allocate 命令还有一个参数allow_primary : true即允许该分片做主分片但是这样可能会造成数据丢失【在不断写入数据的时候】因此要慎用【如果数据在分配过程中是静态的则可以考虑使用】。
当然手动操作需要在熟悉集群的 API 使用的情况下例如需要获取节点、索引、分片的信息不然的话不知道参数怎么填写、分片怎么迁移。此时可以使用 Head、kopf、Cerebro 等可视化工具进行查看比较适合运维人员而且分片的迁移指挥工作也可以交给这些工具只要通过鼠标点击就可以完成分片的迁移很方便。
验证
检验查询语句的合法性不仅仅是满足 JSON 格式那么简单 1
2
3
4
5
6
7
8
9
10
11POST /my-index-post/_validate/query?explain
{query: {match: {content:{query: ,analyzer: wordsEN}}}
}检查分片分配的相关信息 1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41不带任何参数执行该命令会输出当前所有未分配分片的失败原因
curl -XGET localhost:9200/_cluster/allocation/explain该命令可查看指定分片当前所在节点以及分配到该节点的理由和未分配到其他节点的原因
curl -XPOST localhost:9200/_cluster/reroute -d {index: 索引名 gt;,shard: 分片号 gt;,primary: true/false
}将分配失败的分片重新进行分配
POST _cluster/reroute?retry_failedtrue移动分片
POST /_cluster/reroute/
{commands: [{move: {index: your_index_name,shard: 0,from_node: dev5,to_node: dev6}}]
}用命令手动分配分片接受丢数据【原因ES 集群升级前关闭了某个索引升级后把副本数设置为 0打开有 20 个分片无法分配集群保持红色。关闭也无效只好接受丢数据恢复空分片】。
{commands: [{allocate_empty_primary: {index: your_index_name,shard: 17,node: node1,accept_data_loss: true}}]
}
