做网站最快多久,网站系统安全性,y-m-d WordPress,佛山注册公司无需地址本文内容 背景ES集群中第一个master节点ES slave节点本文总结 Elasticsearch#xff08;以下简称ES#xff09;搭建集群的经验。以 Elasticsearch-rtf-2.2.1 版本为例。 我搭过三个集群#xff1a;研究ELK时搭了一个#xff1b;测试环境搭了一个#xff1b;生产环境搭了一…本文内容 背景ES集群中第一个master节点ES slave节点本文总结 Elasticsearch以下简称ES搭建集群的经验。以 Elasticsearch-rtf-2.2.1 版本为例。 我搭过三个集群研究ELK时搭了一个测试环境搭了一个生产环境搭了一个。回想起来搭建这三个集群时遇到的问题都不一样我这么说主要针对集群中节点发现以及master问题而不是es启动不起来或报错等问题~ 研究ELK时搭建ES集群倒是很顺利原因很简单先从一台机器开始的可是测试环境搭建集群时遭遇新加入节点一直不能发现 master 节点或是集群节点出现都选举自己为 master 这两个情况因为节点都是陆续启动的配置不当是会出问题等到在生产环境搭建集群时遭遇无法选举出 master 节点的情况。ES head 和 kopf 两个插件都不可用因为既然集群没有选举出 master 节点显然整个集群是用不了的。而前面的情况head 和 kopf 插件还是能用的但能用意义也不大~ 总结起来搭建集群应该注意两个问题。首先当然是 Elasticsearch.yml 配置是否正确再就是你的操作方式。比如节点启动步骤等。 因为如果搭建一个集群那么必须保证集群有一个 master 节点一般来说第一个启动的节点一定是 master。然后分别启动其他节点这些节点就会找到 master 节点而 master 节点也会发现这些节点。 因此配置集群中的第一个master节点务必简单简单到什么程度后面再说先启动它它会立刻成为 master 节点。之后再配置其他节点最好直接告诉它们可能的 master 节点是什么然后启动他们它们就会发现 master而 master 节点也会发现新加入的节点。否则如果第一个启动的节点配置过于复杂条件苛刻造成它不能成为 master 节点那么整个集群会失败。稍后你再配置节点时可以采用更高级、复杂点的配置就不会有什么问题了~ 所以我才强调ES 集群中第一个 master 节点的配置务必简单以后再调整。 背景 假设我们想搭建这样一个名为 myfirstcluster 的ES集群它有两个节点 节点主机名是否为 master192.168.1.2es-01是192.168.1.3es-02否ES集群中第一个master节点 最简单的 ES master 节点配置如下。该配置文件是一个完整的 ES 配置文件所以很长。我顺便翻译成了中文。 1: # Elasticsearch Configuration 3: # 注意: Elasticsearch 大多数设置都有默认值. 5: # 7: # 9: # http://www.elastic.co/guide/en/elasticsearch/reference/current/setup-configuration.html 11: # ---------------------------------- 集群 ----------------------------------- 13: # 集群名称: 15: cluster.name: mycluster 17: # ------------------------------------ 节点 ------------------------------------ 19: # 节点名称: 21: node.name: es-01 23: node.data: true 25: # 为节点添加自定义属性如机架: 27: # node.rack: r1 29: # ----------------------------------- 路径 ------------------------------------ 31: # 存放数据的目录 (多个目录用逗号分隔): 33: # path.data: /path/to/data 35: # 日志文件目录: 37: # path.logs: /path/to/logs 39: # ----------------------------------- 内存 ----------------------------------- 41: # 启动时锁定内存: 43: # bootstrap.mlockall: true 45: # 确保设置了 ES_HEAP_SIZE 环境变量, 大小为系统内存的一半, 47: # 49: # 51: # 53: # 55: # 57: http.port: 9200 59: tcp.port: 9300 61: # 更多信息, 参见如下链接: http://www.elastic.co/guide/en/elasticsearch/reference/current/modules-network.html 64: # --------------------------------- 节点发现 ---------------------------------- 66: # 当新节点加入时传递一个主机的初始化列表以完成节点发现: 68: # 70: # 72: # 74: # 76: # http://www.elastic.co/guide/en/elasticsearch/reference/current/modules-discovery.html 78: # ---------------------------------- 网关 ----------------------------------- 80: # 当整个集群重新启动后, 只有 N 个节点启动了, 集群才会恢复否则将阻塞: 82: # gateway.recover_after_nodes: 2 84: # 更多信息, 参见如下链接: http://www.elastic.co/guide/en/elasticsearch/reference/current/modules-gateway.html 87: # ---------------------------------- 其他 ----------------------------------- 89: # 禁止在一个系统上启动多个节点: 91: # node.max_local_storage_nodes: 1 93: # 当删除 index 是必需显式名称: 95: # action.destructive_requires_name: true 96: 98: analysis: 100: my_pinyin: 102: first_letter: prefix 104: pinyin_first_letter: 106: first_letter: only 108: type: mmseg 110: mmseg_complex: 112: seg_type: complex 114: type: mmseg 116: semicolon_spliter: 118: pattern: ; 120: type: pattern 122: ngram_1_to_2: 124: min_gram: 1 126: ngram_1_to_3: 128: min_gram: 1 130: filter: 132: max_gram: 10 134: type: nGram 136: max_gram: 10 138: type: nGram 140: max_gram: 10 142: type: nGram 144: min: 2 146: type: length 148: min: 3 150: type: length 152: type: pinyin 154: analyzer: 156: type: custom 158: - lowercase 160: lowercase_keyword_ngram_min_size1: 162: filter: 164: - stop 166: - unique 168: lowercase_keyword_ngram_min_size2: 170: filter: 172: - min2_length 174: - trim 176: tokenizer: nGram 178: type: custom 180: - lowercase 182: - stop 184: - unique 186: lowercase_keyword_ngram: 188: filter: 190: - stop 192: - unique 194: lowercase_keyword_without_standard: 196: filter: 198: tokenizer: keyword 200: type: custom 202: - lowercase 204: ik: 206: - ik_analyzer 208: ik_max_word: 210: use_smart: true 212: type: ik 214: mmseg: 216: - mmseg_analyzer 218: mmseg_maxword: 220: filter: 222: tokenizer: mmseg_maxword 224: type: custom 226: - lowercase 228: mmseg_simple: 230: filter: 232: tokenizer: mmseg_simple 234: type: pattern 236: pct_spliter: 238: pattern: [%] 240: type: snowball 242: simple_english_analyzer: 244: tokenizer: whitespace 246: - standard 248: - snowball 250: type: custom 252: filter: 254: pinyin_ngram_analyzer: 256: tokenizer: my_pinyin 258: - lowercase 260: - trim 262: pinyin_first_letter_analyzer: 264: tokenizer: pinyin_first_letter 266: - standard 268: pinyin_first_letter_keyword_analyzer: 270: - pinyin_first_letter_analyzer_keyword 272: tokenizer: keyword 274: - pinyin_first_letter 276: path_analyzer: #used for tokenize :/something/something/else 278: tokenizer: path_hierarchy 279: 281: index.analysis.analyzer.default.type: ik 282: 284: # rtf.filter.redis.port: 6379 说明 第15行指定集群名称 myfirstcluster第21行指定节点名称最好写主机名第22和23行指定该是否可能为master节点以及是否为数据节点。ES的所说master节点其实弱化了很多仅仅就是为了节点发现和选举master节点而已它甚至都可以不用来保存数据。因此看你的规划完全可以让一个 master 节点不保存任何数据 第54行指定节点IP地址192.168.1.2第57行指定HTTP端口比如head、kopf插件等插件都使用该端口。事实上你可以指定从 92开头的任何端口第59行指定集群内部通信的端口比如节点发现都使用该端口。事实上你可以指定93开头的任何端口该行也可以写成“transport.tcp.port: 9300”这7行配置在我看来针对集群中第一个master节点必须配置正确的。其他配置可以暂时不用。 其中第57行和第59行实际上一台物理机是可以运行多个 ES只需要指定不同的配置文件即可。 第69行指定节点初始化列表因为该节点是集群第一台机器并且要当 master所以写”127.0.0.1:9300”端口号就是你在第59行指定的端口。相关资料显示也可以不指定端口那是不是会93开头的所有端口扫描一下呢从97行开始是配置ES的分词。 slave 节点 Slave 节点配置如下。该配置文件内容只列出了配置项但是是完整的。 1: # Elasticsearch Configuration 3: # ---------------------------------- Cluster ----------------------------------- 5: # Use a descriptive name for your cluster: 7: cluster.name: myfirstcluster 9: # ------------------------------------ Node ------------------------------------ 11: # Use a descriptive name for the node: 13: node.name: es-02 15: node.data: true 17: # ----------------------------------- Paths ------------------------------------ 19: # Path to directory where to store the data (separate multiple locations by comma): 21: # path.data: /path/to/data 23: # Path to log files: 25: # path.logs: /path/to/logs 27: # ----------------------------------- Memory ----------------------------------- 29: # ... 31: # ---------------------------------- Network ----------------------------------- 33: # Set the bind address to a specific IP (IPv4 or IPv6): 35: network.host: 192.168.1.3 37: # Set a custom port for HTTP: 39: http.port: 9200 41: # 43: # 45: # The default list of hosts is [127.0.0.1, [::1]] 47: discovery.zen.ping.unicast.hosts: [192.168.1.2:9300] 49: # ---------------------------------- Gateway ----------------------------------- 51: # ... 53: # ---------------------------------- Various ----------------------------------- 55: 57: analysis: 59: my_pinyin: 61: first_letter: prefix 63: pinyin_first_letter: 65: first_letter: only 67: type: mmseg 69: mmseg_complex: 71: seg_type: complex 73: type: mmseg 75: semicolon_spliter: 77: pattern: ; 79: type: pattern 81: ngram_1_to_2: 83: min_gram: 1 85: ngram_1_to_3: 87: min_gram: 1 89: filter: 91: max_gram: 10 93: type: nGram 95: max_gram: 10 97: type: nGram 99: max_gram: 10 101: type: nGram 103: min: 2 105: type: length 107: min: 3 109: type: length 111: type: pinyin 113: analyzer: 115: type: custom 117: - lowercase 119: lowercase_keyword_ngram_min_size1: 121: filter: 123: - stop 125: - unique 127: lowercase_keyword_ngram_min_size2: 129: filter: 131: - min2_length 133: - trim 135: tokenizer: nGram 137: type: custom 139: - lowercase 141: - stop 143: - unique 145: lowercase_keyword_ngram: 147: filter: 149: - stop 151: - unique 153: lowercase_keyword_without_standard: 155: filter: 157: tokenizer: keyword 159: type: custom 161: - lowercase 163: ik: 165: - ik_analyzer 167: ik_max_word: 169: use_smart: false 171: type: ik 173: mmseg: 175: - mmseg_analyzer 177: mmseg_maxword: 179: filter: 181: tokenizer: mmseg_maxword 183: type: custom 185: - lowercase 187: mmseg_simple: 189: filter: 191: tokenizer: mmseg_simple 193: type: pattern 195: pct_spliter: 197: pattern: [%] 199: type: snowball 201: simple_english_analyzer: 203: tokenizer: whitespace 205: - standard 207: - snowball 209: type: custom 211: filter: 213: pinyin_ngram_analyzer: 215: tokenizer: my_pinyin 217: - lowercase 219: - trim 221: pinyin_first_letter_analyzer: 223: tokenizer: pinyin_first_letter 225: - standard 227: pinyin_first_letter_keyword_analyzer: 229: - pinyin_first_letter_analyzer_keyword 231: tokenizer: keyword 233: - pinyin_first_letter 235: path_analyzer: #used for tokenize :/something/something/else 237: tokenizer: path_hierarchy 238: 240: index.analysis.analyzer.default.type: ik 说明 第7行也是指定了集群名称第13行指定了节点名称为 es-02主机名第14和15行指定了该节点可能成为 master 节点还可以是数据节点第35行指定节点IP地址为 192.168.1.3第39行指定http端口你使用head、kopf等相关插件使用的端口第40行集群内部通信端口用于节点发现等上面的配置master也是这么配置的。 第47行跟master节点配置不一样了。这里直接告诉该的节点可能的master节点是什么。 文章摘自http://www.cnblogs.com/liuning8023/p/5454696.html
