山东省建设监理协会官方网站,wordpress文章页多个产品图,怎么设置网址,手工制作代加工接单网ElasticSearch基础概念以及可视化界面安装 文章目录 ElasticSearch基础概念以及可视化界面安装1、引言2、基本概念3、倒排索引机制3.1、倒排索引 4、使用docker安装ElasticSearch4.1、下载镜像文件4.2 、创建实例,启动es 5.安装Kibana 1、引言
Elastic 的底层是开源库 Lucene。…ElasticSearch基础概念以及可视化界面安装 文章目录 ElasticSearch基础概念以及可视化界面安装1、引言2、基本概念3、倒排索引机制3.1、倒排索引 4、使用docker安装ElasticSearch4.1、下载镜像文件4.2 、创建实例,启动es 5.安装Kibana 1、引言
Elastic 的底层是开源库 Lucene。但是你没法直接用 Lucene必须自己写代码去调用它的 接口。Elastic 是 Lucene 的封装提供了 REST API 的操作接口开箱即用。 是一种搜索引擎依靠分词等多种方式实现许多数据库不能实现的搜索场景。
REST API天然的跨平台。
官方文档ES官方文档
官方中文官方中文版文档
社区中文
https://es.xiaoleilu.com/index.html
http://doc.codingdict.com/elasticsearch/0/
2、基本概念
Index索引相当于关系数据库中的database概念是一类数据的集合是一个逻辑概念。Type类型相当于数据库中的table概念在6.0版本之前一个Index中可以有多个type7.0版本后彻底废弃多type每个索引只能有一个type即“ _doc”。这个概念就不用太关注了。Document文档存储在ES中的主要实体叫文档可以理解为关系型数据库中表的一行数据记录。每个文档由多个字段field组成。区别于关系型数据库的是ES是一个非结构化的数据库每个文档可以有不同的字段并且有一个唯一标识。文档是Json格式的。Field字段存在于文档中字段是包含数据的键值对可以理解为Mysql一行数据的其中一列。Mapping映射是对索引库中的索引字段及其数据类型进行定义类似于关系型数据库中的表结构。ES默认动态创建索引和索引类型的Mapping。
ElasticsearchMysql索引(Index)库(Database)类型(Type)表(Table)文档(Document)行(Row)字段(Field)列(Column)映射(Mappings)表结构(schema)
3、倒排索引机制
提到搜索人们会立刻联想到在百度、谷歌上输入关键词获取相关的内容的场景。但搜索不等于百度大部分APP支持的站内搜索更加大行其道。
数据库是储存和查询数据的利器那么数据库是否适合做搜索呢答案是不合适。第一个原因是当数据库存储了大量数据后查询效率大幅降低。
但是有些搜索场景数据库也是不支持的例如在下表中我们试图通过“中国足球”这个关键词搜索数据数据库是无法查询到相应内容的。
idname1中国男子足球队2中国男子田径队3中国女子排球队4中国女子跳水队
3.1、倒排索引
什么是倒排索引倒排索引也叫反向索引我们通常理解的索引是通过key寻找value与之相反倒排索引是通过value寻找key故而被称作反向索引。下面我们用一个简单的例子描述一下倒排索引的作用过程假如现在有三份数据文档内容分别是
Doc 1:Java is the best programming languageDoc 2:PHP is the best programming languageDoc 3:Javascript is the best programming language为了创建索引ES引擎通过分词器将每个文档的内容拆成单独的词称之为词条或term再将这些词条创建成不含重复词条的排序列表然后列出每个词条出现在哪个文档结果如下
termDoc 1Doc 2Doc 3Java√is√√√the√√√best√√√programming√√√language√√√PHP√√Javascript√√
这种结构由文档中所有不重复的词的列表构成对于其中每个词都有至少一个文档与与之关联。这种由属性值来确定记录的位置的结构就是倒排索引带有倒排索引的文件被称为倒排文件。
将上表转为更直观的图片来展示倒排索引
其中几个核心术语需要着重理解
词条term索引里面最小的存储和查询单元对于英文来说是一个词对于中文来说一般指分词后的一个词。词典Term Dictionary也叫字典是词条的组合。搜索引擎的通常索引单位是单词单词词典是文档集合中出现过的所有单词构成的字符串集合单词词典内每条索引项记载单词本身的一些信息以及指向倒排所有的指针。倒排表Post list一个文档通常由多个词组成倒排表记录的是某个词在哪些文档里出现过及出现的位置。每个记录称为一个倒排项Posting倒排表记录的不单单是文档编号还记录了词频等信息。倒排文件Inverted File所有单词的倒排列表往往顺序地存储在磁盘的某个文件里这个文件被称之为倒排文件倒排文件是存储倒排索引的物理文件。
词典和倒排表是 Lucene这种很重要的两种数据结构是实现快速检索的重要基石。词典和倒排文件是分两部分存储的词典在内存中而倒排文件存储在磁盘。
相关性得分以上面的图片为例如果我们搜索 “Java is best”我们会发现拆分的成三个单词在文档一中命中出现了三个单词文档二和文档三中命中了两个单词那么文档一的相关性得分就最高。根据相关性得分从高到低排序就会检索出相关的文档。
4、使用docker安装ElasticSearch
安装docker可以参考我的另一篇文章直接从上到下傻瓜式安装。如下
docker的介绍与安装
4.1、下载镜像文件
首先需要下载这两个镜像文件
docker pull elasticsearch:7.4.2 存储和检索数据引擎 docker pull kibana:7.4.2 可视化检索数据工具4.2 、创建实例,启动es
mkdir -p /mydata/elasticsearch/config mkdir -p /mydata/elasticsearch/data --任何一台远程主机都可以访问
echo http.host: 0.0.0.0 /mydata/elasticsearch/config/elasticsearch.yml -- 保证权限
chmod -R 777 /mydata/elasticsearch/ -- 9200是发送http请求restful请求的9300是es集群之间的通信端口single-node 单节点运行并指定es启动占用的内存
docker run --name elasticsearch -p 9200:9200 -p 9300:9300 \
-e discovery.typesingle-node \
-e ES_JAVA_OPTS-Xms64m -Xmx128m \
-v /mydata/elasticsearch/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml \
-v /mydata/elasticsearch/data:/usr/share/elasticsearch/data \
-v /mydata/elasticsearch/plugins:/usr/share/elasticsearch/plugins \
-d elasticsearch:7.4.2如果用docker ps 发现es没启动成功到/mydata/elasticsearch/路径下执行上面的chmod -R 777 /mydata/elasticsearch/ 保证赋予文件及子文件的权限为 RWX
然后重新启动elasticsearch。报错的话可以看对应的容器启动日志 报错一般都是因为上面run命令空格和换行问题
docker logs 容器id前三位删除容器 docker rm 容器iddocker ps -a 查看es的容器id
文件权限没问题后用容器id启动es(比如我的容器id是 13e30b6e7c1a )报错就看日志重新run启动
docker start 13e30b6e7c1a postman测试访问虚拟机9200端口的elasticSearch
5.安装Kibana
docker run --name kibana -e ELASTICSEARCH_HOSTShttp://172.20.10.11:9200 -p 5601:5601 \
-d kibana:7.4.2172.20.10.11为自己的虚拟机ip ifconfig命令查看访问虚拟机5601端口的Kibana
如下安装成功
