博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
elasticsearch入门
阅读量:6174 次
发布时间:2019-06-21

本文共 11015 字,大约阅读时间需要 36 分钟。

hot3.png

ES Restful API GET、POST、PUT、DELETE、HEAD含义:

1)GET:获取请求对象的当前状态。
2)POST:改变对象的当前状态。
3)PUT:创建一个对象。
4)DELETE:销毁对象。
5)HEAD:请求获取对象的基础信息。

Mysql与Elasticsearch核心概念对比示意图

这里写图片描述

一.插入

1.PUT指定Id插入

PUT /megacorp/employee/1{    "first_name" : "John",    "last_name" :  "Smith",    "age" :        25,    "about" :      "I love to go rock climbing",    "interests": [ "sports", "music" ]}

 2.POST自动生成ID插入

PUT /megacorp/employee{    "first_name" : "John",    "last_name" :  "Smith",    "age" :        25,    "about" :      "I love to go rock climbing",    "interests": [ "sports", "music" ]}

3.批量插入

curl -XPOST localhost:9200/_bulk --data-binary @data.json

{"index":{"_index":"meterdata","_type":"autoData"}}{"Mfid ":1,"TData":172170,"TMoney":209,"HTime":"2016-05-17T08:03:00"}{"index":{"_index":"meterdata","_type":"autoData"}}{"Mfid ":1,"TData":172170,"TMoney":209,"HTime":"2016-05-17T08:04:00"}{"index":{"_index":"meterdata","_type":"autoData"}}{"Mfid ":1,"TData":172170,"TMoney":209,"HTime":"2016-05-17T08:05:00"}{"index":{"_index":"meterdata","_type":"autoData"}}{"Mfid ":1,"TData":172170,"TMoney":209,"HTime":"2016-05-17T08:06:00"}{"index":{"_index":"meterdata","_type":"autoData"}}{"Mfid ":1,"TData":172170,"TMoney":209,"HTime":"2016-05-17T08:07:00"}

4.upsert插入

当文档存在时,执行脚本;当文档不存在时,upsert中的内容就会插入到对应的文档中

curl -XPOST 'localhost:9200/test/type1/1/_update' -d '{    "script" : {        "inline": "ctx._source.counter += count",        "params" : {            "count" : 4        }    },    "upsert" : {        "counter" : 1    }}'

二、更新

可以使用Script对所有的文档执行更新操作,也可以使用doc对部分文档执行更新,也可以使用upsert对不存在的文档执行添加操作。

1.全部更新

curl -XPUT localhost:9200/test/type1/1 -d '{    "counter" : 1,    "tags" : ["red"]}'

2.部分更新

curl -XPOST "localhost:9200/gengxin/update/1/_update?pretty" -d '{   "doc": {"job": "奋斗者"}}'

3.脚本更新

(1).更新部分字段

curl -XPOST 'localhost:9200/test/type1/1/_update' -d '{    "script" : {        "inline": "ctx._source.counter += count",        "params" : {            "count" : 4        }    }}'

(2).新加字段

curl -XPOST 'localhost:9200/test/type1/1/_update' -d '{    "script" : "ctx._source.name_of_new_field = \"value_of_new_field\""}'

(3).移除字段

curl -XPOST 'localhost:9200/test/type1/1/_update' -d '{    "script" : "ctx._source.remove(\"name_of_field\")"}'
curl -XPOST 'localhost:9200/test/type1/1/_update' -d '{    "script" : {        "inline": "ctx._source.tags.contains(tag) ? ctx.op = \"delete\" : ctx.op = \"none\"",        "params" : {            "tag" : "blue"        }    }}'

全部更新和部分更新区别?

全部更新,是直接把之前的老数据,标记为删除状态,然后,再添加一条更新的。     

部分更新,只是修改某个字段。

参考:

三、删除

curl -XDELETE 'http://localhost:9200/twitter/tweet/1'

路由

如果在索引的时候提供了路由,那么删除的时候,也需要指定相应的路由:

$ curl -XDELETE 'http://localhost:9200/twitter/tweet/1?routing=kimchy'

上面的例子中,想要删除id为1的索引,会通过固定的路由查找文档。如果路由不正确,可能查不到相关的文档。对于某种情况,需要使用_routing参数,但是却没有任何的值,那么删除请求会广播到每个分片,执行删除操作。

ES删除总结

       如果文档存在,es会返回200 ok的状态码,found属性值为true,_version属性的值+1。

  如果文档不存在,es会返回404 Not Found的状态码,found属性值为false,但是_version属性的值依然会+1,这个就是内部管理的一部分,它保证了我们在多个节点间的不同操作的顺序都被正确标记了。

ES的删除操作,也是不会立即生效,跟更新操作类似。只是会被标记为已删除状态,ES后期会自动删除。

好比,你删除的操作一步一步累积,当达到它上限时,等你删除几十条数据后,ES我一次性删除,这样可以节省磁盘IO。

参考:

四、查询

1.query和filte

(1)查询上下文:查询操作不仅仅会进行查询,还会计算分值,用于确定相关度;

(2)过滤器上下文:查询操作仅判断是否满足查询条件,不会计算得分,查询的结果可以被缓存。
参考:

轻量级搜索,查询字符串(query string)

GET /megacorp/employee/_search?q=last_name:Smith

2.Filter DSL

(1)term 

代表完全匹配,即不进行分词器分析,文档中必须包含整个搜索的词汇(如果为中文,默认当个字为一个索引,只能搜索到单个字)

POST /megacorp/employee/_search{  "query": {    "term": {      "last_name": "Smith"    }  }}

(2)terms 过滤 

terms 跟 term 有点类似,但 terms 允许指定多个匹配条件。 如果某个字段指定了多个值,那么文档需要一起去做匹配:

POST /megacorp/employee/_search{  "query": {    "terms": {      "last_name": ["Bob","Smith"]    }  }}

(3)range 过滤 

允许我们按照指定范围查找一批数据

POST /megacorp/employee/_search{  "query": {    "range": {      "age": {        "gt": 18      }    }  }}

(4)exists 和 missing 过滤 

可以用于查找文档中是否包含指定字段或没有某个字段,类似于SQL语句中的IS_NULL条件.

POST /megacorp/employee/_search{  "query": {    "exists":   {        "field":    "title"    }  }}

(5)Bool合并查询(Combining Queries)

使用bool过滤器来合并多个过滤器以实现andornot逻辑。should满足的匹配度更高。must语句都需要匹配,而所有的must_not语句都不能匹配。默认情况下,should语句一个都不要求匹配,只有一个特例:如果查询中没有must语句,那么至少要匹配一个should语句。minimum_should_match参数来控制should语句需要匹配的数量,该参数可以是一个绝对数值或者一个百分比。

GET /my_index/my_type/_search{  "query": {    "bool": {      "must":     { "match": { "title": "quick" }},      "must_not": { "match": { "title": "lazy"  }},      "should": [                  { "match": { "title": "brown" }},                  { "match": { "title": "dog"   }}      ]    }  }}

(6)过滤器(filter)

来实现sql中where的效果,  比如:搜索一个叫Smith,且年龄大于30的员工,可以这么检索. 

POST /megacorp/employee/_search{  "query" : {      "filtered" : {          "filter" : {              "range" : {                  "age" : { "gt" : 30 }               }          },          "query" : {              "match" : {                  "last_name" : "Smith"               }          }      }  }}

(7)聚合(aggregations)

它允许你在数据上生成复杂的分析统计,类似于sql中的group by

GET /megacorp/employee/_search{"aggs": {  "all_interests": {    "terms": { "field": "interests" }  }}}

聚合也允许分级汇总。例如,让我们统计每种兴趣下职员的平均年龄 

GET /megacorp/employee/_search{  "aggs" : {      "all_interests" : {          "terms" : { "field" : "interests" },          "aggs" : {              "avg_age" : {                  "avg" : { "field" : "age" }              }          }      }  }}

3.Query DSL

(1)match_all 查询 

可以查询到所有文档,是没有查询条件下的默认语句。

POST /index/doc/_search{	"query" : {		"match_all": {}	}}

(2)match查询

一个标准查询,不管你需要全文本查询还是精确查询基本上都要用到它。

POST /index/doc/_search{  "query" : {      "match" : {          "title" : "中国杭州"      }  }}

match查询接受一个operator参数,该参数的默认值是"or"。可以将它改变为"and"来要求所有的词条都需要被匹配,来提高搜索精度。

POST /index/doc/_search{    "query": {        "match": {            "title": {                      "query":    "中国 杭州",                "operator": "and"            }        }    }}

控制精度(Controlling Precision),在下面拥有3个词条的例子中,75%会被向下舍入到66.6%,即3个词条中的2个。无论你输入的是什么,至少有2个词条被匹配时,该文档才会被算作最终结果中的一员。

GET /index/doc/_search{  "query": {    "match": {      "title": {        "query":                  "中国杭州",        "minimum_should_match":   "75%"      }    }  }}

分值计算(Score Calculation)

bool查询通过将匹配的mustshould语句的_score相加,然后除以mustshould语句的总数来得到相关度分值_scoremust_not语句不会影响分值;它们唯一的目的是将不需要的文档排除在外。

(3)multi_match查询

允许你做match查询的基础上同时搜索多个字段,在多个字段中同时查一个:

POST /index/doc/_search{  "query" : {  	"multi_match": {		"query":	"中国",		"fields":	[ "content", "title" ]	}  }}

(4)match_phrase短语搜索(phrases)

match_phrase与match的区别在于,前者会命中”rock“ “climbing”(有序)全部匹配到的数据而后者会命中rock balabala climbing , 前者可用调节因子slop控制不匹配的数量。

GET /megacorp/employee/_search{  "query" : {      "match_phrase" : {          "about" : "rock climbing",          "slop" : 1      }  }}

(5)bool 查询 

与 bool 过滤相似,用于合并多个查询子句。不同的是,bool 过滤可以直接给出是否匹配成功, 而bool 查询要计算每一个查询子句的 _score (相关性分值)。

    must:: 查询指定文档一定要被包含。
    must_not:: 查询指定文档一定不要被包含。
    should:: 查询指定文档,有则可以为文档相关性加分。

(6)wildcards 查询 

使用标准的shell通配符查询

POST /index/doc/_search{  "query": {    "wildcard": {      "content": "中*"    }  }}

(7)regexp查询 

使用regexp查询能够让你写下更复杂的模式(中文只能匹配单个字开头)

POST /index/doc/_search{  "query": {    "regexp": {      "content": "中.*"    }  }}

(8)prefix查询 

以什么字符开头的,可以更简单地用 prefix

POST /index/doc/_search{  "query": {    "prefix": {      "content": "中"    }  }}

参考:

4.Mapping

什么是mapping

ES的mapping非常类似于静态语言中的数据类型:声明一个变量为int类型的变量, 以后这个变量都只能存储int类型的数据。同样的, 一个number类型的mapping字段只能存储number类型的数据。

同语言的数据类型相比,mapping还有一些其他的含义,mapping不仅告诉ES一个field中是什么类型的值, 它还告诉ES如何索引数据以及数据是否能被搜索到。

剖析mapping

一个mapping由一个或多个analyzer组成, 一个analyzer又由一个或多个filter组成的。当ES索引文档的时候,它把字段中的内容传递给相应的analyzer,analyzer再传递给各自的filters。

filter的功能很容易理解:一个filter就是一个转换数据的方法, 输入一个字符串,这个方法返回另一个字符串,比如一个将字符串转为小写的方法就是一个filter很好的例子。

一个analyzer由一组顺序排列的filter组成,执行分析的过程就是按顺序一个filter一个filter依次调用, ES存储和索引最后得到的结果。

总结来说, mapping的作用就是执行一系列的指令将输入的数据转成可搜索的索引项。

默认analyzer

回到我们的例子, ES猜测description字段是string类型,于是默认创建一个string类型的mapping,它使用默认的全局analyzer, 默认的analyzer是, 这个标准analyzer有三个filter:token filter, lowercase filter和stop token filter。

(1)新增

PUSH  /libray/books{    "settings" : {        "number_of_shards" : 2,        "number_of_replicas" : 1    },    "mappings" : {        "books" : {            "properties" : {                "name" : {                    "type": "string",                    "index": "not_analyzed"                },                "year" : {                    "type" : "integer"                },                "detail" : {                    "type" : "string"                }            }        }    }}

(2)删除索引中所有映射

DELETE  /libray/_mapping

(3)删除指定映射索引

DELETE  /libray/_mapping/books

参考 

5.查询补充

(1).source filter 限制返回字段

_source检索设置为false参数关闭检索

GET /_search{    "_source": "obj.*, obj2.*",    "query" : {        "match_all" : {}    }}

 complete control

GET /_search{    "_source": {        "includes": [ "obj1.*", "obj2.*" ],        "excludes": [ "*.description" ]    },    "query" : {        "term" : { "user" : "kimchy" }    }}

(2)sort排序

POST /bank/_search{    "query": {        "match_all" : {}     },    "sort" : [        {            "age" : "asc"        }    ]}

分类模式选项

Elasticsearch支持按数组或多值字段进行排序。该mode选项控制选择哪个数组值来排序它所属的文档。该mode选项可以具有以下值:

min

选择最低的价值。

max

选择最高的价值。

sum

使用所有值的总和作为排序值。仅适用于基于数字的数组字段。

avg

使用所有值的平均值作为排序值。仅适用于基于数字的数组字段。

median

使用所有值的中位数作为排序值。仅适用于基于数字的数组字段。

(3)Post Filter 后置过滤器

用于过滤搜索结果和聚合的过滤器,post_filter元素是一个顶层元素,只会对搜索结果进行过滤。

GET /cars/transactions/_search?search_type=count{    "query": {        "match": {            "make": "ford"        }    },    "post_filter": {            "term" : {            "color" : "green"        }    },    "aggs" : {        "all_colors": {            "terms" : { "field" : "color" }        }    }}

(4)explain

对每个命中的分数进行解释。

GET /bank/_search{    "explain" : true,    "query": {        "bool" : {            "filter" : {                "term" : {                    "age" : 39                }            }        }    }}

(5)version

为每个搜索命中返回一个版本。

GET /bank/_search{    "version": true,    "query": {    	"bool" : {    		"filter" : {    			"term" : {    				"age" : 39    			}    		}    	}    }}

(6)min_score

排除_score小于以下指定最小值的文档min_score

GET /_search{    "min_score": 0.5,    "query" : {        "term" : { "user" : "kimchy" }    }}

(7)inner_hits

返回父文档,也返回匹配has-child条件的子文档,相当于在父子之间join

例子:假设我们使用父文档存储邮件内容,子文档存储每个邮件拥有者的信息以及对于此用户这封邮件的状态。搜索某个账户的邮件列表时,我们希望搜索到邮件内容和邮件状态,可以设想假如没有Inner-hits,我们必须得分两次查询,因为邮件内容和邮件状态分别存放在父文档和子文档中。而有了Inner_hits属性后,我们可以使用一次查询完成。

curl -XGET  'http://localhost:9200/hermes/email/_search/?pretty=true' -d  '{ "query": {    "has_child": {      "type": "email_owner",      "query": {        "bool": {          "must": [            { "term": { "owner": "13724100993@189.cn" } },            {"term": {"labelId": "1"} }          ]}      },      //注意此处       "inner_hits": {}     }  }}'

(8)mget批量查询

如果一次性要查询多条数据的话,那么一定要用batch批量操作的api,尽可能减少网络开销次数,可能可以将性能提升数倍,甚至数十倍。

POST  http://localhost:9200/bank/_mget{	"docs" : [	{		"_type" : "accout",		"_id" : 1	},{		"_type" : "accout",		"_id" : 2	}]}

五、补充

强烈推荐:

Elasticsearch5.2核心知识篇 

Elasticsearch5.2高手进阶篇 

分词器

es 默认分词器原理:中文以单个字为单位进行分词,英文以空格或者标点为单位进行分词。

match与term 

倒排索引

可参考 

filters特性  

过滤查询以及聚合 

_all 

Elasticsearch 字段数据类型 :

(推荐)

ES部分原理介绍:

 

转载于:https://my.oschina.net/u/1765168/blog/1563399

你可能感兴趣的文章
Android bluetooth介绍(四): a2dp connect流程分析
查看>>
【淡墨Unity3D Shader计划】一间 创建一个游戏场景 & 第一Shader写作
查看>>
Linux命令-实时监测命令:watch
查看>>
Linux里如何查找文件内容
查看>>
Python中通过函数对象创建全局变量
查看>>
2015第32周五
查看>>
2015第33周四
查看>>
浅析pinyin4j源码 简单利用pinyin4j对中文字符进行自然排序(转)
查看>>
PMBOK项目管理思维导图梳理
查看>>
Canvas旋转图片--保持相同大小的算法
查看>>
android 读写sd卡的权限设置
查看>>
hacking a friend's Linux buzzer driver in OK335xS
查看>>
[Oracle] 用python插入中文
查看>>
VGA Output from STM32F4 Discovery board
查看>>
关于微信二次分享,描述变链接的解决方法(一)----文档说明
查看>>
NSUserDefaults API简单的介绍和使用英文文件
查看>>
android 百度地图 通过剪裁图片添加 Marker
查看>>
[勘探开发]成绩,全栈开发,健全&借贷
查看>>
Visual Studio 启动加速
查看>>
AndroidUI的组成部分RoomButton
查看>>