Elasticsearch:search template_elasticsearch的search template有哪些好处-程序员宅基地

技术标签: Elastic  Elasticsearch  elasticsearch  大数据  

我们发现一些用户经常编写了一些非常冗长和复杂的查询 - 在很多情况下,相同的查询会一遍又一遍地执行,但是会有一些不同的值作为参数来查询。在这种情况下,我们觉得使用一个 search template(搜索模板)来做这样的工作非常合适。搜索模板允许你使用可在执行时定义的参数定义查询。

Search template 的好处是:

  • 避免在多个地方重复代码
  • 更容易测试和执行您的查询
  • 在应用程序间共享查询
  • 允许用户只执行一些预定义的查询
  • 将搜索逻辑与应用程序逻辑分离

定义一个Search template

首先,我们来定义一个 search template 来看看它到底是什么东西。使用_scripts端点将模板存储在集群状态中。在 search template中使用的语言叫做 mustache

POST _scripts/my_search_template
{
  "script": {
    "lang": "mustache",
    "source": {
      "query": {
        "match": {
          "{
   {my_field}}": "{
   {my_value}}"
        }
      }
    }
  }
}

在这里,我们定义了一个叫做 my_search_template 的 search template。如果我们想更新这个 search template,我们可以直接进行修改,然后再次运行上面的命令即可

我们可以试验如下的命令来验证我们的 search template:

POST _render/template
{
  "id": "my_search_template",
  "params": {
    "my_field": "city",
    "my_value": "Beijing"
  }
}

上述命令输出搜索请求正文:

{
  "template_output": {
    "query": {
      "match": {
        "city": "Beijing"
      }
    }
  }
}

我们也可以使用如下的 API 来测试 inline templates:

POST _render/template
{
  "source": {
    "query": {
      "match": {
        "{
   {my_field}}": "{
   {my_value}}"
      }
    }
  },
  "params": {
    "my_field": "city",
    "my_value": "Beijing"
  }
}

上面的命令将返回和上述命令一样的结果。

运行一个带有 template 的搜索

要使用搜索模板运行搜索,请使用搜索模板 API。 你可以为每个请求指定不同的参数。

在 match 的字段里,我们定义了两个参数:my_field 及 my_value。下面,我们来首先建立一个叫做 twitter 的索引:

PUT twitter/_doc/1
{
  "user" : "双榆树-张三",
  "message" : "今儿天气不错啊,出去转转去",
  "uid" : 2,
  "age" : 20,
  "city" : "北京",
  "province" : "北京",
  "country" : "中国",
  "address" : "中国北京市海淀区",
  "location" : {
    "lat" : "39.970718",
    "lon" : "116.325747"
  }
}

PUT twitter/_doc/2
{
  "user" : "虹桥-老吴",
  "message" : "好友来了都今天我生日,好友来了,什么 birthday happy 就成!",
  "uid" : 7,
  "age" : 90,
  "city" : "上海",
  "province" : "上海",
  "country" : "中国",
  "address" : "中国上海市闵行区",
  "location" : {
    "lat" : "31.175927",
    "lon" : "121.383328"
  }
}

我们这里把上面的两个文档存于到 twitter 的i ndex 之中。我们现在可以使用我们刚才定义的 search template 来进行搜索:

GET twitter/_search/template
{
  "id": "my_search_template",
  "params": {
    "my_field": "city",
    "my_value": "北京"
  }
}

显示的结果是:

{
  "took" : 1,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 1,
      "relation" : "eq"
    },
    "max_score" : 0.9808292,
    "hits" : [
      {
        "_index" : "twitter",
        "_type" : "_doc",
        "_id" : "1",
        "_score" : 0.9808292,
        "_source" : {
          "user" : "双榆树-张三",
          "message" : "今儿天气不错啊,出去转转去",
          "uid" : 2,
          "age" : 20,
          "city" : "北京",
          "province" : "北京",
          "country" : "中国",
          "address" : "中国北京市海淀区",
          "location" : {
            "lat" : "39.970718",
            "lon" : "116.325747"
          }
        }
      }
    ]
  }
}

显示它只显示了我们的 city 为北京的一个文档,另外一个上海的文档没有做任何的显示。说明我们定义的 search template 是工作的。

运行多个模板的搜索

要使用单个请求运行多个模板化搜索,请使用多搜索模板 API。 与多个单独的搜索相比,这些请求通常具有更少的开销和更快的速度:

GET my-index/_msearch/template
{ }
{ "id": "my-search-template", "params": { "query_string": "hello world", "from": 0, "size": 10 }}
{ }
{ "id": "my-other-search-template", "params": { "query_type": "match_all" }}

设置默认值

要为变量设置默认值,请使用以下语法:

{
   {my-var}}{
   {^my-var}}default value{
   {/my-var}}

如果模板化搜索未在其参数中指定值,则搜索将使用默认值。 例如,以下模板设置了 from 和 size 的默认值。

POST _render/template
{
  "source": {
    "query": {
      "match": {
        "message": "{
   {query_string}}"
      }
    },
    "from": "{
   {from}}{
   {^from}}0{
   {/from}}",
    "size": "{
   {size}}{
   {^size}}10{
   {/size}}"
  },
  "params": {
    "query_string": "hello world"
  }
}

URL encode strings

使用 { {#url}} 函数对字符串进行 URL 编码。

POST _render/template
{
  "source": {
    "query": {
      "term": {
        "url.full": "{
   {#url}}{
   {host}}/{
   {page}}{
   {/url}}"
      }
    }
  },
  "params": {
    "host": "http://example.com",
    "page": "hello-world"
  }
}

模板呈现为:

{
  "template_output": {
    "query": {
      "term": {
        "url.full": "http%3A%2F%2Fexample.com%2Fhello-world"
      }
    }
  }
}

连接数值

使用 { {#join}} 函数将数组值连接为逗号分隔的字符串。 例如,以下模板连接两个电子邮件地址。

POST _render/template
{
  "source": {
    "query": {
      "match": {
        "user.group.emails": "{
   {#join}}emails{
   {/join}}"
      }
    }
  },
  "params": {
    "emails": [ "[email protected]", "[email protected]" ]
  }
}

模板呈现为:

{
  "template_output": {
    "query": {
      "match": {
        "user.group.emails": "[email protected],[email protected]"
      }
    }
  }
}

你还可以指定自定义分隔符。

POST _render/template
{
  "source": {
    "query": {
      "range": {
        "user.effective.date": {
          "gte": "{
   {date.min}}",
          "lte": "{
   {date.max}}",
          "format": "{
   {#join delimiter='||'}}date.formats{
   {/join delimiter='||'}}"
	      }
      }
    }
  },
  "params": {
    "date": {
      "min": "2098",
      "max": "06/05/2099",
      "formats": ["dd/MM/yyyy", "yyyy"]
    }
  }
}

模板呈现为:

{
  "template_output": {
    "query": {
      "range": {
        "user.effective.date": {
          "gte": "2098",
          "lte": "06/05/2099",
          "format": "dd/MM/yyyy||yyyy"
        }
      }
    }
  }
}

转换为 JSON

使用 { {#toJson}} 函数将变量值转换为其 JSON 表示形式。

例如,以下模板使用 { {#toJson}} 传递数组。 为了确保请求体是有效的 JSON,source 以字符串格式编写。

POST _render/template
{
  "source": "{ \"query\": { \"terms\": { \"tags\": {
   {#toJson}}tags{
   {/toJson}} }}}",
  "params": {
    "tags": [
      "prod",
      "es01"
    ]
  }
}

模板呈现为:

{
  "template_output": {
    "query": {
      "terms": {
        "tags": [
          "prod",
          "es01"
        ]
      }
    }
  }
}

你还可以使用 { {#toJson}} 传递对象。

POST _render/template
{
  "source": "{ \"query\": {
   {#toJson}}my_query{
   {/toJson}} }",
  "params": {
    "my_query": {
      "match_all": { }
    }
  }
}

模板呈现为:

{
  "template_output" : {
    "query" : {
      "match_all" : { }
    }
  }
}

你还可以传递一个对象数组:

POST _render/template
{
  "source": "{ \"query\": { \"bool\": { \"must\": {
   {#toJson}}clauses{
   {/toJson}} }}}",
  "params": {
    "clauses": [
      {
        "term": {
          "user.id": "kimchy"
        }
      },
      {
        "term": {
          "url.domain": "example.com"
        }
      }
    ]
  }
}

模板呈现为:

{
  "template_output": {
    "query": {
      "bool": {
        "must": [
          {
            "term": {
              "user.id": "kimchy"
            }
          },
          {
            "term": {
              "url.domain": "example.com"
            }
          }
        ]
      }
    }
  }
}

条件判断

在 Mustache 语言中,它没有 if/else 这样的判断,但是你可以定 section 来跳过它如果那个变量是 false 还是没有被定义:

{
   {#param1}}
    "This section is skipped if param1 is null or false"
{
   {/param1}}

我们定义如下的一个 search template:

POST _scripts/docs_from_beijing_and_age
{
  "script": {
    "lang": "mustache",
    "source": 
"""
    {
      "query": {
        "bool": {
          "must": [
            {
              "match": {
                "city": "{
   {search_term}}"
              }
            }
            {
   {#search_age}}
            ,
            {
              "range": {
                "age": {
                  "gte": {
   {search_age}}
                }
              }
            }
            {
   {/search_age}}
          ]
        }
      }
    }
"""
  }
}

在这里,我们同时定义了两个变量:search_term 及 search_age。针对 search_age,我们做了一个判断,如果它有定义,及做一个 range 的查询。如果没有定义,就只用 search_term。那么我们来做如下的实验:

GET twitter/_search/template
{
  "id": "docs_from_beijing_and_age",
  "params": {
    "search_term": "北京"
  }
}

显示的结果是:

{
  "took" : 0,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 1,
      "relation" : "eq"
    },
    "max_score" : 0.9808292,
    "hits" : [
      {
        "_index" : "twitter",
        "_type" : "_doc",
        "_id" : "1",
        "_score" : 0.9808292,
        "_source" : {
          "user" : "双榆树-张三",
          "message" : "今儿天气不错啊,出去转转去",
          "uid" : 2,
          "age" : 20,
          "city" : "北京",
          "province" : "北京",
          "country" : "中国",
          "address" : "中国北京市海淀区",
          "location" : {
            "lat" : "39.970718",
            "lon" : "116.325747"
          }
        }
      }
    ]
  }
}

显然,city 为北京的文档已经被搜索到了。如果我们做如下的查询:

GET twitter/_search/template
{
  "id": "docs_from_beijing_and_age",
  "params": {
    "search_term": "北京",
    "search_age": "30"
  }
}

我们将搜索不到任何的结果,这是因为在这次查询中 search_age 已经被启用,而且在数据库中没有一个文档是来自“北京”,并且年龄大于 30 的。我们可以做如下的查询:

GET twitter/_search/template
{
  "id": "docs_from_beijing_and_age",
  "params": {
    "search_term": "北京",
    "search_age": "20"
  }
}

 那么这次的显示结果为:

{
  "took" : 0,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 1,
      "relation" : "eq"
    },
    "max_score" : 1.9808292,
    "hits" : [
      {
        "_index" : "twitter",
        "_type" : "_doc",
        "_id" : "1",
        "_score" : 1.9808292,
        "_source" : {
          "user" : "双榆树-张三",
          "message" : "今儿天气不错啊,出去转转去",
          "uid" : 2,
          "age" : 20,
          "city" : "北京",
          "province" : "北京",
          "country" : "中国",
          "address" : "中国北京市海淀区",
          "location" : {
            "lat" : "39.970718",
            "lon" : "116.325747"
          }
        }
      }
    ]
  }
}

显然这次我们搜索到我们想要的结果。

查询 search template

GET _scripts/<templateid>

针对我们的情况:

GET _scripts/docs_from_beijing_and_age

显示的结果为:

{
  "_id" : "docs_from_beijing_and_age",
  "found" : true,
  "script" : {
    "lang" : "mustache",
    "source" : """
    {
      "query": {
        "bool": {
          "must": [
            {
              "match": {
                "city": "{
   {search_term}}"
              }
            }
            {
   {#search_age}}
            ,
            {
              "range": {
                "age": {
                  "gte": {
   {search_age}}
                }
              }
            }
            {
   {/search_age}}
          ]
        }
      }
    }
"""
  }
}

这个正是我们之前定义的一个 search template。

删除一个 search template

我们可以通过如下的命令来删除一个已经创建的 search template:

DELETE _scripts/<templateid>

验证 search template

我们可以通过 _render 端点来验证我们的 search template。比如:

GET _render/template
{
  "source": """
    {
      "query": {
        "bool": {
          "must": [
            {
              "match": {
                "city": "{
   {search_term}}"
              }
            }
            {
   {#search_age}}
            ,
            {
              "range": {
                "age": {
                  "gte": {
   {search_age}}
                }
              }
            }
            {
   {/search_age}}
          ]
        }
      }
    }
""",
  "params": {
    "search_term": "北京",
    "search_age": "20"
  }
}

那么显示的结果是:

{
  "template_output" : {
    "query" : {
      "bool" : {
        "must" : [
          {
            "match" : {
              "city" : "北京"
            }
          },
          {
            "range" : {
              "age" : {
                "gte" : 20
              }
            }
          }
        ]
      }
    }
  }
}

显然,这个就是我们想要的结果。

参考:

【1】Search Template | Elasticsearch Guide [7.4] | Elastic

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/UbuntuTouch/article/details/100555460

智能推荐

Map中的putAll方法_java map putall-程序员宅基地

文章浏览阅读7k次。HashMap map1=new HashMap(); HashMap map2 = new HashMap();map2.putAll(map1)上面的代码的意思是将map1中所有的<key,value>插入到map2中去。具体参考: HashMap map1=new HashMap(); map1.put("..._java map putall

基于javaweb仿京东商城管理系统的设计与实现(含论文和程序源码及数据库文件)_基于java web的网店管理系统的设计与实现-程序员宅基地

文章浏览阅读1w次,点赞8次,收藏60次。网上购物商城系统以弥补传统购物方式的弊端。在目前的商城里,如果采用网上商城方式,用户购物时就不需要到店里面排队,这样不仅能实时地了解商品的特色,而且方便了顾客,同时也减轻了商城的服务压力。随着WLAN技术的普及,一些规模较大的商城开始考虑利用这种最为先进、最具时尚潮流的网络技术来建设一套灵活、快捷的信息管理系统,以优化管理流程,使网上的服务和管理得到实质性的提升,提高品牌形象和行业核心竞争力。 本课题是实现了网上购物系统的功能,如:商品分类、订单管理等功能。本设计采用安装 JAVA JDK 、安装 IDEA_基于java web的网店管理系统的设计与实现

Python数据爬取超详细讲解(零基础入门,老年人都看的懂)_python爬取数据-程序员宅基地

文章浏览阅读10w+次,点赞9k次,收藏2.4w次。关于Python爬虫的超详细讲解,用例子来给大家一步步分析爬虫的代码原理,由浅入深,老年人来了,我也给你整明白。_python爬取数据

发送邮件工具类_发送邮件 filestoragetype-程序员宅基地

文章浏览阅读250次。发送邮件工具类package com.wfsc.utils;import com.wfsc.entity.User;import javax.mail.MessagingException;import javax.mail.Session;import javax.mail.Transport;import javax.mail.internet.InternetAddress;import javax.mail.internet.MimeMessage;import java.io_发送邮件 filestoragetype

CNN卷积神经网络介绍_cnn的优势-程序员宅基地

文章浏览阅读6.5k次,点赞3次,收藏59次。1简介1.1离散卷积1.2池化2卷积算法2.1没有零填充,单位跨度2.2零填充,跨步2.2.1一半(相同)的填充2.2.2全填充2.3无零填充,非跨步2.4零填充,非跨步3池算术184转置卷积算法194.1卷积作为矩阵运算4.2转置卷积4.3无零填充,跨步,转置4.4零填充,跨步,转置4.4.1一半(相同)填充,转置4.4.2全填充,转置4.5无零填充,非跨步,..._cnn的优势

打印机在计算机里被删掉,打印机显示正在删除怎么办 打印机显示正在删除解决办法...-程序员宅基地

文章浏览阅读3k次。打印机打印后,总是显示正在删除怎么办?有什么办法可以解决?下面就给大家带来 打印机显示正在删除解决办法 ,一起来看看。方法一:删除打印机打印任务时,电脑提示正在删除,却一直没有显示删除。其实,打印任务可能已经被删除了,只是电脑没有显示而已。最简单的方法,关闭打印机,重新打印打印机电源。这时候再检查打印任务,就已经全部删除了。这是由于,当前系统下,某文件有可能正在被系统本身或是其他应用软件调用,而正..._打印机一直正在删除怎么办

随便推点

Android ListView控件显示数据库中图片_安卓获取listview里的图片并显示-程序员宅基地

文章浏览阅读5.8k次。Android中ListView是比较常用的控件,但一直都觉得创建ListView步骤有点繁琐,故在此总结一下,方便查阅。程序效果是实现一个显示联系人的简单信息。使用ListView控件,数据有姓名,和照片,并加入点击事件响应。布局文件:

python123程序改错题库,2016最新二级C语言考试题库及答案(程序改错专项练习 精华版)...-程序员宅基地

文章浏览阅读535次。《2016最新二级C语言考试题库及答案(程序改错专项练习 精华版)》由会员分享,可在线阅读,更多相关《2016最新二级C语言考试题库及答案(程序改错专项练习 精华版)(4页珍藏版)》请在人人文库网上搜索。1、程序改错题(共15题)1、在考生文件夹下,给定程序MODI.C的功能是:求一维数组a中所有元素的平均值,结果保留两位小数。例如,当一维数组a中的元素为:10,4,2,7,3,12,5,34,5..._安徽二级python考试有程序改错题吗?

Roser S.Pressman在UMLChina交流实录-程序员宅基地

文章浏览阅读2.2k次。 UMLChina第十三期专家交流实录返回首页 返回目录北京时间2002年1月10日(星期四)晚上21:30-23:30 嘉宾:Roser S.Pressman博士是软件工程领域国际知名的咨询专家和作者,R.S. Pressman & Associates, Inc的创始人,已有超过30年的产业经验,主要从事工程产品软件和系统软件的开发技术工

【Linux】shell编程1(shell脚本书写格式、脚本中的环境变量、普通变量、自定义环境变量、变量数组、位置变量、状态变量、内置变量、变量扩展)_linux脚本格式-程序员宅基地

文章浏览阅读2.4k次。${parameter:-word}如果parameter的变量值为空或者未赋值,则会返回word字符串代替变量值${parameter:=word}如果parameter的变量值为空或者未赋值,则设置这个变量值为word,返回值也是word${parameter:?word} 如果parameter的变量值为空或者未赋值,那么word字符串会被当做标准错误输出,否则输出变量的值${parameter:+word} 如果parameter的变量值为空或者未赋值,则输出空值,否则wo_linux脚本格式

聊聊线程之run方法_start 是同步还是异步-程序员宅基地

文章浏览阅读2.4k次。话不多说参考书籍 汪文君补充知识:start是异步,run是同步,start的执行会经过JNI方法然后被任务执行调度器告知给系统内核分配时间片进行创建线程并执行,而直接调用run不经过本地方法就是普通对象执行实例方法。什么是线程?1.现在几乎百分之百的操作系统都支持多任务的执行,对计算机来说每一个人物就是一个进程(Process),在每一个进程内部至少要有一个线程实在运行中,有时线..._start 是同步还是异步

制作非缘勿扰页面特效----JQuery_单击标题“非缘勿扰”,<dd>元素中有id属性的<span>的文本(主演、导演、标签、剧情-程序员宅基地

文章浏览阅读5.3k次,点赞9次,收藏34次。我主要用了层次选择器和属性选择器可以随意选择,方便简单为主大体CSS格式 大家自行构造网页主体<body> <div class='main' > <div class='left'> <img src="images/pic.gif" /> <br/><br/> <img src="images/col.gif" alt="收藏本片"/&_单击标题“非缘勿扰”,元素中有id属性的的文本(主演、导演、标签、剧情

推荐文章

热门文章

相关标签