1. 介绍

1.1 介绍

我们都知道使用ES搜索文档的时候可以通过from和size进行文档数据的“翻页”处理，但是如果你的索引里面的文档超过了10000个的话，再使用这样的方式去实现数据翻页就会得到如下的错误：

Result window is too larg e, from + size must be less than or equal to: [10000] but was [11000]

意思是说from + size的和不能超过10000，这下麻烦了~~

2. 原因

原来这个from和size的设计初衷是为了适应那种类似某度、某歌那样的网页搜索引擎的，而那种搜索引擎的结果集一般情况下不会有人想去看10000条以后的文档的，所以设计from + size是完全够用的。

但是作为一般系统的全文搜索引擎的应用场景这10000的上限显然是不合理的，福哥通过查询官方文档发现了一个专门用来做数据翻页的功能——scroll，ES官方设计了这个scroll功能可以针对查询结果进行数据翻页。

需要注意的是，如果我们的使用情况是类似某度、某歌那样的搜索引擎的话，还是使用from + size效率更高哦~~

3. 终端

3.1 Curl

使用Curl实现scroll比较直观，我们通过查询用户索引tfapi_utf8users来给大家演示如何使用scroll进行分页。

3.1.1 data.json

这是查询的数据，福哥放到了一个data.json文件里面。

{
  "query": {
    "match": {
      "mName": "同福"
    }
  },
  "size": 2
}

3.1.2 scroll_id

提交查询并且拿到scroll_id，这个scroll_id要在查询下一页的时候使用的。

curl -X POST -H 'Content-Type: application/json' -d '@data.json' 'http://localhost:9200/tfapi_utf8users/_search?scroll=1m&pretty=true'

3.1.3 scroll

现在我们通过scroll_id去翻页下一部分内容。

{
  "scroll": "1m",
  "scroll_id": "DnF1ZXJ5VGhlbkZldGNoBQAAAAAAO4uKFnNpWFlnVF9GUjVlRmxSMHIzSFBDencAAAAAADuLixZzaVhZZ1RfRlI1ZUZsUjByM0hQQ3p3AAAAAAA7i4wWc2lYWWdUX0ZSNWVGbFIwcjNIUEN6dwAAAAAAO4uNFnNpWFlnVF9GUjVlRmxSMHIzSFBDencAAAAAADuLjhZzaVhZZ1RfRlI1ZUZsUjByM0hQQ3p3"
}

可以看到ES返回了下一页的结果了！

需要注意的是，我们每次查询下一页的时候都需要从上一页结果里面获取最新的scroll_id而不能始终使用第一页结果里面的scroll_id，直到查不到文档为止。

4. PHP

4.1 elasticsearch-php

使用elasticsearch-php库实现scroll功能，elasticsearch-php库提供了scroll方法，可以先通过search方法获得第一个scroll_id，然后循环用scroll方法查询后面的数据。

$builder = \Elasticsearch\ClientBuilder::create();
$builder->setHosts(array("127.0.0.1:9200"));
$client = $builder->build();

// query
$resp = $client->search(array(
    'index' => "tfapi_utf8users",
    'scroll'=>"1m",
    'size'=>2,
    'body' => array(
        'query' => array(
            'match' => array(
                'mName' => "同福"
            )
        )
    )
));

// cycle to scroll
while(isset($resp['hits']['hits'])
    && is_array($resp['hits']['hits'])
    && count($resp['hits']['hits']) > 0){
    // data
    foreach($resp['hits']['hits'] as $item){

    }

    // scroll next
    $scrollId = $resp['_scroll_id'];
    $resp = $client->scroll(array(
        'scroll_id'=>$scrollId,
        'scroll'=>"1m",
    ));
}

5. 注意事项

5.1 文档数量size

根据官方的说法，虽然我们设置了size参数规定了每次返回结果集的数量，但是实际的返回结果有可能会超过这个size规定的数量。

5.2 跳页

根据scroll的工作方式我们可以知道，如果文档数量很多，然后用户想要直接翻到第n页的话，我们也只能一页一页的滚动过去。

显然这不是一个很好的方案，也就是说它并不能实现传统意义上的数据翻页功能，类似MySQL的limit功能或者MongoDB的skip()+limit()功能。

6. 总结

今天福哥带着童鞋们针对使用ES搭建的搜索引擎功能实现查询结果的数据翻页的技巧做了一个系统的学习，相信大家在自己开发全文搜索功能的时候就会有感觉了~~

https://m.tongfu.net/home/35/blog/513351.html