欢迎来到尧图网

客户服务 关于我们

您的位置:首页 > 财经 > 金融 > 【Elasticsearch】 Composite Aggregation 详解

【Elasticsearch】 Composite Aggregation 详解

2025/2/7 16:15:42 来源:https://blog.csdn.net/risc123456/article/details/145453560  浏览:    关键词:【Elasticsearch】 Composite Aggregation 详解

1.什么是 Composite Aggregation?

Composite Aggregation 是 Elasticsearch 中的一种特殊聚合方式,适用于需要分页展示的聚合结果。它与传统的聚合方式不同,采用了基于游标的分页模型。这种聚合方式可以高效地处理多级聚合中的所有桶,并支持分页功能。

2.基本结构

一个典型的 Composite Aggregation 查询如下:

```json

GET /your_index_name/_search

{

  "size": 0,

  "aggs": {

    "my_composite_agg": {

      "composite": {

        "size": 10,

        "sources": [

          {

            "field1": {

              "terms": {

                "field": "your_field_name1"

              }

            }

          },

          {

            "field2": {

              "terms": {

                "field": "your_field_name2"

              }

            }

          }

        ]

      }

    }

  }

}

```

在上述查询中:

• `sources`定义了按哪些字段分组,字段顺序决定了分组键(bucket key)的生成顺序。

• `size`定义每页的桶数量。

• 响应结果中的`after_key`用于获取下一页数据。

3.分页机制

Composite Aggregation 的分页机制通过`after`参数实现。每次查询返回指定数量的桶,并通过`after_key`提供下一页的游标。这种方式可以确保分页查询中数据无重复、无遗漏。

例如:

```json

GET /your_index_name/_search

{

  "size": 0,

  "aggs": {

    "my_composite_agg": {

      "composite": {

        "size": 10,

        "sources": [

          {

            "field1": {

              "terms": {

                "field": "your_field_name1"

              }

            }

          }

        ],

        "after": {

          "field1": "last_value_of_field1"

        }

      }

    }

  }

}

``

4.排序和方向

Composite Aggregation 支持对每个值源进行排序,可以通过设置`order`参数为`asc`(升序)或`desc`(降序)。

```json

GET /your_index_name/_search

{

  "size": 0,

  "aggs": {

    "my_composite_agg": {

      "composite": {

        "size": 10,

        "sources": [

          {

            "field1": {

              "terms": {

                "field": "your_field_name1",

                "order": "desc"

              }

            }

          },

          {

            "field2": {

              "terms": {

                "field": "your_field_name2",

                "order": "asc"

              }

            }

          }

        ]

      }

    }

  }

}

```

5.处理缺失值

默认情况下,缺少指定字段值的文档会被忽略。通过设置`missing_bucket`参数为`true`,可以将这些文档包含在响应中。

```json

GET /your_index_name/_search

{

  "size": 0,

  "aggs": {

    "my_composite_agg": {

      "composite": {

        "size": 10,

        "sources": [

          {

            "field1": {

              "terms": {

                "field": "your_field_name1",

                "missing_bucket": true

              }

            }

          }

        ]

      }

    }

  }

}

```

6.性能优化

Composite Aggregation 的设计特别适合大规模数据的聚合和分页,是传统`from + size`分页方法的高效替代方案。为了进一步优化性能,建议在索引中设置索引排序,使其与复合聚合中的源顺序部分或完全匹配。

7.应用场景

Composite Aggregation 适用于以下场景:

• 需要分页展示聚合结果。

• 处理大规模数据时,需要高效分页和排序。

• 需要对多个字段进行分组和聚合。

通过上述特性,Composite Aggregation 提供了一种强大且灵活的方式来处理复杂的聚合需求,特别是在需要分页和排序的场景中表现出色。

好的,下面我将通过一个具体的例子来展示如何使用 Composite Aggregation 来实现分页聚合查询。假设我们有一个电商数据集,其中包含商品的销售记录,我们希望按日期和商品类别进行分组,并计算每个分组的销售总额。

数据示例

假设我们的索引名为`sales`,其中的文档如下:

```json

{

  "timestamp": "2024-01-01T00:00:00Z",

  "product": "T-shirt",

  "category": "Clothing",

  "price": 20

}

 

{

  "timestamp": "2024-01-01T00:00:00Z",

  "product": "Jeans",

  "category": "Clothing",

  "price": 40

}

 

{

  "timestamp": "2024-01-02T00:00:00Z",

  "product": "T-shirt",

  "category": "Clothing",

  "price": 20

}

 

{

  "timestamp": "2024-01-02T00:00:00Z",

  "product": "Laptop",

  "category": "Electronics",

  "price": 1000

}

```

查询目标

我们希望按日期和商品类别进行分组,并计算每个分组的销售总额。同时,我们希望分页显示结果,每页显示 2 个分组。

第一页查询

首先,我们查询第一页的结果:

```json

GET /sales/_search

{

  "size": 0,

  "aggs": {

    "sales_by_date_and_category": {

      "composite": {

        "size": 2,

        "sources": [

          {

            "date": {

              "date_histogram": {

                "field": "timestamp",

                "calendar_interval": "1d"

              }

            }

          },

          {

            "category": {

              "terms": {

                "field": "category"

              }

            }

          }

        ]

      },

      "aggregations": {

        "total_sales": {

          "sum": {

            "field": "price"

          }

        }

      }

    }

  }

}

```

解释

• `size`:每页返回的分组数量。

• `sources`:定义了两个分组字段:

• `date`:按日期分组,每天一个桶。

• `category`:按商品类别分组。

• `aggregations`:在每个复合桶中计算销售总额。

查询结果

返回的结果如下:

```json

{

  "aggregations": {

    "sales_by_date_and_category": {

      "after_key": {

        "date": 1704115200000,

        "category": "Clothing"

      },

      "buckets": [

        {

          "key": {

            "date": 1704028800000,

            "category": "Clothing"

          },

          "doc_count": 2,

          "total_sales": {

            "value": 60

          }

        },

        {

          "key": {

            "date": 1704115200000,

            "category": "Clothing"

          },

          "doc_count": 1,

          "total_sales": {

            "value": 20

          }

        }

      ]

    }

  }

}

```

解释

• `buckets`:包含两个分组:

• 第一个分组:`2024-01-01`的`Clothing`类别,销售总额为 60。

• 第二个分组:`2024-01-02`的`Clothing`类别,销售总额为 20。

• `after_key`:提供了下一页的游标。

第二页查询

使用`after_key`查询下一页的结果:

```json

GET /sales/_search

{

  "size": 0,

  "aggs": {

    "sales_by_date_and_category": {

      "composite": {

        "size": 2,

        "sources": [

          {

            "date": {

              "date_histogram": {

                "field": "timestamp",

                "calendar_interval": "1d"

              }

            }

          },

          {

            "category": {

              "terms": {

                "field": "category"

              }

            }

          }

        ],

        "after": {

          "date": 1704115200000,

          "category": "Clothing"

        }

      },

      "aggregations": {

        "total_sales": {

          "sum": {

            "field": "price"

          }

        }

      }

    }

  }

}

``

查询结果

返回的结果如下:

```json

{

  "aggregations": {

    "sales_by_date_and_category": {

      "after_key": {

        "date": 1704115200000,

        "category": "Electronics"

      },

      "buckets": [

        {

          "key": {

            "date": 1704115200000,

            "category": "Electronics"

          },

          "doc_count": 1,

          "total_sales": {

            "value": 1000

          }

        }

      ]

    }

  }

}

``

解释

• `buckets`:包含一个分组:

• `2024-01-02`的`Electronics`类别,销售总额为 1000。

• `after_key`:提供了下一页的游标。

通过这种方式,我们可以高效地分页查询聚合结果,而不会遗漏或重复任何数据。

好的,接下来我们继续探讨如何处理更多分页结果,以及如何优化和扩展这个查询。

继续分页查询

假设我们继续查询下一页,使用上一页返回的`after_key`:

```json

GET /sales/_search

{

  "size": 0,

  "aggs": {

    "sales_by_date_and_category": {

      "composite": {

        "size": 2,

        "sources": [

          {

            "date": {

              "date_histogram": {

                "field": "timestamp",

                "calendar_interval": "1d"

              }

            }

          },

          {

            "category": {

              "terms": {

                "field": "category"

              }

            }

          }

        ],

        "after": {

          "date": 1704115200000,

          "category": "Electronics"

        }

      },

      "aggregations": {

        "total_sales": {

          "sum": {

            "field": "price"

          }

        }

      }

    }

  }

}

```

查询结果

如果返回结果为空,说明已经到达最后一页:

```json

{

  "aggregations": {

    "sales_by_date_and_category": {

      "buckets": []

    }

  }

}

``

这表明所有分组已经查询完毕。

性能优化

为了进一步优化性能,可以考虑以下几点:

1. 设置合理的`size`参数:根据实际需求设置合适的分页大小,避免过大或过小。

2. 索引排序:如果数据量很大,可以在索引创建时设置索引排序,使其与聚合的字段顺序一致。例如:

```json

   PUT /sales

   {

     "settings": {

       "index": {

         "sort.field": ["timestamp", "category"],

         "sort.order": ["asc", "asc"]

       }

     }

   }

   ```

3. 禁用`track_total_hits`:在分页查询中,通常不需要统计总命中数,可以通过设置`track_total_hits: false`来节省资源。

扩展应用

Composite Aggregation 不仅可以用于分页查询,还可以结合其他聚合功能,例如:

• 计算平均值:在每个分组中计算平均销售额。

```json

  "aggregations": {

    "average_sales": {

      "avg": {

        "field": "price"

      }

    }

  }

  ```

• 多级分组:可以增加更多分组字段,例如按地区分组。

```json

  "sources": [

    {

      "date": {

        "date_histogram": {

          "field": "timestamp",

          "calendar_interval": "1d"

        }

      }

    },

    {

      "category": {

        "terms": {

          "field": "category"

        }

      }

    },

    {

      "region": {

        "terms": {

          "field": "region"

        }

      }

    }

  ]

  ```

总结

通过 Composite Aggregation,我们可以高效地实现分页聚合查询,避免了传统分页方法(如`from + size`)在大规模数据下的性能瓶颈。同时,它还支持灵活的排序、多级分组和子聚合功能,能够满足复杂的业务需求。

 

以下是使用`composite aggregation`结合`terms`、`histogram`、`date_histogram`和`geotile_grid`的示例:

1.`terms`类型的`composite aggregation`

以下示例对`authors`索引中的`author_name`字段进行`terms`聚合:

```json

GET authors/_search

{

  "size": 0,

  "aggs": {

    "our_buckets": {

      "composite": {

        "sources": [

          { "authors": { "terms": { "field": "author_name" } } }

        ]

      }

    }

  }

}

```

2.`histogram`类型的`composite aggregation`

以下示例对`authors`索引中的`books_number`字段进行`histogram`聚合,区间设置为5:

```json

GET authors/_search

{

  "size": 0,

  "aggs": {

    "our_buckets": {

      "composite": {

        "sources": [

          { "booksnum": { "histogram": { "field": "books_number", "interval": 5 } } }

        ]

      }

    }

  }

}

```

3.`date_histogram`类型的`composite aggregation`

以下示例对`books`索引中的`publish_date`字段进行`date_histogram`聚合,时间间隔设置为一周:

```json

GET books/_search

{

  "size": 0,

  "aggs": {

    "our_buckets": {

      "composite": {

        "sources": [

          { "week": { "date_histogram": { "field": "publish_date", "calendar_interval": "1w" } } }

        ]

      }

    }

  }

}

```

4.`geotile_grid`类型的`composite aggregation`

以下示例对`authors`索引中的`authors_location`字段进行`geotile_grid`聚合,精度设置为6:

```json

GET authors/_search

{

  "size": 0,

  "aggs": {

    "our_buckets": {

      "composite": {

        "sources": [

          { "authorsloc": { "geotile_grid": { "field": "authors_location", "precision": 6 } } }

        ]

      }

    }

  }

}

```

5.组合使用多种聚合类型

以下示例同时使用`date_histogram`和`terms`聚合:

```json

GET books/_search

{

  "size": 0,

  "aggs": {

    "our_buckets": {

      "composite": {

        "sources": [

          { "week": { "date_histogram": { "field": "publish_date", "calendar_interval": "1w" } } },

          { "authors": { "terms": { "field": "author_name" } } }

        ]

      }

    }

  }

}

```

这些示例展示了如何在`composite aggregation`中使用不同类型的聚合,以满足不同的数据分析需求。

 

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com