Elasticsearch：使用稀疏向量提升相关性

作者：来自 Elastic Vincent Bosc

学习如何在 Elasticsearch 中使用稀疏向量，以最小的复杂性提升相关性并实现搜索结果个性化。

稀疏向量是 ELSER 中的关键组件，但它们的用途远不止于此。在这篇文章中，我们将探讨稀疏向量如何在电商场景中提升搜索相关性：基于搜索行为（如点击）和用户偏好对文档进行加权。

什么是稀疏向量？

向量搜索是当前的热门话题，但大多数讨论集中在密集向量上：用于机器学习和神经搜索的紧凑型数值表示。而稀疏向量则采用了不同的路径。

与紧密压缩数据的密集向量不同，稀疏向量以更具可解释性和结构化的格式存储信息，通常包含大量的零。虽然没有那么受关注，但在合适的场景下，它们的能力是非常强大的。

💡 趣味小知识：稀疏向量和倒排索引都利用稀疏性来高效地表示和检索信息。

在 Elasticsearch 中，你可以使用 sparse_vector 字段类型来存储稀疏向量：这并不令人意外。

使用稀疏向量进行查询

在 Elasticsearch 中使用稀疏向量进行搜索的体验类似于传统的关键词搜索，但有所不同。稀疏向量查询（sparse vector queries）不是直接匹配词项，而是使用加权词项和点积，根据文档与查询向量的匹配程度来评分。

用例 1：通过信号增强提升搜索排名

信号增强是指强调某些特征或词项以提升搜索排名。当业务逻辑或用户行为表明某些结果应该排在更前时，这种方法尤其有用。

假设我们正在处理一个简单的电商索引：

PUT marketplace
{"mappings": {"properties": {"title": {"type": "text"},"query_boost": {"type": "sparse_vector"},"customer_types": {"type": "sparse_vector"}}}
}

现在，让我们只使用传统的 full text 类型来索引两个文档：

POST marketplace/_doc/1
{"title": "playstation 5 - special offer"
}POST marketplace/_doc/2
{"title": "playstation controller"
}

对 “playstation” 的基本搜索会首先返回控制器，而不是因为它更相关，而是因为默认的词法评分算法 BM25 倾向于偏好较短的字段，导致标题简洁的控制器排名更高。更多的内容可以参阅 “Elasticsearch：分布式计分 - TF-IDF”。

GET marketplace/_search
{"query": {"match": {"title": "playstation"}}
}"hits": [{"_index": "marketplace","_id": "2","_score": 0.21110919,"_source": {"title": "playstation controller"}},{"_index": "marketplace","_id": "1","_score": 0.160443,"_source": {"title": "playstation 5 - special offer"}}
]

但我们希望提升 console 的搜索结果，特别是因为它有特价优惠！

一种实现方式是通过稀疏向量将增强信号直接嵌入到文档中：

POST marketplace/_doc/1
{"title": "playstation 5 - special offer","query_boost": [{"playstation": 3, "game console": 1}]
}

这个文档现在在搜索查询 “playstation” 和 “game console” 中具有了额外的权重。

我们可以调整查询，以结合这个稀疏向量的增强效果：

GET marketplace/_search
{"query": {"bool": {"must": [{"match": {"title": "playstation"}}],"should": [{"sparse_vector": {"field": "query_boost","query_vector": {"playstation": 1}}}]}}
}"hits": [{"_index": "marketplace","_id": "1","_score": 3.160443,"_source": {"title": "playstation 5 - special offer",}},{"_index": "marketplace","_id": "2","_score": 0.21110919,"_source": {"title": "playstation controller"}}
]

得益于稀疏向量匹配所带来的额外得分，console 现在排在了 controller 之前，这正是我们想要的结果！

这种方法提供了一种替代传统增强技术的方式，例如 function_score 查询或字段级权重调整。通过使用稀疏向量将增强信息直接存储在文档中，你可以在调整相关性时获得更高的灵活性和透明度。同时，它还实现了业务逻辑与查询逻辑的解耦。

不过，也需要注意权衡：对于一些简单的使用场景，传统的增强方式可能更容易实现，并且在某些情况下性能更优。而当你需要更细粒度、具有多维控制的增强方式时，稀疏向量的优势就会凸显出来。

提醒： must 子句会进行过滤并影响评分，而 should 子句在条件匹配时会增加评分。

用例 2：使用稀疏向量实现个性化

稀疏向量同样可以实现个性化。你可以为客户特征或用户画像分配权重，并利用这些权重为个体用户展示最相关的产品。

以下是一个示例：

POST marketplace/_doc/3
{"title": "High fructose snack bar with artificial flavor"
}POST marketplace/_doc/4
{"title": "Snack bar with whole food ingredients","customer_types": {"healthy-conscious": 3}
}

假设 Jim 是一位偏好健康、可持续选项的客户：

POST user/_doc/jim
{"customer-types": {"healthy-conscious": 2"tech-savvy": 1,"eco-friendly": 1}
}

我们可以根据 Jim 的偏好定制搜索体验：

GET marketplace/_search
{"query": {"bool": {"must": [{"match": {"title": "snack bar"}}],"should": [{"sparse_vector": {"field": "customer_types","query_vector": {"healthy-conscious": 2,"tech-savvy": 1,"eco-friendly": 1}}}]}}
}"hits": [{"_index": "marketplace","_id": "4","_score": 7.2515574,"_source": {"title": "Snack bar with whole food ingredients","customer_types": {"healthy-conscious": 3}}},{"_index": "marketplace","_id": "3","_score": 1.1612647,"_source": {"title": "High fructose snack bar with artificial flavor"}}
]

因此，更健康的能量棒出现在搜索结果的顶部，因为这更符合 Jim 的购买倾向。

这种通过稀疏向量实现的个性化方法，基于类似于静态用户标签的理念，但使其更具动态性和表现力。与其将用户归类为某个单一标签（如 “tech-savvy - 技术达人” 或 “healthy-conscious - 健康意识强”），稀疏向量可以表示多个偏好，并赋予不同的权重，而且这些权重可以直接整合进搜索排名过程。

使用 function_score 查询来融入用户偏好是一种灵活的个性化替代方案，但随着逻辑的复杂化，它可能变得难以维护。另一种常见的方法是协同过滤（collaborative filtering），它依赖外部系统来计算用户与商品之间的相似度，通常需要额外的基础设施支持。学习排序（LTR）也可以应用于个性化，具备强大的排序能力，但在特征工程和模型训练方面要求较高的成熟度。