KNN - Amazon Elasticsearch Service
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

KNN

适用于 Amazon Elasticsearch Service 的 KNN 是其关联的 k 最近邻算法的缩写,可让您搜索向量空间中的点,并通过 Euclidean 距离找到这些点的“最近邻”。使用案例包括推荐(例如,音乐应用程序中的“您可能喜欢的其他歌曲”功能)、图像识别和欺诈检测。

KNN 要求使用 Elasticsearch 7.1 或更高版本。Open Distro for Elasticsearch 文档中提供了 Elasticsearch 功能的完整文档,包括设置和统计数据的描述。有关 k 最近邻算法的背景信息,请参阅 Wikipedia

KNN 入门

要使用 KNN,您必须使用 index.knn 设置创建索引,然后添加一个或多个数据类型为 knn_vector 的字段。

PUT my-index { "settings": { "index.knn": true }, "mappings": { "properties": { "my_vector1": { "type": "knn_vector", "dimension": 2 }, "my_vector2": { "type": "knn_vector", "dimension": 4 } } } }

knn_vector 数据类型支持最多 10,000 个浮点数的单个列表,浮点数的数量由所需的 dimension 参数定义。创建索引后,向其中添加一些数据。

POST _bulk { "index": { "_index": "my-index", "_id": "1" } } { "my_vector1": [1.5, 2.5], "price": 12.2 } { "index": { "_index": "my-index", "_id": "2" } } { "my_vector1": [2.5, 3.5], "price": 7.1 } { "index": { "_index": "my-index", "_id": "3" } } { "my_vector1": [3.5, 4.5], "price": 12.9 } { "index": { "_index": "my-index", "_id": "4" } } { "my_vector1": [5.5, 6.5], "price": 1.2 } { "index": { "_index": "my-index", "_id": "5" } } { "my_vector1": [4.5, 5.5], "price": 3.7 } { "index": { "_index": "my-index", "_id": "6" } } { "my_vector2": [1.5, 5.5, 4.5, 6.4], "price": 10.3 } { "index": { "_index": "my-index", "_id": "7" } } { "my_vector2": [2.5, 3.5, 5.6, 6.7], "price": 5.5 } { "index": { "_index": "my-index", "_id": "8" } } { "my_vector2": [4.5, 5.5, 6.7, 3.7], "price": 4.4 } { "index": { "_index": "my-index", "_id": "9" } } { "my_vector2": [1.5, 5.5, 4.5, 6.4], "price": 8.9 }

然后,您可以使用 knn 查询类型搜索数据。

GET my-index/_search { "size": 2, "query": { "knn": { "my_vector2": { "vector": [2, 3, 5, 6], "k": 2 } } } }

在这种情况下,k 是您希望查询返回的邻居数,但您还必须包含 size 选项。否则,您将获得针对每个分区(和每个分段)的 k 个结果,而不是针对整个查询的 k 个结果。KNN 支持的最大 k 值为 10,000。

如果将 knn 查询与其他子句混合,则收到的结果数可能少于 k 个。在此示例中,post_filter 子句将结果数从 2 减少到 1。

GET my-index/_search { "size": 2, "query": { "knn": { "my_vector2": { "vector": [2, 3, 5, 6], "k": 2 } } }, "post_filter": { "range": { "price": { "gte": 6, "lte": 10 } } } }

KNN 差异和调整

Open Distro for Elasticsearch 可让您使用 _cluster/settings API 修改所有 KNN 设置。在 Amazon ES 上,您可以更改除 knn.memory.circuit_breaker.enabledknn.circuit_breaker.triggered 之外的所有设置。KNN 统计数据作为 Amazon CloudWatch 指标包括在内。

特别是,根据 knn.memory.circuit_breaker.limit 统计数据和实例类型的可用 RAM 检查每个数据节点上的 KNNGraphMemoryUsage 指标。 Amazon ES 使用实例的一半 RAM 作为 Java 堆(最多堆大小为 32 GiB)。默认情况下,KNN 使用最多 60% 的剩余一半,因此具有 32 GiB RAM 的实例类型可以容纳 9.6 GiB 的图形 (32 * 0.5 * 0.6)。如果图形内存使用量超过此值,性能可能会受到影响。