Amazon Elasticsearch Service 的 Ultrasearch Service 超温存储 - Amazon Elasticsearch Service
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Amazon Elasticsearch Service 的 Ultrasearch Service 超温存储

UltraWarm 提供了一种经济高效的方式来在 Amazon Elasticsearch Service (Amazon ES) 上存储大量只读数据。标准数据节点使用 “热” 存储,其形式是连接到每个节点的实例存储或 Amazon EBS 卷。热存储为编制索引和搜索新数据提供尽可能快的性能。

UltraWarm 节点使用 Amazon S3 和高级缓存解决方案来提高性能,而不是使用附加的存储。对于您没有主动写入、查询频率较低并且不需要相同的性能的索引,UltraWarm 提供的每 GiB 数据的成本显著降低。由于温索引是只读的,除非您将索引返回到热存储,因此 UltraWarm 最适合不可变数据,例如日志。

在 Elasticsearch 中,温索引的行为与任何其他索引一样。您可以使用相同的 API 查询它们,也可以使用它们在 Kibana 中创建控制面板。

Prerequisites

UltraWarm 具有几个重要的先决条件:

  • UltraWarm 需要 6.8 或更高版本。

  • 要使用温存储,域必须具有专用的主节点

  • 如果您的域为数据节点使用 T2 或 T3 实例类型,则无法使用温存储。

  • 如果域使用精细访问控制,则必须将用户映射到ultrawarm_manager角色进行 UltraWarm API 调用。

注意

这些区域有:ultrawarm_manager角色可能无法在某些先前存在的 Amazon ES 域上定义。如果您没有看到 Kibana 的角色,您需要手动创建

配置权限

如果您在先前存在的亚马逊 ES 域上启用了 UltraWen,ultrawarm_manager角色可能无法在域上定义。必须将非管理员用户映射到此角色,才能使用精细访问控制管理域上的热索引。要手动创建ultrawarm_manager角色,请执行下列步骤:

  1. 在基巴纳,转到安全,然后选择Permissions (权限)

  2. 选择创建操作组并配置以下组:

    Group name 权限
    ultrawarm_cluster
    • cluster:admin/ultrawarm/migration/list

    • cluster:monitor/nodes/stats

    ultrawarm_index_read
    • indices:admin/ultrawarm/migration/get

    • indices:admin/get

    ultrawarm_index_write
    • indices:admin/ultrawarm/migration/warm

    • indices:admin/ultrawarm/migration/hot

    • indices:monitor/stats

    • indices:admin/ultrawarm/migration/cancel

  3. 选择角色创建角色

  4. 将角色命名为超热管理器

  5. 适用于群集权限,选择ultrawarm_clustercluster_monitor

  6. 适用于索引,键入*

  7. 适用于索引权限中,选择ultrawarm_index_readultrawarm_index_write, 和indices_monitor

  8. 选择 Create (创建)

  9. 创建角色之后,映射它分配给任何将管理 UltraWarm 索引的用户或后端角色。

UltraWarm 存储要求和性能注意事项

计算存储需求,热存储中的数据会产生大量开销:副本、Linux 预留空间和 Amazon ES 预留空间。例如,具有一个副本分片的 20 GiB 主分片需要大约 53 GiB 的热存储空间。

因为它使用 Amazon S3,所以 UltraWarm 不会产生任何开销。计算 UltraHin 存储要求时,您只考虑主分片的大小。S3 中数据的持久性消除了对副本的需要,而 S3 会抽象掉任何操作系统或服务注意事项。同样的 20 GiB 分片需要 20 GiB 的温存储空间。如果您预配置一个 ultrawarm1.large.elasticsearch 实例,则可以将其所有 20 TiB 的最大存储空间用于主分片。有关实例类型的摘要以及每个实例可以解决的最大存储量,请参阅UltraWarm

使用 UltraWarm,我们仍然建议最大分片大小为 50 GiB。这些区域有:分配给每种 UltraWave 实例类型的 CPU 核心数量和内存量可以让您了解他们可以同时搜索的分片数量。

例如,每个ultrawarm1.medium.elasticsearch实例具有两个 CPU 内核,并且可以在 S3 上寻址高达 1.5 TiB 的存储。其中两个实例具有 3 TiB 的存储组合,如果每个分片为 50 GiB,则可以使用大约 62 个分片。如果对集群的请求仅搜索其中的四个分片,则性能可能会很好。如果请求很宽泛并且搜索了所有 62 个,则四个 CPU 内核可能难以执行该操作。监控WarmCPUUtilizationWarmJVMMemoryPressure UltraWarm 指标,了解实例如何处理您的工作负载。

如果您的搜索范围广泛或频繁,请考虑将索引留在热存储中。与其他任何 EltraWarm 工作负载一样,确定 UltraWarm 是否满足您的需求的最重要的步骤是使用真实的数据集执行有代表性的客户端测试。

UltraWarm 定价

使用热存储,您需要为预配置的内容支付费用。有些实例需要附加的 Amazon EBS 卷,而其他实例则包含实例存储。无论该存储空间是空还是满,您都要支付相同的价格。

使用 UltraWarm 存储,您需要为您的使用量付费。一个 ultrawarm1.large.elasticsearch 实例可以在 S3 上处理多达 20 TiB 的存储空间,但如果您仅存储 1 TiB 的数据,则只需为 1 TiB 的数据付费。与所有其他节点类型一样,您还为每个 UltraWarm 节点支付小时费率。有关更多信息,请参阅Amazon Elasticsearch Service 的定价

启用 UltraWarm

控制台是创建使用温存储的域的最简单方法。创建域时,请选择 Enable UltraWarm data nodes (启用 UltraWarm 数据节点),然后选择所需的温节点数。相同的基本过程适用于现有域,前提是它们满足先决条件。即使域状态从 Processing (正在处理) 变为 Active (活动) 后,UltraVwarm 可能也会在几个小时内无法使用。

您还可以使用 Amazon CLI配置 API 启用 UltraWarm,特别是 ElasticsearchClusterConfig 中的 WarmEnabledWarmCountWarmType 选项。

注意

域支持最大数量的温节点。有关详细信息,请参阅 Amazon Elasticsearch Service 限制

示例 CLI 命令

以下Amazon CLI命令创建一个域,其中包含三个数据节点、三个专用主节点、六个温节点以及启用了细粒度访问控制:

aws es create-elasticsearch-domain \ --domain-name my-domain \ --elasticsearch-version 7.10 \ --elasticsearch-cluster-config InstanceCount=3,InstanceType=r6g.large.elasticsearch,DedicatedMasterEnabled=true,DedicatedMasterType=r6g.large.elasticsearch,DedicatedMasterCount=3,ZoneAwarenessEnabled=true,ZoneAwarenessConfig={AvailabilityZoneCount=3},WarmEnabled=true,WarmCount=6,WarmType=ultrawarm1.medium.elasticsearch \ --ebs-options EBSEnabled=true,VolumeType=gp2,VolumeSize=11 \ --node-to-node-encryption-options Enabled=true \ --encryption-at-rest-options Enabled=true \ --domain-endpoint-options EnforceHTTPS=true,TLSSecurityPolicy=Policy-Min-TLS-1-2-2019-07 \ --advanced-security-options Enabled=true,InternalUserDatabaseEnabled=true,MasterUserOptions='{MasterUserName=master-user,MasterUserPassword=master-password}' \ --access-policies '{"Version":"2012-10-17","Statement":[{"Effect":"Allow","Principal":{"AWS":["123456789012"]},"Action":["es:*"],"Resource":"arn:aws:es:us-west-1:123456789012:domain/my-domain/*"}]}' \ --region us-east-1

有关详细信息,请参阅Amazon CLI命令参考

配置 API 请求示例

对配置 API 的以下请求创建一个域,其中包含三个数据节点、三个专用主节点以及六个温节点(启用了细粒度访问控制并具有限制性访问策略):

POST https://es.us-east-2.amazonaws.com/2015-01-01/es/domain { "ElasticsearchClusterConfig": { "InstanceCount": 3, "InstanceType": "r6g.large.elasticsearch", "DedicatedMasterEnabled": true, "DedicatedMasterType": "r6g.large.elasticsearch", "DedicatedMasterCount": 3, "ZoneAwarenessEnabled": true, "ZoneAwarenessConfig": { "AvailabilityZoneCount": 3 }, "WarmEnabled": true, "WarmCount": 6, "WarmType": "ultrawarm1.medium.elasticsearch" }, "EBSOptions": { "EBSEnabled": true, "VolumeType": "gp2", "VolumeSize": 11 }, "EncryptionAtRestOptions": { "Enabled": true }, "NodeToNodeEncryptionOptions": { "Enabled": true }, "DomainEndpointOptions": { "EnforceHTTPS": true, "TLSSecurityPolicy": "Policy-Min-TLS-1-2-2019-07" }, "AdvancedSecurityOptions": { "Enabled": true, "InternalUserDatabaseEnabled": true, "MasterUserOptions": { "MasterUserName": "master-user", "MasterUserPassword": "master-password" } }, "ElasticsearchVersion": "7.10", "DomainName": "my-domain", "AccessPolicies": "{\"Version\":\"2012-10-17\",\"Statement\":[{\"Effect\":\"Allow\",\"Principal\":{\"AWS\":[\"123456789012\"]},\"Action\":[\"es:*\"],\"Resource\":\"arn:aws:es:us-east-1:123456789012:domain/my-domain/*\"}]}" }

有关详细信息,请参阅Amazon Elasticsearch Service 的配置 API 参考

将索引迁移到 UltraWarm 存储

如果您完成了对索引的写入,并且不再需要尽可能快的搜索性能,请将其从热存储转换为温存储:

POST _ultrawarm/migration/my-index/_warm

然后检查迁移的状态:

GET _ultrawarm/migration/my-index/_status { "migration_status": { "index": "my-index", "state": "RUNNING_SHARD_RELOCATION", "migration_type": "HOT_TO_WARM", "shard_level_status": { "running": 0, "total": 5, "pending": 3, "failed": 0, "succeeded": 2 } } }

索引运行状况必须为绿色才能执行迁移。如果您快速连续迁移多个索引,您可以获得所有迁移的明文摘要,类似于 _cat API:

GET _ultrawarm/migration/_status?v index migration_type state my-index HOT_TO_WARM RUNNING_SHARD_RELOCATION

您最多可以同时进行 200 项从热存储到温存储的迁移。要查看队列中的当前迁移数量,请监控HotToWarmMigrationQueueSize 指标。在整个迁移过程中,索引仍然可用 — 无需停机。

迁移过程具有以下状态:

PENDING_INCREMENTAL_SNAPSHOT RUNNING_INCREMENTAL_SNAPSHOT FAILED_INCREMENTAL_SNAPSHOT PENDING_FORCE_MERGE RUNNING_FORCE_MERGE FAILED_FORCE_MERGE PENDING_FULL_SNAPSHOT RUNNING_FULL_SNAPSHOT FAILED_FULL_SNAPSHOT PENDING_SHARD_RELOCATION RUNNING_SHARD_RELOCATION FINISHED_SHARD_RELOCATION

如这些状态所示,迁移可能会在快照、分片重新定位或强制合并期间失败。快照或分片重新定位期间的故障通常是由于节点故障或 S3 连接问题造成的。磁盘空间不足通常是强制合并失败的根本原因。

迁移完成后,同一 _status 请求返回错误。如果您在此时检查索引,您可以看到温索引独有的一些设置:

GET my-index/_settings { "my-index": { "settings": { "index": { "refresh_interval": "-1", "auto_expand_replicas": "false", "provided_name": "my-index", "creation_date": "1599241458998", "unassigned": { "node_left": { "delayed_timeout": "5m" } }, "number_of_replicas": "1", "uuid": "GswyCdR0RSq0SJYmzsIpiw", "version": { "created": "7070099" }, "routing": { "allocation": { "require": { "box_type": "warm" } } }, "number_of_shards": "5", "merge": { "policy": { "max_merge_at_once_explicit": "50" } } } } } }
  • 在这种情况下,number_of_replicas 是不消耗磁盘空间的被动副本的数量。

  • routing.allocation.require.box_type 指定索引应使用热节点而不是标准数据节点。

  • merge.policy.max_merge_at_once_explicit指定迁移期间要同时合并的段数。

温存储中的索引是只读的,除非您将它们返回到热存储,这使得 UltraWarm 最适合于不可变的数据,例如日志。您可以查询和删除索引,但无法添加、更新或删除单个文档。如果尝试,您可能会遇到以下错误消息:

{ "error": { "root_cause": [{ "type": "cluster_block_exception", "reason": "blocked by: [FORBIDDEN/12/index read-only / allow delete (api)];" }], "type": "cluster_block_exception", "reason": "blocked by: [FORBIDDEN/12/index read-only / allow delete (api)];" }, "status": 403 }

自动执行迁移

我们建议在索引达到特定期限或满足其他条件后使用 在 Amazon Elasticsearch Service 中为索引状态管理 自动执行迁移过程。请参阅示例策略,演示此工作流程。

迁移优化

向 UltraWarm 存储的索引迁移需要强制合并。每个 Elasticsearch 索引由一定数量的分片组成,每个分片由一定数量的 Lucene 段组成。强制合并操作清除标记为删除的文档,并节省磁盘空间。默认情况下,UltraWarm 会将索引合并为一个段。

您可以使用index.ultrawarm.migration.force_merge.max_num_segments设置。值越高会加快迁移过程,但在迁移完成后会增加热索引的查询延迟。要更改设置,请执行下列请求:

PUT my-index/_settings { "index": { "ultrawarm": { "migration": { "force_merge": { "max_num_segments": 1 } } } } }

要检查迁移过程的此阶段需要多长时间,请监视HotToWarmMigrationForceMergeLatency 指标

取消迁移

UltraWarm 按顺序在队列中处理迁移。如果迁移在队列中,但尚未开始,您可以使用以下请求将迁移从队列中删除:

POST _ultrawarm/migration/_cancel/my-index

如果您的域使用精细访问控制,则必须具有indices:admin/ultrawarm/migration/cancel权限提出此请求。

列出热指数和温暖指数

UltraWarm 添加了两个附加选项(类似于 _all)以帮助管理热索引和温索引。有关所有温索引或热索引的列表,请提出以下请求:

GET _warm GET _hot

您可以在指定索引的其他请求中使用这些选项,例如:

_cat/indices/_warm _cluster/state/_all/_hot

将温度指数返回到热存储

如果您需要再次写入索引,请将其迁移回热存储:

POST _ultrawarm/migration/my-index/_hot

您最多可以同时进行 10 项从温存储到热存储的迁移。要查看当前数量,请监控WarmToHotMigrationQueueSize指标

迁移完成后,检查索引设置以确保它们满足需求。索引使用一个副本返回热存储。

从自动快照恢复热索引

除了用于自动快照的标准存储库之外,UltraWarm 还添加了第二个存储库,用于温索引,cs-ultrawarm。此存储库中的每个快照只包含一个索引。如果删除热索引,其快照将保留在cs-ultrawarm存储库,就像任何其他自动快照一样。

cs-ultrawarm 还原快照时,快照会恢复到温存储,而不是热存储。cs-automated-enccs-automated 存储库中的快照还原到热存储。

将 UltraWarm 快照还原到温存储

  1. 标识包含要还原的索引的最新快照:

    GET _snapshot/cs-ultrawarm/_all { "snapshots": [{ "snapshot": "snapshot-name", "version": "6.8.0", "indices": [ "my-index" ] }] }
  2. 如果索引已经存在,请将其删除:

    DELETE my-index

    如果您不希望删除索引,请将其返回到热存储重新索引它。

  3. 还原快照:

    POST _snapshot/cs-ultrawarm/snapshot-name/_restore

    UltraWarm 会忽略您在此还原请求中指定的任何索引设置,但您可以指定像rename_patternrename_replacement。有关 Elasticsearch 快照还原选项的摘要,请参阅Open Distro for Elasticsearch 文档

温索引的手动快照

可以手动拍摄热索引的快照,但我们不建议使用。自动化cs-ultrawarm存储库已包含在迁移期间拍摄的每个热索引的快照,无需额外付费。

默认情况下,Amazon ES 不会在手动快照中包含热索引。例如,以下调用只包含热索引:

PUT _snapshot/my-repository/my-snapshot

如果您选择手动拍摄热索引的快照,则需要考虑几个重要的注意事项。

  • 你不能混合热指数和温暖指数。例如,以下请求将失败:

    PUT _snapshot/my-repository/my-snapshot { "indices": "warm-index-1,hot-index-1", "include_global_state": false }

    如果它们包含热索引和热索引的混合,则通配符 (*)语句也会失败。

  • 每个快照只能包含一个温索引。例如,以下请求将失败:

    PUT _snapshot/my-repository/my-snapshot { "indices": "warm-index-1,warm-index-2,other-warm-indices-*", "include_global_state": false }

    此请求成功:

    PUT _snapshot/my-repository/my-snapshot { "indices": "warm-index-1", "include_global_state": false }
  • 手动快照始终恢复到热存储,即使它们最初包含热索引也是如此。

将温度指数迁移到冷库

如果您在 UltraWarm 中有不经常查询的数据,请考虑将其迁移到冷存储。冷存储适用于您偶尔访问的数据或不再处于活动状态的数据。您无法读取或写入冷索引,但您可以在需要查询时免费将它们迁移回温存储。有关说明,请参阅将索引迁移到冷库

禁用 UltraWarm

控制台是禁用 UltraWarm 的最简单方法。选择域、Edit domain (编辑域),取消选择 Enable UltraWarm data nodes (启用 UltraWarm 数据节点),然后选择 Submit (提交)。还可以在 Amazon CLI 和配置 API 中使用 WarmEnabled 选项。

在禁用 UltraWarm 之前,必须删除所有温索引或将其迁移回热存储。温存储空间为空后,请等待五分钟,然后尝试禁用该功能。