创建和管理亚马逊OpenSearch服务域 - 亚马逊OpenSearch服务
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

创建和管理亚马逊OpenSearch服务域

本章介绍如何创建和管理 Amazon OpenSearch 服务域。OpenSearch服务域是OpenSearch群集的同义词。域是包含您指定的设置、实例类型、实例数和存储资源的群集。

入门教程中的简短说明不同,本章描述了所有选项,并提供了相关的参考信息。您可以使用OpenSearch服务控制台、Amazon Command Line Interface (Amazon CLI) 或 Amazon SDK 的说明完成每个过程。

创建OpenSearch服务域

本节介绍如何使用OpenSearchOpenSearch服务控制台或使用 with create-domain 命令来创建服务域。Amazon CLI

创建OpenSearch服务域(控制台)

使用以下步骤使用控制台创建OpenSearch服务域。

创建OpenSearch服务域(控制台)
  1. 转至 http://aws.amazon.com,然后选择登录到控制台

  2. 在 “分析” 下,选择 “亚马逊OpenSearch服务”。

  3. 选择 Create domain(创建域)

  4. 对于 Domain name (域名),输入一个域名。名称必须符合以下标准:

    • 对于您的账户和 Amazon Web Services 区域 而言是唯一的

    • 以小写字母开头

    • 包含 3 到 28 个字符

    • 只包含小写字母 a-z、数字 0-9 和连字符 (-)

  5. 对于域创建方法,请选择标准创建

  6. 对于模板,请选择最符合您的域名用途的选项:

    • 需要高可用性和性能的工作负载的@@ 生产域。这些域使用多可用区(带或不带备用节点)和专用主节点以提高可用性。

    • 用于开发或@@ 测试的开发/测试。这些域可以使用多可用区(带或不带备用区)或单个可用区。

      重要

      不同部署类型在后续页面上显示不同的选项。这些步骤包括所有选项。

  7. 对于部署选项,请选择带备用状态的域来配置 3-AZ 域,其中一个区域中的节点预留为备用节点。此选项强制执行许多最佳实践,例如指定的数据节点数、主节点数、实例类型、副本计数和软件更新设置。

  8. 对于版本,请选择要使用的 Elasticsearch OSS 的版本OpenSearch或旧版。我们建议您选择最新版本的OpenSearch。有关更多信息,请参阅支持的版本OpenSearch和 Elasticsearch

    (可选)如果您为您的域选择了某个OpenSearch版本,请选择启用兼容模式将其OpenSearch报告版本设置为 7.10,这允许在连接之前检查版本的某些 Elasticsearch OSS 客户端和插件继续使用该服务。

  9. 对于 Instance type,为数据节点选择实例类型。有关更多信息,请参阅亚马逊OpenSearch服务中支持的实例类型

    注意

    并非所有可用区都支持所有实例类型。如果您选择带或不带待机模式的多可用区,我们建议选择最新一代的实例类型,例如 R5 或 I3。

  10. 对于 Number of nodes (节点数),选择数据节点数。

    有关最大值,请参阅域和实例配额。单节点集群适合开发和测试,但不应用于生产工作负载。有关更多指导,请参阅调整 Amazon S OpenSearch erv在亚马逊中配置多可用区域OpenSearch服务

  11. 对于存储类型,选择亚马逊 EBS。列表中可用的卷类型取决于您选择的实例类型。有关创建超大型域的指南,请参阅 Amazon OpenSearch Service 中的 PB 级规模

  12. 对于 EBS 存储,配置以下附加设置。根据您选择的卷类型,某些设置可能不会显示。

    设置 描述
    EBS 卷类型

    通用型(SSD)– gp3通用型(SSD)– gp2 之间,或上一代预调配 IOPS(SSD)磁介质(标准)之间选择。

    每个节点的 EBS 存储大小

    输入要附加到每个数据节点的 EBS 卷。

    EBS volume size (EBS 卷大小) 是按节点计算的。您可以通过将数据节点数乘以 EBS 卷大小来计算OpenSearch服务域的群集总大小。EBS 卷最小容量和最大容量取决于指定的 EBS 卷类型及其挂载到的实例类型。要了解更多信息,请参阅 EBS 卷大小限制

    预置 IOPS

    如果选择了某个预调配 IOPS SSD 卷类型,则可以输入该卷可支持的每秒 I/O 操作数(IOPS)。

  13. (可选)如果您选择了gp3卷类型,请展开 “高级” 设置并指定额外的 IOPS(每个数据节点每配置 3 TiB 卷大小最多可达 1,000 MiB/s)和吞吐量(每个数据节点每配置 3 TiB 卷大小最多可达 16,000 MiB/s),以便为每个节点预配,超出存储价格所包含的范围,但需要额外付费。有关更多信息,请参阅亚马逊OpenSearch服务定价

  14. (可选)要启用UltraWarm存储,请选择启用UltraWarm数据节点。每种实例类型都有其可处理的最大存储量。将该数量乘以总可寻址温存储的温数据节点数。

  15. (可选)要启用冷存储,选择启用冷存储。必须启用UltraWarm才能启用冷存储。

  16. 如果您在备用模式下使用多可用区,则已经启用了三个专用主节点。选择你想要的主节点的类型。如果您选择不带备用域的多可用区,请选择启用专用主节点,然后选择所需的主节点的类型和数量。专用主节点可增强集群稳定性,对于包含 10 个以上实例的域而言是必需的。对于生产域,我们建议使用 3 个专用主节点。

    注意

    对于专用主节点和数据节点,可以选择不同的实例类型。例如,您可以为数据节点选择通用或存储优化实例,但为专用主节点选择计算优化实例。

  17. (可选)对于运行OpenSearch或 Elasticsearch 5.3 及更高版本的域,快照配置无关紧要。有关自动制作快照的更多信息,请参阅在亚马逊中创建索引快照OpenSearch服务

  18. 如果您想使用自定义端点,而不是标准的 https://search-mydomain-1a2a3a4a5a6a7a8a9a0a9a8a7a.us-east-1.es.amazonaws.com 之一,选择启用定制终端节点并提供名称和证书。有关更多信息,请参阅为 Amazon OpenSearch Service 服务创建自定义终端节点

  19. Network(网络)下,选择 VPC access(VPC 访问权限)Public access(公有访问权限)。如果您选择 Public access (公有访问权限),请跳至下一步。如果选择 VPC access(VPC 访问权限),请确保您满足先决条件,然后配置以下设置:

    设置 描述
    VPC

    选择要使用的虚拟私有云 (VPC) 的 ID。VPC 和域必须位于同一 Amazon Web Services 区域 中,并且您必须选择具有设置为 Default 的租赁的 VPC。OpenSearch该服务尚不支持使用专用租赁的 VPC。

    子网

    选择子网。如果您启用多 AZ,您必须选择两个或三个子网。OpenSearch服务将在子网中放置 VPC 终端节点和弹性网络接口

    必须在子网中为网络接口预留足够的 IP 地址。有关更多信息,请参阅在 VPC 子网中预留 IP 地址

    安全组

    选择一个或多个 VPC 安全组,允许您所需的应用程序通过域公开的端口(80 或 443)和协议(HTTP 或 HTTPS)访问OpenSearch服务域。有关更多信息,请参阅在 VPC 中启动您的 Amazon OpenSearch Service 域

    IAM 角色

    保留默认角色。OpenSearch服务使用此预定义角色(也称为服务相关角色)来访问您的 VPC 并将一个 VPC 终端节点和网络接口放置在 VPC 的子网中。有关更多信息,请参阅用于 VPC 访问的服务相关角色

  20. 启用或禁用精细访问控制:

    • 如果要使用 IAM 进行用户管理,请选择 Set IAM ARN as master user (将 IAM ARN 设置为主用户),然后为 IAM 角色指定 ARN。

    • 如果要使用内部用户数据库,请选择创建主用户并指定用户名和密码。

    无论您选择哪个选项,主用户都可以访问集群中的所有索引和所有 OpenSearch API。有关选择哪个选项的指南,请参阅重要概念

    如果您禁用精细访问控制,则仍可以通过将域放置在 VPC 中并/或应用限制性访问策略来控制对域的访问。必须启用node-to-node静态加密和加密才能使用精细的访问控制。

    注意

    我们强烈建议您启用精细访问控制以保护域中的数据。精细访问控制提供群集、索引、文档和字段级别的安全性。

  21. (可选)如果要对OpenSearch仪表板使用 SAML 身份验证,请选择启用 SAML 身份验证并为域配置 SAML 选项。有关说明,请参阅 仪表板的 SAML 身份验证 OpenSearch

  22. (可选)如果您想对OpenSearch仪表板使用亚马逊 Cognito 身份验证,请选择启用亚马逊 Cognito 身份验证。然后选择要用于OpenSearch仪表板身份验证的 Amazon Cognito 用户池和身份池。有关创建这些资源的指南,请参阅控制面板的 Amazon Cognito 认证 OpenSearch

  23. 对于访问策略,请选择访问策略或配置自己的访问策略。如果选择创建自定义策略,则可以自行配置或从另一个域导入策略。有关更多信息,请参阅亚马逊的身份和访问管理OpenSearch服务

    注意

    如果您启用了 VPC 访问,则无法使用基于 IP 的策略。但您可以使用安全组来控制哪些 IP 地址可以访问该域。有关更多信息,请参阅关于 VPC 域的访问策略

  24. (可选)如果要求对域的所有请求都通过 HTTPS 到达,请选中 Require HTTPS for all traffic to the domain (要求到域的所有流量都使用 HTTPS)。要启用node-to-node加密,请选择 N ode-to-node 加密。有关更多信息,请参阅N 对亚马逊OpenSearch服务进行ode-to-node加密:要启用静态数据加密,请选择启用静态数据加密。如果您选择带待机的多可用区部署选项,则会预先选择这些选项。

  25. (可选)选择 “使用Amazon自有密钥”,让 Serv OpenSearch ice 代表您创建Amazon KMS加密密钥(或使用已创建的密钥)。否则,请选择您自己的 KMS 密钥。有关更多信息,请参阅加密亚马逊OpenSearch服务的静态数据

  26. 对于非高峰时段,选择开始时间以安排需要蓝/绿部署的服务软件更新和自动调整优化。非高峰期更新有助于最大限度地减少高流量期间集群专用主节点的压力。

  27. 对于 Auto-Tune,选择是否允许 Serv OpenSearch ice 建议对您的域进行与内存相关的配置更改,以提高速度和稳定性。有关更多信息,请参阅自动 OpenSearch 调整

    (可选)选择 “非高峰时段” 以安排一个周期性窗口,在此期间 Auto-Tune 会更新域。

  28. (可选)选择自动软件更新以启用自动软件更新。

  29. (可选)添加标签来描述您的域,以便您可以对该信息进行分类和筛选。有关更多信息,请参阅标记 Amazon OpenSearch Service 域

  30. (可选)展开和配置 Advanced cluster settings(高级集群设置)。有关这些选项的摘要,请参阅高级集群设置

  31. 选择创建

创建OpenSearch服务域 (Amazon CLI)

您可以使用,而不是使用控制台创建OpenSearch服务域Amazon CLI。有关语法,请参阅 AmazonCLI 命令参考中的 Amazon OpenSearch 服务。

示例命令

第一个示例演示了以下OpenSearch服务域配置:

  • 使用OpenSearch版本 1.2 创建一个名为 mylogs 的OpenSearch服务域

  • r6g.large.search 实例类型的两个实例填充该域

  • 使用 100GiB 通用型(SSD)gp3 EBS 卷作为每个数据节点的存储

  • 允许匿名访问,但只能从单个 IP 地址访问:192.0.2.0/32

aws opensearch create-domain --domain-name mylogs --engine-version OpenSearch_1.2 --cluster-config InstanceType=r6g.large.search,InstanceCount=2 --ebs-options EBSEnabled=true,VolumeType=gp3,VolumeSize=100,Iops=3500,Throughput=125 --access-policies '{"Version": "2012-10-17", "Statement": [{"Action": "es:*", "Principal":"*","Effect": "Allow", "Condition": {"IpAddress":{"aws:SourceIp":["192.0.2.0/32"]}}}]}'

下一个示例演示了以下OpenSearch服务域配置:

  • 使用 Elasticsearch 版本 7.10 创建一个名为 mylogs 的OpenSearch服务域

  • r6g.large.search 实例类型的六个实例填充该域

  • 使用 100GiB 通用型(SSD)gp2 EBS 卷作为每个数据节点的存储

  • 限制单个用户访问该服务,由用户的 Amazon Web Services 账户 ID 标识:555555555555

  • 跨三个可用区分配实例

aws opensearch create-domain --domain-name mylogs --engine-version Elasticsearch_7.10 --cluster-config InstanceType=r6g.large.search,InstanceCount=6,ZoneAwarenessEnabled=true,ZoneAwarenessConfig={AvailabilityZoneCount=3} --ebs-options EBSEnabled=true,VolumeType=gp2,VolumeSize=100 --access-policies '{"Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": {"AWS": "arn:aws:iam::555555555555:root" }, "Action":"es:*", "Resource": "arn:aws:es:us-east-1:555555555555:domain/mylogs/*" } ] }'

下一个示例演示了以下OpenSearch服务域配置:

  • 使用 1.0 OpenSearch 版本创建一个名为 mylogs 的OpenSearch服务域

  • r6g.xlarge.search 实例类型的十个实例填充该域

  • r6g.large.search 实例类型的三个实例作为专用主节点填充该域

  • 使用 100GiB 预配置 IOPS EBS 卷作为存储,用每个数据节点 1000 IOPS 的基准性能进行配置

  • 限制对单个用户和单个子资源的访问,_search API

aws opensearch create-domain --domain-name mylogs --engine-version OpenSearch_1.0 --cluster-config InstanceType=r6g.xlarge.search,InstanceCount=10,DedicatedMasterEnabled=true,DedicatedMasterType=r6g.large.search,DedicatedMasterCount=3 --ebs-options EBSEnabled=true,VolumeType=io1,VolumeSize=100,Iops=1000 --access-policies '{"Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::555555555555:root" }, "Action": "es:*", "Resource": "arn:aws:es:us-east-1:555555555555:domain/mylogs/_search" } ] }'
注意

如果您尝试创建OpenSearch服务域且同名域已存在,则 CLI 不会报告错误。相反,它会返回现有域的详细信息。

创建OpenSearch服务域 (AmazonSDK)

Amazon软件开发工具包(Android 和 iOS 软件开发工具包除外)支持亚马逊OpenSearch服务 API 参考中定义的所有操作,包括CreateDomain有关示例代码,请参阅 使用Amazon与亚马逊互动的 SDKOpenSearch服务。有关安装和使用 Amazon 开发工具包的更多信息,请参阅 Amazon 软件开发工具包

创建OpenSearch服务域 (Amazon CloudFormation)

OpenSearch服务与一项服务集成在一起Amazon CloudFormation,该服务可帮助您对资源进行建模和设置,从而减少在创建和管理Amazon资源和基础架构上所花费的时间。您可以创建一个描述要创建的OpenSearch域的模板,并为您CloudFormation预置和配置该域。有关更多信息,包括OpenSearch域名的 JSON 和 YAML 模板示例,请参阅Amazon CloudFormation用户指南中的亚马逊OpenSearch服务资源类型参考

配置访问策略

亚马逊OpenSearch服务提供多种配置OpenSearch服务域访问权限的方法。有关更多信息,请参阅 亚马逊的身份和访问管理OpenSearch服务亚马逊的精细访问控制OpenSearch服务

控制台提供了预配置的访问策略,您可以针对自己域的特定需求自定义这些策略。您也可以从其他OpenSearch服务域导入访问策略。有关这些访问策略如何与 VPC 访问交互的信息,请参阅关于 VPC 域的访问策略

配置访问策略 (控制台)
  1. 转至 https://aws.amazon.com,然后选择 Sign In to the Console (登录控制台)

  2. 在 “分析” 下,选择 “亚马逊OpenSearch服务”。

  3. 在导航窗格中的 Domains(域)下,选择要更新的域。

  4. 选择 Actions(操作)Edit security configuration(编辑安全配置)

  5. 编辑访问策略 JSON,或导入预配置的选项。

  6. 选择保存更改

高级集群设置

使用高级选项来配置以下内容:

请求体中的索引

指定是否允许在 HTTP 请求正文中显式引用索引。将此属性设置为 false 可防止用户绕过子资源的访问控制。默认情况下,该值为 true。有关更多信息,请参阅高级选项和 API 注意事项

字段数据缓存分配

指定分配到字段数据的 Java 堆空间的百分比。默认情况下,此设置为 JVM 堆的 20%。

注意

许多客户查询轮换每日索引。我们建议您在大多数用例中将 indices.fielddata.cache.size 配置为 JVM 堆的 40% 来开始基准测试。但是,如果您有非常大的索引,您可能需要大型字段数据缓存。

最大子句数

指定 Lucene 布尔查询中允许的子句的最大数量。默认值为 1024。如果查询具有的子句数超过了允许的子句数,则会导致 TooManyClauses 错误。有关更多信息,请参阅 Lucene 文档