Amazon Elasticsearch Service

开发人员指南 (API 版本 2015-01-01)

AWS 文档 » Amazon Elasticsearch Service » 开发人员指南 » 创建和配置 Amazon Elasticsearch Service 域

创建和配置 Amazon Elasticsearch Service 域

本章介绍了如何创建和配置 Amazon Elasticsearch Service (Amazon ES) 域。An Amazon ES domain is synonymous with an Elasticsearch cluster. Domains are clusters with the settings, instance types, instance counts, and storage resources that you specify.

与入门教程中的简短说明不同，本章描述了所有选项，并提供了相关的参考信息。您可以使用 Amazon ES 控制台、AWS Command Line Interface (AWS CLI) 或 AWS 开发工具包对应的说明来完成每个过程。

创建 Amazon ES 域

本部分介绍如何使用 Amazon ES 控制台或将 AWS CLI 与 create-elasticsearch-domain 命令结合使用来创建 Amazon ES 域。AWS CLI 的过程包括语法和示例。

创建 Amazon ES 域 (控制台)

使用以下步骤使用控制台创建一个 Amazon ES 域。

创建 Amazon ES 域 (控制台)

1. 转至 https://aws.amazon.com，然后选择 Sign In to the Console (登录控制台)。

2. 在 Analytics (分析) 下，选择 Elasticsearch Service。

3. 选择 Create a new domain (创建新域)。

   如果这是您为 AWS 账户创建的第一个 Amazon ES 域，也可以选择 Get Started (入门)。

4. 在 Define domain (定义域) 页上，对于 Domain name (域名)，为您的域键入一个名称。域名必须满足以下条件：

   • 唯一标识某个域

   • 以小写字母开头

   • 包含 3 到 28 个字符

   • 只包含小写字母 a-z、数字 0-9 和连字符 (-)

5. 对于 Version (版本)，为您的域选择 Elasticsearch 版本。建议您选择最新版本。有关更多信息，请参阅支持的 Elasticsearch 版本。

6. 选择 Next (下一步)。

7. 对于 Instance count (实例计数)，选择所需的实例数量。

   默认为一个。有关最大值，请参阅群集和实例限制。我们建议最少三个实例，以避免潜在的 Elasticsearch 问题，例如分裂大脑问题。如果您有三个专用主节点，我们仍建议至少将两个数据节点用于复制。单节点群集适合开发和测试，但不应用于生产工作负载。有关更多指导，请参阅调整 Amazon ES 域大小。

8. 对于 Instance type (实例类型)，为数据节点选择实例类型。

   要查看 Amazon ES 支持的实例类型的列表，请参阅支持的实例类型。

9. (可选) 如果您必须确保群集的稳定性，或者您有一个超过 10 个实例的域，请启用专用主节点。专用主节点可增强群集稳定性，对于包含 10 个以上实例的域而言是必需的。有关更多信息，请参阅关于专用主节点。

   1. 选中 Enable dedicated master 复选框。

   2. 对于 Dedicated master instance type (专用主实例类型)，为专用主节点选择实例类型。

      有关 Amazon ES 支持的实例类型的列表，请参阅支持的实例类型。

      注意

      • 您可以为专用主节点选择与数据节点不同的实例类型。例如，您可以为数据节点选择通用或存储优化实例，但为专用主节点选择计算优化实例。

   3. 对于 Dedicated master instance count (专用主实例计数)，为专用主节点选择实例数量。

      我们建议您选择奇数数量的实例，以避免潜在的 Elasticsearch 问题，如分裂大脑问题。默认和推荐的数量是三个。

10. （可选）选中 Enable zone awareness (启用区域感知) 复选框。

    区域感知在同一区域中的两个可用区之间分发 Amazon ES 数据节点。如果您启用区域感知，则您必须具有偶数数量的实例，并且必须使用本机 Elasticsearch API 为您的群集创建副本分片。此过程可在两个可用区之间平均分配分片。有关更多信息，请参阅启用区域感知。

11. 对于 Storage type (存储类型)，选择 Instance (实例) (默认) 或 EBS。

    如果您的 Amazon ES 域需要更多存储空间，则使用 EBS 卷进行存储，而不是挂载到选定实例类型的存储。增加 EBS 卷的存储容量通常对包含大型索引或大量索引的域有好处。有关创建超大型域的指南，请参阅 PB 规模。如果您选择 EBS，下列框将出现：

    1. 对于 EBS volume type (EBS 卷类型)，选择一个 EBS 卷类型。

       如果您选择预配置 IOPS (SSD) 作为 EBS 卷类型，对于 Provisioned IOPS (预配置 IOPS)，键入所需的基准 IOPS 性能。有关更多信息，请参阅 Amazon EC2 文档中的 Amazon EBS 卷。

    2. 对于 EBS volume size (EBS 卷大小)，键入要附加到每个数据节点的 EBS 卷的大小。

       EBS volume size (EBS 卷大小) 是按节点计算的。您可使用以下公式计算 Amazon ES 域的群集总大小：(数据节点数) * (EBS 卷大小)。EBS 卷最小容量和最大容量取决于指定的 EBS 卷类型及其挂载到的实例类型。要了解更多信息，请参阅 EBS 卷大小限制。

12. （可选）要启用静态数据加密，请选中 Enable encryption at rest (启用静态加密) 复选框。

    选择 (Default) aws/es ((默认) aws/es) 以让 Amazon ES 代表您创建 KMS 加密密钥（或使用它已创建的加密密钥）。否则，请从 KMS 主密钥菜单中选择您自己的 KMS 加密密钥。要了解更多信息，请参阅“Amazon Elasticsearch Service 的静态数据的加密”。

13. 对于 Automated snapshot start hour，请选择自动创建域索引的每日快照的时间。

    有关更多信息和建议，请参阅配置自动快照。

14. （可选）选择 Advanced options (高级选项)。有关选项的摘要，请参阅配置高级选项。

15. 选择 Next (下一步)。

16. 在 Set up access (设置访问权限) 页面上，在 Network configuration (网络配置) 部分中，选择 Public Access (公有访问权限) 或 VPC access (VPC 访问权限)。如果选择 Public access，则跳至步骤 17。如果选择 VPC access (VPC 访问权限)，则确保您满足先决条件，然后执行下列操作：

    1. 对于 VPC，选择要使用的 VPC 的 ID。

       注意

       VPC 和域必须位于同一 AWS 区域中，并且您必须选择具有设置为 Default (默认) 的租赁的 VPC。Amazon ES 尚不支持使用专用租赁的 VPC。

    2. 对于 Subnet (子网)，选择一个子网。如果您在步骤 10 中启用了区域感知，则必须选择两个子网。Amazon ES 会将 VPC 终端节点和弹性网络接口 (ENI) 放入子网中。

       注意

       必须在子网中为网络接口预留足够的 IP 地址。有关更多信息，请参阅在 VPC 子网中预留 IP 地址。

    3. 对于 Security groups (安全组)，选择需要访问 Amazon ES 域的 VPC 安全组。有关更多信息，请参阅Amazon Elasticsearch Service 域的 VPC 支持。

    4. 对于 IAM role (IAM 角色)，保留默认角色。Amazon ES 使用此预定义角色（也称为服务相关角色）访问您的 VPC 并将 VPC 终端节点和网络接口放入 VPC 的子网中。有关更多信息，请参阅用于 VPC 访问的服务相关角色。

17. （可选）如果您要启用节点到节点加密，请选择 Node-to-node encryption (节点到节点加密)。

18. （可选）如果您要用登录页保护 Kibana，请选择 Enable Amazon Cognito for authentication (启用 Amazon Cognito 身份验证)。

    1. 选择想要用于 Kibana 身份验证的 Amazon Cognito 用户池和身份池。有关创建这些资源的指南，请参阅用于 Kibana 的 Amazon Cognito 身份验证。

19. 对于 Set the domain access policy to (将域访问策略设置为)，从 Select a template (选择模板) 下拉列表中选择一个预配置的策略并进行编辑以满足您的域需求。或者，您也可以在 Add or edit the access policy (添加或编辑访问策略) 框中添加一个或多个 Identity and Access Management (IAM) 策略语句。有关更多信息，请参阅Amazon Elasticsearch Service 访问控制、配置访问策略和关于 VPC 域的访问策略。

    注意

    如果您在步骤 16 中选择 VPC access (VPC 访问)，则基于 IP 的策略模板在下拉列表中不可用，且您无法手动配置基于 IP 的策略。但您可以使用安全组来控制哪些 IP 地址可以访问该域。要了解更多信息，请参阅“关于 VPC 域的访问策略”。

20. 选择 Next (下一步)。

21. 在 Review (审核) 页面上，查看您的域配置，然后选择 Confirm and create (确认并创建)。

22. 选择 OK。

创建 Amazon ES 域 (AWS CLI)

除了使用控制台创建 Amazon ES 域之外，您还可以使用 AWS CLI 创建域。使用以下语法创建一个 Amazon ES 域。

aws es create-elasticsearch-domain --domain-name <value>

  [--elasticsearch-version <value>]
  [--elasticsearch-cluster-config <value>]
  [--ebs-options <value>]
  [--access-policies <value>]
  [--snapshot-options <value>]
  [--vpc-options <value>]
  [--advanced-options <value>]
  [--log-publishing-options <value>]
  [--cli-input-json <value>]
  [--generate-cli-skeleton <value>]
  [--encryption-at-rest-options <value>]
  [--cognito-options <value>]
  [--node-to-node-encryption-options <value>]

下表提供了有关每个可选参数的更多信息。

示例

第一个示例演示了以下 Amazon ES 域配置：

aws es create-elasticsearch-domain --domain-name weblogs --elasticsearch-version 5.5 --elasticsearch-cluster-config  InstanceType=m4.large.elasticsearch,InstanceCount=2 --ebs-options EBSEnabled=true,VolumeType=standard,VolumeSize=100 --access-policies '{"Version": "2012-10-17", "Statement": [{"Action": "es:*", "Principal":"*","Effect": "Allow", "Condition": {"IpAddress":{"aws:SourceIp":["192.0.2.0/32"]}}}]}'

下一个示例演示了以下 Amazon ES 域配置：

aws es create-elasticsearch-domain --domain-name weblogs --elasticsearch-version 5.5 --elasticsearch-cluster-config  InstanceType=m4.large.elasticsearch,InstanceCount=6,ZoneAwarenessEnabled=true --ebs-options EBSEnabled=true,VolumeType=gp2,VolumeSize=100 --access-policies '{"Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": {"AWS": "arn:aws:iam::555555555555:root" }, "Action":"es:*", "Resource": "arn:aws:es:us-east-1:555555555555:domain/logs/*" } ] }'

下一个示例演示了以下 Amazon ES 域配置：

aws es create-elasticsearch-domain --domain-name weblogs --elasticsearch-version 5.5 --elasticsearch-cluster-config  InstanceType=m4.xlarge.elasticsearch,InstanceCount=10,DedicatedMasterEnabled=true,DedicatedMasterType=m4.large.elasticsearch,DedicatedMasterCount=3 --ebs-options EBSEnabled=true,VolumeType=io1,VolumeSize=100,Iops=1000 --access-policies '{"Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::555555555555:root" }, "Action": "es:*", "Resource": "arn:aws:es:us-east-1:555555555555:domain/mylogs/_search" } ] }' --snapshot-options AutomatedSnapshotStartHour=3

创建 Amazon ES 域 (AWS 软件开发工具包)

AWS 开发工具包（除 Android 和 iOS 开发工具包之外）支持 Amazon ES 配置 API 参考中定义的所有操作，包括 CreateElasticsearchDomain。有关示例代码，请参阅 在 Amazon Elasticsearch Service 中使用 AWS 开发工具包。有关安装和使用 AWS 开发工具包的更多信息，请参阅 AWS 软件开发工具包。

配置 Amazon ES 域

为了满足增加的流量和数据的要求，您可以使用以下任何更改更新 Amazon ES 域配置：

配置 Amazon ES 域 (控制台)

使用以下步骤通过控制台对您的 Amazon ES 配置进行更新。

配置 Amazon ES 域 (控制台)

1. 转至 https://aws.amazon.com，然后选择 Sign In to the Console (登录控制台)。

2. 在 Analytics (分析) 下，选择 Elasticsearch Service。

3. 在导航窗格中的 My domains (我的域) 下，选择要更新的域。

4. 选择 Configure cluster (配置集群)。

5. 在 Configure cluster 页上，更新域的配置。

   群集是一个或多个数据节点、可选专用主节点以及运行 Amazon ES 和操作您的域所需的存储的集合。

   1. 如果您要更改数据节点的实例类型，对于 Instance type (实例类型)，请选择新的实例类型。

      要查看 Amazon ES 支持的实例类型的列表，请参阅支持的实例类型。

   2. 如果您要更改实例数量，对于 Instance count (实例计数)，请选择 1 和 20 之间的一个整数。要请求将每个域的实例数提高到最多 100 个，请通过 AWS 支持中心创建案例。

   3. 如果您要提高群集的稳定性，或者您的域中包含超过 10 个实例，请为您的群集启用专用主节点。有关更多信息，请参阅关于专用主节点。

      1. 选中 Enable dedicated master 复选框。

      2. 对于 Dedicated master instance type (专用主实例类型)，为专用主节点选择实例类型。

         您可以为专用主节点选择与数据节点不同的实例类型。

         要查看 Amazon ES 支持的实例类型的列表，请参阅支持的实例类型。

      3. 对于 Dedicated master instance count (专用主实例计数)，为专用主节点选择实例数量。

         我们建议您选择奇数数量的实例，以避免潜在的 Amazon ES 问题，如分裂大脑问题。默认和推荐的数量是三个。

   4. 如果您要启用区域感知，请选中 Enable zone awareness 复选框。如果启用区域感知，您的实例数量必须为偶数。这样就可以在同一区域的两个可用区之间平均分配分片。

   5. 如果要更改该服务自动创建 Amazon ES 域主索引分片的每日快照的时间，对于 Automated snapshot start hour (自动快照开始时间)，请选择一个整数。

   6. 如果您在创建域时未启用 VPC 访问，则跳到第 7 步。如果启用了 VPC 访问，则可以更改放入了 VPC 终端节点的子网并更改安全组：

      1. 对于 Subnets，选择一个子网。子网必须预留有足够数量的 IP 地址供网络接口使用。如果您启用了区域感知，则必须选择两个子网。两个子网必须位于同一区域的不同可用区中。有关更多信息，请参阅Amazon Elasticsearch Service 域的 VPC 支持。

      2. 对于 Security groups，请添加需要访问域的安全组。

   7. （可选）选择 Advanced options (高级选项)。有关选项的摘要，请参阅配置高级选项。

   8. 选择 Submit。

配置 Amazon ES 域 (AWS CLI)

使用 elasticsearch-cluster-config 选项通过 AWS CLI 来配置您的 Amazon ES 集群。create-elasticsearch-domain 和 update-elasticsearch-domain-config 命令均使用以下语法。

语法

--elasticsearch-cluster-config InstanceType=<value>,InstanceCount=<value>,DedicatedMasterEnabled=<value>,DedicatedMasterType=<value>,DedicatedMasterCount=<value>,ZoneAwarenessEnabled=<value>

下表更详细地介绍了这些参数。

示例

以下示例使用 Elasticsearch 版本 5.5 创建名为 mylogs 的 Amazon ES 域，其中包含 m4.large.elasticsearch 实例类型的两个实例，并且启用了区域感知：

aws es create-elasticsearch-domain --domain-name mylogs --elasticsearch-version 5.5 --elasticsearch-cluster-config InstanceType=m4.large.elasticsearch,InstanceCount=2,DedicatedMasterEnabled=false,ZoneAwarenessEnabled=true

但是，随着网络流量的增长和文档数量和大小的增加，您可能需要重新配置新的 Amazon ES 域。例如，您可以决定使用更大的实例类型、使用更多实例和启用专用主节点。以下示例对域配置进行以下更改：

aws es update-elasticsearch-domain-config --domain-name mylogs --elasticsearch-cluster-config InstanceType=m4.xlarge.elasticsearch,InstanceCount=3,DedicatedMasterEnabled=true,DedicatedMasterType=m4.large.elasticsearch,DedicatedMasterCount=3

配置 Amazon ES 域 (AWS 软件开发工具包)

AWS 开发工具包（除 Android 和 iOS 开发工具包之外）支持 Amazon ES 配置 API 参考中定义的所有操作，包括 UpdateElasticsearchDomainConfig。有关示例代码，请参阅 在 Amazon Elasticsearch Service 中使用 AWS 开发工具包。有关安装和使用 AWS 开发工具包的更多信息，请参阅 AWS 软件开发工具包。

配置基于 EBS 的存储

Amazon EBS 卷是一种数据块级存储设备，可以连接到单个实例。您可以使用 EBS 卷独立地从 Amazon ES 域的计算资源扩展其存储资源。EBS 卷对包含大数据集但不需要大量计算资源的域非常有用。EBS 卷远大于实例提供的默认存储。Amazon Elasticsearch Service 支持以下 EBS 卷类型：

配置基于 EBS 的存储 (控制台)

使用以下步骤通过控制台启用基于 EBS 的存储。

启用基于 EBS 的存储 (控制台)

1. 转至 https://aws.amazon.com，然后选择 Sign In to the Console (登录控制台)。

2. 在 Analytics (分析) 下，选择 Elasticsearch Service。

3. 在导航窗格中的 My domains (我的域) 下，选择要配置的域。

4. 选择 Configure cluster (配置集群)。

5. 对于 Storage type，选择 EBS。

6. 对于 EBS volume type (EBS 卷类型)，选择一个 EBS 卷类型。

   如果您选择预配置 IOPS (SSD) 作为 EBS 卷类型，对于 Provisioned IOPS (预配置 IOPS)，键入所需的基准 IOPS 性能。

7. 对于 EBS volume size，键入您想要的 EBS 卷大小。

   EBS volume size (EBS 卷大小) 是按节点计算的。您可使用以下公式计算 Amazon ES 域的群集总大小：(数据节点数) * (EBS 卷大小)。EBS 卷最小容量和最大容量取决于指定的 EBS 卷类型及其挂载到的实例类型。要了解更多信息，请参阅 EBS 卷大小限制。

8. 选择 Submit。

有关更多信息，请参阅 Amazon EC2 文档中的 Amazon EBS 卷。

配置基于 EBS 的存储 (AWS CLI)

使用 --ebs-options 选项通过 AWS CLI 来配置基于 EBS 的存储。create-elasticsearch-domain 和 update-elasticsearch-domain-config 命令均使用以下语法。

语法

--ebs-options EBSEnabled=<value>,VolumeType=<value>,VolumeSize=<value>,IOPS=<value>

示例

以下示例使用 Elasticsearch 版本 5.5 创建一个名为 mylogs 的域，其中包含一个 10GiB 的通用型 EBS 卷：

aws es create-elasticsearch-domain --domain-name=mylogs --elasticsearch-version 5.5 --ebs-options EBSEnabled=true,VolumeType=gp2,VolumeSize=10

但是，随着搜索索引大小的增加，您可能需要更大的 EBS 卷。例如，您可以选择基准 I/O 性能为 3000 IOPS 的 100GiB 预配置 IOPS 卷。以下示例对域配置进行以下更改：

aws es update-elasticsearch-domain-config --domain-name=mylogs --ebs-options EBSEnabled=true,VolumeType=io1,VolumeSize=100,IOPS=3000

配置基于 EBS 的存储 (AWS 软件开发工具包)

AWS 开发工具包（除 Android 和 iOS 开发工具包之外）支持 Amazon ES 配置 API 参考中定义的所有操作，包括 UpdateElasticsearchDomainConfig 的 --ebs-options 参数。有关安装和使用 AWS 开发工具包的更多信息，请参阅 AWS 软件开发工具包。

修改 VPC 访问配置

如果将域配置为驻留在 VPC 中，则可以使用 Amazon ES 控制台修改配置。要将公共域迁移到 VPC 域, 请参阅 从公有访问迁移到 VPC 访问。

配置 VPC 访问 (控制台)

使用以下过程通过控制台配置 VPC 访问。

配置 VPC 访问 (控制台)

1. 转至 https://aws.amazon.com，然后选择 Sign In to the Console (登录控制台)。

2. 在 Analytics (分析) 下，选择 Elasticsearch Service。

3. 在导航窗格中的 My domains (我的域) 下，选择要配置的域。

4. 选择 Configure cluster (配置集群)。

5. 在 Network configuration 部分，对于 Subnets，选择一个子网。如果您启用了区域感知，则必须选择两个子网。两个子网必须位于同一区域的不同可用区中。有关更多信息，请参阅 Amazon Elasticsearch Service 域的 VPC 支持。

   注意

   必须在子网中为网络接口预留足够的 IP 地址。有关更多信息，请参阅在 VPC 子网中预留 IP 地址。

6. 对于 Security groups，请添加需要访问域的安全组。

7. 选择 Submit。

配置用于 Kibana 的 Amazon Cognito 身份验证

请参阅 用于 Kibana 的 Amazon Cognito 身份验证。

配置访问策略

Amazon Elasticsearch Service 提供了多种方式来配置对您的 Amazon ES 域的访问权限。有关更多信息，请参阅Amazon Elasticsearch Service 访问控制。

控制台提供了预配置的访问策略，您可以针对自己域的特定需求自定义这些策略。您也可以从其他 Amazon ES 域导入访问策略。有关这些访问策略如何与 VPC 访问交互的信息，请参阅关于 VPC 域的访问策略。

配置访问策略 (控制台)

使用以下步骤通过控制台配置访问策略。

配置访问策略 (控制台)

1. 转至 https://aws.amazon.com，然后选择 Sign In to the Console (登录控制台)。

2. 在 Analytics (分析) 下，选择 Elasticsearch Service。

3. 在导航窗格中的 My domains (我的域) 下，选择要更新的域。

4. 选择 Modify access policy。

5. 编辑访问策略。

   或者，从 Select a template 下拉列表中选择一个策略模板，然后根据需要为您的域编辑该模板。

   预配置访问策略	描述
   允许或拒绝对一个或多个 AWS 账户或 IAM 用户的访问	允许或拒绝对一个或多个 AWS 账户或 IAM 用户或角色的访问。
   允许从特定 IP 访问域	此策略用于限制匿名访问特定的 IP 地址或 IP 地址范围。 注意 如果您为域启用了 VPC 访问，则此预配置策略不可用。但您可以使用安全组来控制哪些 IP 地址可以访问该域。要了解更多信息，请参阅“关于 VPC 域的访问策略”。
   拒绝访问域	此策略只允许通过 Amazon ES 控制台访问，或由创建该域的 AWS 账户的所有者访问。
   从另一个域复制访问策略	此模板提供了一种简便的方法来从另一个域导入现有的访问策略。
   允许对域进行公开访问	不建议将此策略用于具有公有终端节点的域。它允许任何人删除、修改或访问域中的索引。此策略仅为方便测试而创建。请不要将敏感数据加载到使用这些设置的域。

6. 选择 Submit。

配置访问策略 (AWS CLI)

使用 --access-policies 选项通过 AWS CLI 来配置访问策略。create-elasticsearch-domain 和 update-elasticsearch-domain-config 命令均使用以下语法。

语法

--access-policies=<value>

示例

以下基于资源的策略示例将对此服务的访问权限限制为单个用户（通过 Principal 策略元素中的用户 AWS 账户 ID 555555555555 标识）。此用户接收对 index1 的访问权限，但不能访问域中的其他索引：

aws es update-elasticsearch-domain-config --domain-name mylogs --access-policies '{"Version": "2012-10-17", "Statement": [ { "Effect": "Allow","Principal": {"AWS": "arn:aws:iam::123456789012:root" },"Action":"es:*","Resource":"arn:aws:es:us-east-1:555555555555:domain/index1/*" } ] }'

配置访问策略 (AWS 软件开发工具包)

AWS 开发工具包（除 Android 和 iOS 开发工具包之外）支持 Amazon ES 配置 API 参考中定义的所有操作，包括 UpdateElasticsearchDomainConfig 的 --access-policies 参数。有关安装和使用 AWS 开发工具包的更多信息，请参阅 AWS 软件开发工具包。

配置自动快照

Amazon Elasticsearch Service 自动创建一个域的主索引分片的每日快照并提供副本分片数量。默认情况下，该服务在午夜自动创建快照，不过您可以选择在服务负载最小的时候进行。

有关使用这些快照的信息，请参阅还原快照。

配置快照 (控制台)

使用以下步骤通过控制台配置每日自动索引快照。

配置自动快照（控制台）

1. 转至 https://aws.amazon.com，然后选择 Sign In to the Console (登录控制台)。

2. 在 Analytics (分析) 下，选择 Elasticsearch Service。

3. 在导航窗格中的 My domains (我的域) 下，选择要更新的域。

4. 选择 Configure cluster (配置集群)。

5. 对于 Automated snapshot start hour (自动快照开始时间)，选择该服务创建自动快照的新时间。

6. 选择 Submit。

配置快照 (AWS CLI)

--snapshot-options 选项使用以下语法。该选项的语法与 create-elasticsearch-domain 和 update-elasticsearch-domain-config 命令相同。

语法

--snapshot-options AutomatedSnapshotStartHour=<value>

示例

以下示例在 UTC 凌晨 1 点配置自动快照：

aws es update-elasticsearch-domain-config --domain-name mylogs --region us-east-2 --snapshot-options AutomatedSnapshotStartHour=1

配置快照 (AWS 软件开发工具包)

AWS 开发工具包（除 Android 和 iOS 开发工具包之外）支持 Amazon ES 配置 API 参考中定义的所有操作。这包括 --snapshots-options 的 UpdateElasticsearchDomainConfig 参数。有关安装和使用 AWS 开发工具包的更多信息，请参阅 AWS 软件开发工具包。

配置高级选项

使用高级选项来配置以下内容：

配置高级选项 (控制台)

配置高级选项 (控制台)

1. 转至 https://aws.amazon.com，然后选择 Sign In to the Console (登录控制台)。

2. 在 Analytics (分析) 下，选择 Elasticsearch Service。

3. 在导航窗格中的 My domains (我的域) 下，选择要更新的域。

4. 选择 Configure cluster (配置集群)。

5. 选择 Advanced options (高级选项)。

6. 指定您所需的选项，然后选择 Submit (提交)。

配置高级选项 (AWS CLI)

--advanced-options 选项使用以下语法。该选项的语法与 create-elasticsearch-domain 和 update-elasticsearch-domain-config 命令相同。

语法

--advanced-options rest.action.multi.allow_explicit_index=<true|false>, indices.fielddata.cache.size=<percentage_heap>, indices.query.bool.max_clause_count=<int>

示例

以下示例禁止在 HTTP 请求的正文中显式引用索引。它还会将字段数据缓存限制在总 Java 堆的 40%：

aws es update-elasticsearch-domain-config --domain-name mylogs --region us-east-1 --advanced-options rest.action.multi.allow_explicit_index=false, indices.fielddata.cache.size=40

配置高级选项 (AWS 软件开发工具包)

AWS 开发工具包（除 Android 和 iOS 开发工具包之外）支持 Amazon ES 配置 API 参考中定义的所有操作，包括 UpdateElasticsearchDomainConfig 的 --advanced-options 参数。有关安装和使用 AWS 开发工具包的更多信息，请参阅 AWS 软件开发工具包。

配置日志

Amazon ES 通过 Amazon CloudWatch Logs 公开三种 Elasticsearch 日志：错误日志、搜索慢速日志和索引慢速日志。这些日志有助于排查性能和稳定性问题，但默认情况下处于禁用 状态。如果启用，则应用标准 CloudWatch 定价。

对于其日志，Elasticsearch 使用 Apache Log4j 2 及其内置日志级别（按最不严重到最严重的顺序排列）：TRACE、DEBUG、INFO、WARN、ERROR 和 FATAL。

如果您启用错误日志，Amazon ES 会将 WARN、ERROR 和 FATAL 的日志行发布到 CloudWatch。Amazon ES 还会从 DEBUG 级别发布几个异常，其中包括：

错误日志在许多情况下有助于诊断，包括：

启用日志发布（控制台）

Amazon ES 控制台是启用将日志发布到 CloudWatch 的最简单方法。

启用将日志发布到 CloudWatch（控制台）

1. 转至 https://aws.amazon.com，然后选择 Sign In to the Console (登录控制台)。

2. 在 Analytics 下，选择 Elasticsearch Service。

3. 在导航窗格中的 My domains (我的域) 下，选择要更新的域。

4. 在 Logs 选项卡上，为所需日志选择 Enable。

5. 创建一个 CloudWatch 日志组或选择一个现有日志组。

   注意

   如果计划启用多个日志，建议将它们发布到相应的日志组。这样分开更便于进行日志扫描。

6. 选择一个包含适当权限的访问策略，或使用控制台提供的 JSON 创建策略：

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Effect": "Allow",
         "Principal": {
           "Service": "es.amazonaws.com"
         },
         "Action": [
           "logs:PutLogEvents",
           "logs:CreateLogStream"
         ],
         "Resource": "cw_log_group_arn"
       }
     ]
   }

   重要

   CloudWatch Logs 支持每个区域 10 个资源策略。如果您计划针对若干 Amazon ES 域启用日志，应创建并重用包含多个日志组的更宽泛的策略，以避免达到此限制。

7. 选择 Enable。

   您的域状态将从 Active 更改为 Processing。在启用日志发布之前，必须重新回到 Active 状态。这一过程耗时最多 30 分钟。

如果您已启用慢速日志之一，请参阅为慢速日志设置 Elasticsearch 日志记录阈值。如果您仅启用了错误日志，您不需要执行任何其他配置步骤。

启用日志发布 (AWS CLI)

您需要有一个 CloudWatch 日志组，才能启用日志发布。如果还没有日志组，可以使用以下命令创建一个：

aws logs create-log-group --log-group-name my-log-group

键入下一命令查找日志组的 ARN，然后将它记下来：

aws logs describe-log-groups --log-group-name my-log-group

现在，可以为 Amazon ES 授予日志组写入权限。您必须在命令结尾处提供日志组的 ARN：

aws logs put-resource-policy --policy-name my-policy --policy-document '{ "Version": "2012-10-17", "Statement": [{ "Sid": "", "Effect": "Allow", "Principal": { "Service": "es.amazonaws.com"}, "Action":[ "logs:PutLogEvents"," logs:PutLogEventsBatch","logs:CreateLogStream"],"Resource": "cw_log_group_arn"}]}'

最后，可以使用 --log-publishing-options 选项来启用发布。该选项的语法与 create-elasticsearch-domain 和 update-elasticsearch-domain-config 命令相同。

示例

下面的示例对指定域启用搜索和索引慢速日志的发布：

aws es update-elasticsearch-domain-config --domain-name my-domain --log-publishing-options "SEARCH_SLOW_LOGS={CloudWatchLogsLogGroupArn=arn:aws:logs:us-east-1:123456789012:log-group:my-log-group,Enabled=true},INDEX_SLOW_LOGS={CloudWatchLogsLogGroupArn=arn:aws:logs:us-east-1:123456789012:log-group:my-other-log-group,Enabled=true}"

要禁用到 CloudWatch 的发布，请在 Enabled=false 的情况下运行同一命令。

如果您已启用慢速日志之一，请参阅为慢速日志设置 Elasticsearch 日志记录阈值。如果您仅启用了错误日志，您不需要执行任何其他配置步骤。

启用日志发布（AWS 开发工具包）

您必须先创建一个 CloudWatch 日志组，获取其 ARN，并为 Amazon ES 授予日志组写入权限，然后才能启用日志发布。Amazon CloudWatch Logs API Reference 介绍了相关操作：

您可以使用 AWS 开发工具包访问这些操作。

AWS 开发工具包（除 Android 和 iOS 开发工具包之外）支持 Amazon ES 配置 API 参考中定义的所有操作，包括 CreateElasticsearchDomain 和 UpdateElasticsearchDomainConfig 的 --log-publishing-options 选项。

如果您已启用慢速日志之一，请参阅为慢速日志设置 Elasticsearch 日志记录阈值。如果您仅启用了错误日志，您不需要执行任何其他配置步骤。

为慢速日志设置 Elasticsearch 日志记录阈值

默认情况下，Elasticsearch 禁用慢速日志。在启用到 CloudWatch 的慢速日志发布 后，仍必须为每个 Elasticsearch 索引指定日志记录阈值。这些阈值精确定义应在哪个日志级别记录哪些内容。各 Elasticsearch 版本的设置稍有不同。

您可以通过 Elasticsearch REST API 指定这些设置：

PUT elasticsearch_domain_endpoint/index/_settings
{
  "index.search.slowlog.threshold.query.warn": "5s",
  "index.search.slowlog.threshold.query.info": "2s"
}

要测试慢速日志是否发布成功，请考虑从非常值开始验证日志是否出现在 CloudWatch 中，然后将阈值增大到更有用的级别。

如果日志没有显示，请检查以下内容：

如果要禁用索引的慢速日志，请将您更改的任何阈值恢复为其默认值 -1。

使用 Amazon ES 控制台或 AWS CLI 禁用到 CloudWatch 的发布不 会阻止 Elasticsearch 生成日志；只会停止发布 这些日志。请务必检查索引设置，确定是否还需要这些慢速日志。

查看日志

在 CloudWatch 中查看应用程序和慢速日志，方法与查看任何其他 CloudWatch 日志一样。有关更多信息，请参阅 Amazon CloudWatch Logs User Guide 中的查看日志数据。

下面是查看日志时的一些注意事项：

本页内容：

• 创建 Amazon ES 域
• 配置 Amazon ES 域
• 配置基于 EBS 的存储
• 修改 VPC 访问配置
• 配置用于 Kibana 的 Amazon Cognito 身份验证
• 配置访问策略
• 配置自动快照
• 配置高级选项
• 配置日志