在 Amazon OpenSearch Service 中执行跨集群搜索

设置连接

1. 在域控制面板上，选择域，然后前往连接选项卡。

2. 在 Outbound connections（出站连接）部分中，选择 Request（请求）。

3. 对于 Connection alias（连接别名），输入您的连接的名称。

4. 选择连接您的 Amazon Web Services 账户 和区域中的域还是其他账户或区域中的域。

   • 要连接到您的 Amazon Web Services 账户 和区域中的集群，请从下拉菜单中选择域并选择 Request（请求）。

   • 要连接到另一个 Amazon Web Services 账户 或区域中的集群，请指定远程域的 ARN，然后选择 Request（请求）。要跨区域连接域，两个域必须运行 Elasticsearch 版本 7.10 或更高版本或者 OpenSearch。

5. 要在执行集群查询时跳过不可用集群，请选择跳过不可用。此设置可确保即使一个或多个远程集群发生故障，跨集群查询仍能返回部分结果。

6. 跨集群搜索首先验证连接请求，以确保满足先决条件。如果发现域不兼容，则连接请求将进入 Validation failed 状态。

7. 连接请求验证成功后，将发送到目标域，在此需要进行审批。在此审批进行之前，连接将保持 Pending acceptance 的状态。当连接请求被目标域接受后，状态将更改为 Active，且目标域变为可供查询。

   • 域页面显示了目标域的整体域运行状况和实例运行状况的详细信息。只有域拥有者具备创建、查看、删除和监控域之间的连接的灵活性。

1. 在域控制面板上，转到 Connections（连接）选项卡。

2. 选择要移除的域连接，然后选择 Delete，然后确认删除。

1. 您将跨集群搜索请求发送到源域。

2. 源域根据其域访问策略评估该请求。由于跨集群搜索需要精细访问控制，因此我们建议对源域采用开放访问策略。

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Effect": "Allow",
         "Principal": {
           "AWS": [
             "*"
           ]
         },
         "Action": [
           "es:ESHttp*"
         ],
         "Resource": "arn:aws:es:region:account:domain/src-domain/*"
       }
     ]
   }

   注意

   如果路径中包含远程索引，则必须在域 ARN 中对 URI 进行 URL 编码。例如，使用 arn:aws:es:us-east-1:123456789012:domain/my-domain/local_index,dst%3Aremote_index 而不是 arn:aws:es:us-east-1:123456789012:domain/my-domain/local_index,dst:remote_index。

   如果除了精细访问控制，还选择使用限制性访问策略，那么策略必须至少允许访问 es:ESHttpGet。

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Effect": "Allow",
         "Principal": {
           "AWS": [
             "arn:aws:iam::123456789012:user/test-user"
           ]
         },
         "Action": "es:ESHttpGet",
         "Resource": "arn:aws:es:region:account:domain/src-domain/*"
       }
     ]
   }

3. 源域中的精细访问控制将评估请求：

   • 该请求是否采用有效的 IAM 或 HTTP 基本凭证签名？

   • 如果是这样，用户是否有权执行搜索和访问数据？

   如果该请求仅搜索目标域中的数据（例如，dest-alias:dest-index/_search），则只需目标域的权限。

   如果该请求在两个域中搜索数据（例如，source-index,dest-alias:dest-index/_search），则需要两个域的权限。

   在精细访问控制中，除相关索引的标准 read 或 search 权限之外，用户还必须拥有 indices:admin/shards/search_shards 权限。

4. 源域将请求传递到目标域。目标域根据其域访问策略评估该请求。必须包含对目标域的 es:ESCrossClusterGet 权限：

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Effect": "Allow",
         "Principal": {
           "AWS": "*"
         },
         "Action": "es:ESCrossClusterGet",
         "Resource": "arn:aws:es:region:account:domain/dst-domain"
       }
     ]
   }

   请确保对 /dst-domain，而不是 /dst-domain/* 应用了 es:ESCrossClusterGet 权限。

   但是，此最低策略仅允许跨集群搜索。要执行其他操作，例如，为文档编制索引和执行标准搜索，需要额外的权限。我们建议对目标域采取以下策略：

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Effect": "Allow",
         "Principal": {
           "AWS": [
             "*"
           ]
         },
         "Action": [
           "es:ESHttp*"
         ],
         "Resource": "arn:aws:es:region:account:domain/dst-domain/*"
       },
       {
         "Effect": "Allow",
         "Principal": {
           "AWS": "*"
         },
         "Action": "es:ESCrossClusterGet",
         "Resource": "arn:aws:es:region:account:domain/dst-domain"
       }
     ]
   }

   注意

   默认情况下，对域之间的所有跨集群搜索请求在传输过程中进行加密，作为节点到节点加密的一部分。

5. 目标域执行搜索，并将结果返回到源域。

6. 源域将自己的结果（如果有）与目标域的结果相结合，并将它们返回给您。

7. 我们推荐采用 Postman 来测试请求：

   • 在目标域上，为文档编制索引：

     POST https://dst-domain.us-east-1.es.amazonaws.com/books/_doc/1
     
     {
       "Dracula": "Bram Stoker"
     }

   • 要从源域查询此索引，请在查询内包含目标域的连接别名。

     GET https://src-domain.us-east-1.es.amazonaws.com/<connection_alias>:books/_search
     
     {
         ...
       "hits": [
         {
           "_index": "source-destination:books",
           "_type": "_doc",
           "_id": "1",
           "_score": 1,
           "_source": {
             "Dracula": "Bram Stoker"
           }
         }
       ]
     }
     

     您可以在域控制面板的连接选项卡上找到连接别名。

   • 如果要在连接别名为 cluster_b 的 domain-a -> domain-b 与连接别名为 cluster_c 的 domain-a -> domain-c 之间设置连接，请按以下方式搜索 domain-a、domain-b 和 domain-c：

     GET https://src-domain.us-east-1.es.amazonaws.com/local_index,cluster_b:b_index,cluster_c:c_index/_search
     {
       "query": {
         "match": {
           "user": "domino"
         }
       }
     }

     响应

     {
       "took": 150,
       "timed_out": false,
       "_shards": {
         "total": 3,
         "successful": 3,
         "failed": 0,
         "skipped": 0
       },
       "_clusters": {
         "total": 3,
         "successful": 3,
         "skipped": 0
       },
       "hits": {
         "total": 3,
         "max_score": 1,
         "hits": [
           {
             "_index": "local_index",
             "_type": "_doc",
             "_id": "0",
             "_score": 1,
             "_source": {
               "user": "domino",
               "message": "Lets unite the new mutants",
               "likes": 0
             }
           },
           {
             "_index": "cluster_b:b_index",
             "_type": "_doc",
             "_id": "0",
             "_score": 2,
             "_source": {
               "user": "domino",
               "message": "I'm different",
               "likes": 0
             }
           },
           {
             "_index": "cluster_c:c_index",
             "_type": "_doc",
             "_id": "0",
             "_score": 3,
             "_source": {
               "user": "domino",
               "message": "So am I",
               "likes": 0
             }
           }
         ]
       }
     }

     如果您没有选择在连接设置中跳过不可用集群，搜索的所有目标集群必须可用才能成功运行搜索请求。否则，整个请求将失败——即使只有一个域不可用，也不会返回任何搜索结果。