教程:使用开源 Elasticsearch Spark Connector - Amazon Glue Studio
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

教程:使用开源 Elasticsearch Spark Connector

Elasticsearch 是一个流行的开源搜索和分析引擎,其用例包括日志分析、实时应用程序监控和点击流分析等。您可以通过在 Amazon Glue Studio 中配置 Elasticsearch Spark Connector,使用 OpenSearch 作为提取、转换和加载(ETL)任务的数据存储。此连接器在 Amazon Web Services Marketplace 中免费提供。

在本教程中,我们将展示如何以最少的步骤连接到您的 Amazon OpenSearch Service 节点。

先决条件

要使用本教程,您必须具备以下内容:

  • 对 Amazon Glue Studio 的访问权限

  • 对 Amazon 云中访问 OpenSearch 集群的访问权限

  • 对包含如为 ETL 任务配置 VPC中所述您数据存储的 Amazon VPC 的已配置访问权限。

  • 根据审核 ETL 任务所需的 IAM 权限的已配置权限

  • (可选)对 Amazon Secrets Manager 的访问权限。