使用带有 Amazon Glue Studio 的连接器和连接

将连接器从 Amazon Web Services Marketplace 添加到 Amazon Glue Studio

1. 在 Amazon Glue Studio 控制台中，在导航窗格中选择 Connectors (连接器)。

2. 在 Connectors (连接器) 页面上，选择 Go to Amazon Web Services Marketplace (转到 Amazon Web Services Marketplace)。

3. 在 Amazon Web Services Marketplace 中的 Featured products (特色产品) 中，选择要使用的连接器。您可以选择其中一个特色连接器，也可以进行搜索。您可以搜索连接器的名称或类型，也可以使用选项来优化搜索结果。

   如果您要使用其中一个特色连接器，请选择 View product (查看产品)。如果通过搜索来查找连接器，请选择连接器的名称。

4. 在连接器的产品页面上，使用选项卡查看有关连接器的信息。如果您决定购买此连接器，请选择 Continue to Subscribe (继续订阅)。

5. 提供付款信息，然后选择 Continue to Configure (继续配置)。

6. 在 Configure this software (配置此软件) 页面上，选择部署方法和要使用的连接器版本。然后选择 Continue to Launch (继续启动) 以继续。

7. 在 Launch this software (启动此软件) 页面上，您可以查看连接器提供程序提供的 Usage Instructions (使用说明)。准备就绪后，选择 Activate connection in Amazon Glue Studio (激活 Amazon Glue Studio Glue Studio 中的连接)。

   一小段时间后，控制台将显示 Amazon Glue Studio 中的 Create marketplace connection (创建 Marketplace 连接) 页面。

8. 创建使用此连接器的连接，如为连接器创建连接中所述。

   或者，您可以选择 Activate connector only (仅激活连接器) 以跳过此时创建连接。您稍后必须创建连接才能使用该连接器。

将自定义连接器添加到 Amazon Glue Studio

1. 为自定义连接器创建代码。有关更多信息，请参阅开发自定义连接器。

2. 连接器增加了对 Amazon Glue 功能的支持。下面举例说明了这些功能，以及如何在 Amazon Glue Studio 生成的任务脚本内使用这些功能。

   • 数据类型映射 – 连接器可以在从基础数据存储中读取列的同时对列进行类型化。例如，解析记录并构造 DynamicFrame 时，dataTypeMapping 的 {"INTEGER":"STRING"} 会将所有类型为 Integer 的列转换为类型为 String 的列。这有助于用户将列转换为他们选择的类型。

     DataSource0 = glueContext.create_dynamic_frame.from_options(connection_type 
     = "custom.jdbc", connection_options = {"dataTypeMapping":{"INTEGER":"STRING"}", 
     connectionName":"test-connection-jdbc"}, transformation_ctx = "DataSource0")

   • 分区以进行并行读取 – Amazon Glue 允许对列上的数据进行分区，以便从数据存储中读取并行数据。您必须指定分区列、下分区界限、上分区界限和分区数。此功能使您能够利用数据并行性以及为 Spark 应用程序分配的多个 Spark 执行程序。

     DataSource0 = glueContext.create_dynamic_frame.from_options(connection_type 
     = "custom.jdbc", connection_options = {"upperBound":"200","numPartitions":"4",
     "partitionColumn":"id","lowerBound":"0","connectionName":"test-connection-jdbc"},
     transformation_ctx = "DataSource0")

   • 使用 Amazon Secrets Manager 存储凭证 – 数据目录连接还可以包含 Amazon Secrets Manager 中所存储密钥的 secretId。Amazon 密钥可以安全地存储身份验证和凭证信息，并在运行时将其提供给 Amazon Glue。或者，您还可以在 Spark 脚本中指定 secretId，如下所示：

     DataSource = glueContext.create_dynamic_frame.from_options(connection_type 
     = "custom.jdbc", connection_options = {"connectionName":"test-connection-jdbc",
      "secretId"-> "my-secret-id"}, transformation_ctx = "DataSource0")

   • 使用行谓词和列投影筛选源数据 – Amazon Glue Spark 运行时还允许用户向下推送 SQL 查询，以使用行谓词和列投影在源处筛选数据。这样一来，ETL 任务能够更快地从支持推送的数据存储加载筛选的数据。向下推送到 JDBC 数据源的 SQL 查询示例如下：SELECT id, name, department FROM department WHERE id < 200.

     DataSource = glueContext.create_dynamic_frame.from_options(connection_type = 
     "custom.jdbc", connection_options = {"query":"SELECT id, name, department FROM department 
     WHERE id < 200","connectionName":"test-connection-jdbc"}, transformation_ctx = 
     "DataSource0")

   • 任务书签 – Amazon Glue 支持从 JDBC 源增量加载数据。Amazon Glue 从数据存储中跟踪上次处理的记录，并在后续 ETL 任务运行中处理新的数据记录。任务书签使用主键作为书签键的默认列，前提是此列按顺序增加或减少。有关任务书签的更多信息，请参阅《Amazon Glue 开发人员指南》中的任务书签。

     DataSource0 = glueContext.create_dynamic_frame.from_options(connection_type = 
     "custom.jdbc", connection_options = {"jobBookmarkKeys":["empno"], "jobBookmarkKeysSortOrder"
     :"asc", "connectionName":"test-connection-jdbc"}, transformation_ctx = "DataSource0")

3. 将自定义连接器打包为 JAR 文件，然后将文件上载到 Amazon S3。

4. 测试您的自定义连接器。有关更多信息，请参阅 Glue 自定义连接器：本地验证测试指南处 GitHub 上的说明。

5. 在 Amazon Glue Studio 控制台中，在导航窗格中选择 Connectors (连接器)。

6. 在 Connectors (连接器) 页面上，选择 Create custom connector (创建自定义连接器)。

7. 在 Create custom connector (创建自定义连接器) 页面上，输入以下信息：

   • 指向 Amazon S3 中自定义代码 JAR 文件位置的路径。

   • Amazon Glue Studio 将使用的连接器的名称。

   • 您的连接器类型，可以是 JDBC、Spark 或者 Athena。

   • 自定义代码中入口点的名称，Amazon Glue Studio 将调用以使用连接器。

     • 对于 JDBC 连接器，此字段应该是 JDBC 驱动程序的类名称。

     • 对于 Spark 连接器，此字段应该是完全限定的数据源类名称或其别名，您可以使用 format 运算符。

   • （仅限 JDBC）JDBC 连接用于数据存储的基本 URL。

   • （可选）自定义连接器的描述。

8. 选择 Create connector (创建连接器)。

9. 在 Connectors (连接器) 页面中，创建使用此连接器的连接，如为连接器创建连接中所示。

为连接器创建连接

1. 在 Amazon Glue Studio 控制台中，在导航窗格中选择 Connectors (连接器)。

2. 选择要为其创建连接的连接器，然后选择 Create connection (创建连接)。

3. 在 Create connection (创建连接) 页面上，为您的连接输入名称以及（可选）描述。

4. 输入连接详细信息。根据所选连接器的类型，系统会提示您输入附加信息：

   • 输入请求的身份验证信息（如用户名和密码），或选择 Amazon 密钥。

   • 对于使用 JDBC 的连接器，请输入为数据存储创建 JDBC URL 所需的信息。

   • 如果您使用 Virtual Private Cloud（VPC），请为 VPC 输入网络信息。

5. 选择 Create connection (创建连接)。

   您将返回到 Connectors (连接器) 页面，信息性广告条会指示已创建的连接。您现在可以在您的 Amazon Glue Studio 任务中使用连接，如创建使用连接器的任务中所示。

1. 选择集群位置。可以从 Amazon Managed for Apache Kafka (MSK) 集群或 Customer managed Apache Kafka（客户管理的 Apache Kafka）集群中选择。有关 Amazon Managed Streaming for Apache Kafka 的更多信息，请参阅 Amazon Managed Streaming for Apache Kafka (MSK)。

   注意

   Amazon Managed Streaming for Apache Kafka 仅支持 TLS 和 SASL/SCRAM-SHA-512 身份验证方法。

   

2. 输入 Kafka 引导服务器的 URL。通过用逗号分隔每台服务器，可以输入多个服务器。通过在 URL 末尾附加 :<port number>，包含端口号。

   例如：b-1.vpc-test-2.034a88o.kafka-us-east-1.amazonaws.com:9094

1. 如果 Kafka 连接需要 SSL 连接，请选中 Require SSL connection（需要 SSL 连接）复选框。请注意，如果无法通过 SSL 连接，则连接将失败。用于加密的 SSL 可以与任何身份验证方法（SASL/SCRAM-SHA-512、SASL/GSSAPI、SSL 客户端身份验证）一起使用，并且是可选的。

   如果身份验证方法设置为 SSL client authentication（SSL 客户端身份验证），则系统将自动选择并禁用此选项，以防止出现任何更改。

2. （可选）。选择来自证书颁发机构 (CA) 的私有证书的位置。请注意，证书的位置必须在 S3 位置。选择 Browse（浏览），从连接的 S3 存储桶中选择文件。路径必须采用 s3://bucket/prefix/filename.pem 格式。它必须以文件名和 .pem 扩展名结尾。

3. 可以选择跳过验证证书颁发机构 (CA) 的证书。选择复选框 Skip validation of certificate from certificate authority (CA) [跳过验证证书颁发机构（CA）的证书]。如果未选中此框，则 Amazon Glue 会验证三种算法的证书：

   • SHA256withRSA

   • SHA384withRSA

   • SHA512withRSA

1. 选择包含您的数据源的 virtual private cloud (VPC)。

2. 选择您的 VPC 所在的子网。

3. 选择允许访问 VPC 子网中数据存储的一个或多个安全组。安全组与附加到子网的 ENI 相关联。必须为所有 TCP 端口选择至少一个具有自引用入站规则的安全组。

创建任务，为数据源或数据目标使用连接器

1. 登录 Amazon Web Services Management Console，然后通过以下网址打开 Amazon Glue Studio 控制台：https://console.aws.amazon.com/gluestudio/。

2. 在 Connectors (连接器) 页面的 Your connections (您的连接) 资源列表中，选择要在任务中使用的连接，然后选择 Create job (创建任务)。

   或者，在 Amazon Glue Studio Jobs (任务) 页面的 Create job (创建任务) 下面，选择 Source and target added to the graph (已添加到图形中的源和目标)。在 Source (源) 下拉列表中，选择要在任务中使用的自定义连接器。还可以为 Target (目标) 选择连接器。

   

3. 选择 Create (创建) 以打开可视化任务编辑器。

4. 配置数据源节点，如为使用连接器的节点配置源属性中所示。

5. 添加转换、其他数据存储和数据目标以继续创建 ETL 任务，如在 Amazon Glue Studio 中编辑 ETL 任务中所示。

6. 配置任务属性以自定义任务运行环境，如修改任务属性中所示。

7. 保存并运行任务。

为使用连接器的数据源节点配置属性

1. 选择任务图中的连接器数据源节点，或者添加新节点，然后为 Node type (节点类型) 选择连接器。然后，在右侧的节点详细信息面板中，选择 Data source properties (数据源属性) 选项卡（如果尚未选择）。

   

2. 在 Data source properties (数据源属性) 选项卡上，选择要用于此任务的连接。

   输入每种连接类型所需的附加信息：

   JDBC

   • Data source input type (数据源输入类型)：选择以提供表名称或 SQL 查询作为数据源。根据您的选择，您需要提供以下附加信息：

     • Table name (表名称)：数据源中表的名称。如果数据源未使用术语表，则提供适当数据结构的名称，如自定义连接器使用信息所示（Amazon Web Services Marketplace 中提供)。

     • Filter predicate (筛选条件谓词)：读取数据源时使用的条件子句，类似于 WHERE 子句，用于检索数据的子集。

     • Query code (查询代码)：输入用于从数据源检索特定数据集的 SQL 查询。基本 SQL 查询示例：

       SELECT column_list FROM 
                                 table_name WHERE where_clause
                               

   • Schema (架构)：因为 Amazon Glue Studio 使用存储在连接中的信息来访问数据源，而不是从数据目录表中检索元数据信息，所以您必须为数据源提供架构元数据。选择 Add schema (添加架构)，打开架构编辑器。

     有关如何使用架构编辑器的说明，请参阅编辑自定义转换节点的架构。

   • Partition column (分区列)：（可选）您可以为 Partition Column (分区列)、Lower bound (下限)、Upper bound (上限) 和 Number of partitions (分区数) 提供值，对数据读取进行分区。

     lowerBound 和 upperBound 值用于确定分区步长，而不是用于筛选表中的行。对表中的所有行进行分区并返回。

     注意

     列分区为用于读取数据的查询添加额外的分区条件。使用查询（而不是表名称）时，您应验证查询是否适用于指定的分区条件。例如：

     • 如果您的查询格式为 "SELECT col1 FROM table1"，则在使用分区列的查询结尾附加 WHERE 子句，以测试查询。

     • 如果您的查询格式为 "SELECT col1 FROM table1 WHERE col2=val"，则通过 AND 和使用分区列的表达式扩展 WHERE 子句，以测试查询。

   • Data type casting (数据类型转换)：如果数据源使用 JDBC 中不可用的数据类型，请使用此部分指定如何将数据源中的数据类型转换为 JDBC 数据类型。您最多可指定 50 个不同的数据类型转换。数据源中使用相同数据类型的所有列都将以相同的方式进行转换。

     例如，如果数据源中有三列使用 Float 数据类型，并且您指示 Float 数据类型应转换为 JDBC String 数据类型，则使用 Float 数据类型的所有三列将转换为 String 数据类型。

   • Job bookmark keys (任务书签键)：任务书签可帮助 Amazon Glue 维护状态信息，并防止重新处理旧数据。指定一个或多个列为书签键。Amazon Glue Studio 使用书签键跟踪上次运行 ETL 任务期间已处理的数据。用于自定义书签键的列都必须严格单调递增或递减，但是允许有间隙。

     如果您输入多个书签键，它们将合并成一个复合键。复合任务书签键不应包含重复的列。如果不指定书签键，则预设情况下，Amazon Glue Studio 将使用主键作为书签键，前提是主键按顺序递增或递减（没有间隙）。如果表没有主键，但任务书签属性已启用，则必须提供自定义任务书签键。否则，无法搜索用作默认值的主键，任务运行将失败。

   • Job bookmark keys sorting order (任务书签键排序)：选择键值是按顺序递增还是递减。

   Spark

   • Schema (架构)：因为 Amazon Glue Studio 使用存储在连接中的信息来访问数据源，而不是从数据目录表中检索元数据信息，所以您必须为数据源提供架构元数据。选择 Add schema (添加架构)，打开架构编辑器。

     有关如何使用架构编辑器的说明，请参阅编辑自定义转换节点的架构。

   • Connection options (连接选项)：根据需要输入其他键值对，提供其他连接信息或选项。例如，您可以输入数据库名称、表名、用户名和密码。

     例如，对于 OpenSearch，您可以输入以下键值对，如 教程：使用 Amazon Glue Connector for Elasticsearch 中所述：

     • es.net.http.auth.user : username

     • es.net.http.auth.pass : password

     • es.nodes : https://<Elasticsearch endpoint>

     • es.port : 443

     • path: <Elasticsearch resource>

     • es.nodes.wan.only : true

   有关要使用的最小连接选项的示例，请参阅 GitHub 上的测试脚本示例 MinimalSparkConnectorTest.scala，显示了您通常在连接中提供的连接选项。

   Athena

   • Table name (表名称)：数据源中表的名称。如果您使用从 Athena-CloudWatch logs 读取数据的连接器，则需要输入表名 all_log_streams。

   • Athena schema name (Athena 架构名称)：在 Athena 数据源中选择与包含该表的数据库相对应的架构。如果您使用从 Athena-CloudWatch logs 读取数据的连接器，则需要输入类似于 /aws/glue/name 的表名。

   • Schema (架构)：因为 Amazon Glue Studio 使用存储在连接中的信息来访问数据源，而不是从数据目录表中检索元数据信息，所以您必须为数据源提供架构元数据。选择 Add schema (添加架构)，打开架构编辑器。

     有关如何使用架构编辑器的说明，请参阅编辑自定义转换节点的架构。

   • Additional connection options (其他连接选项)：根据需要输入其他键值对，提供其他连接信息或选项。

   有关示例，请参阅 README.md 文件，网址为 https://github.com/aws-samples/aws-glue-samples/tree/master/GlueCustomConnectors/development/Athena。在本文档中的步骤中，示例代码显示了所需的最小连接选项，即 tableName、schemaName 和 className。代码示例将这些选项指定为 optionsMap 变量，但您可以为连接指定它们，然后使用连接。

3. （可选）提供所需信息后，您可以选择节点详细信息面板中的 Output schema (输出架构) 选项卡，查看生成的数据架构。此选项卡上显示的架构将由您添加到任务图的子节点使用。

4. （可选）配置节点属性和数据源属性后，您可以选择节点详细信息窗格中的 Data preview (数据预览) 选项卡来预览数据源的数据集。当您首次为任务中的任何节点选择此选项卡时，系统会提示您提供 IAM 角色以访问数据。使用此功能会产生相关费用，并且一旦您提供 IAM 角色，则会立即开始计费。

为使用连接器的数据目标节点配置属性

1. 在任务图中选择连接器数据目标节点。然后，在右侧的节点详细信息面板中，选择 Data target properties (数据目标属性) 选项卡（如果尚未选择）。

2. 在 Data target properties (数据目标属性) 选项卡上，选择用于写入目标的连接。

   输入每种连接类型所需的附加信息：

   JDBC

   • Connection (连接)：选择要与连接器一起使用的连接。有关如何创建连接的信息，请参阅为连接器创建连接。

   • Table name (表名称)：数据目标中表的名称。如果数据目标未使用术语表，则提供适当数据结构的名称，如自定义连接器使用信息所示（Amazon Web Services Marketplace 中提供)。

   • Batch size (批处理大小)（可选）：在单个操作中输入要在目标表中插入的行数或记录数。默认值是 1000 行。

   Spark

   • Connection (连接)：选择要与连接器一起使用的连接。如果以前未创建连接，请选择 Create connection (创建连接) 创建一个。有关如何创建连接的信息，请参阅为连接器创建连接。

   • Connection options (连接选项)：根据需要输入其他键值对，提供其他连接信息或选项。您可以输入数据库名称、表名、用户名和密码。

     例如，对于 OpenSearch，您可以输入以下键值对，如 教程：使用 Amazon Glue Connector for Elasticsearch 中所述：

     • es.net.http.auth.user : username

     • es.net.http.auth.pass : password

     • es.nodes : https://<Elasticsearch endpoint>

     • es.port : 443

     • path: <Elasticsearch resource>

     • es.nodes.wan.only : true

   有关要使用的最小连接选项的示例，请参阅 GitHub 上的测试脚本示例 MinimalSparkConnectorTest.scala，显示了您通常在连接中提供的连接选项。

3. 提供所需信息后，您可以选择节点详细信息面板中的 Output schema (输出架构) 选项卡，查看生成的数据架构。

查看连接器或连接详细信息

1. 在 Amazon Glue Studio 控制台中，在导航窗格中选择 Connectors (连接器)。

2. 选择要查看其详细信息的连接器或连接。

3. 选择 Actions (操作)，然后选择 View details (查看详细信息)，打开相应连接器或连接的详细信息页面。

4. 在详细信息页面上，您可以选择 Edit（编辑）或 Delete（删除）连接器或连接。

   • 对于连接器，可以选择 Create connection (创建连接)，创建使用连接器的新连接。

   • 对于连接，您可以选择 Create job (创建任务)，创建使用连接的任务。

修改连接器或连接

1. 在 Amazon Glue Studio 控制台中，在导航窗格中选择 Connectors (连接器)。

2. 选择要更改的连接器或连接。

3. 选择 Actions，然后选择 Edit。

   您还可以选择 View details (查看详细信息)，然后在连接器或连接详细信息页面上，选择 Edit (编辑)。

4. 在 Edit connector (编辑连接器) 或者 Edit connection (编辑连接) 页面上，更新信息，然后选择 Save (保存)。

要从 Amazon Glue Studio 中删除连接器，请执行以下操作

1. 在 Amazon Glue Studio 控制台中，在导航窗格中选择 Connectors (连接器)。

2. 选择要删除的连接器或连接。

3. 选择 Actions，然后选择 Delete。

   您还可以选择 View details (查看详细信息)，然后在连接器或连接详细信息页面上，选择 Delete (删除)。

4. 确认您要删除连接器或连接，方法是输入 Delete，然后选择 Delete (删除)。

   删除某个连接器时，还应删除为该连接器创建的所有连接。

取消 Amazon Web Services Marketplace 中连接器的订阅

1. 登录 Amazon Web Services Marketplace，然后通过以下网址打开 控制台：https://console.aws.amazon.com/marketplace。

2. 选择 Manage subscriptions (选择订阅)。

3. 在 Manage subscriptions (管理订阅) 页面上，选择要取消的连接器订阅旁边的 Manage (管理)。

4. 依次选择 Actions (操作) 和 Delete Subscriptions (删除订阅)。

5. 选中此复选框，确认正在运行的实例会向您的账户收取费用，然后选择 Yes, cancel subscription (是，取消订阅)。

创建自定义 JDBC 连接器

1. 在本地开发环境中安装 Amazon Glue Spark 运行时库。请参阅 Amazon Glue GitHub 示例库中的说明，该库位于 https://github.com/aws-samples/aws-glue-samples/tree/master/GlueCustomConnectors/development/GlueSparkRuntime/README.md。

2. 实施负责从数据源检索数据的 JDBC 驱动程序。请参阅适用于 Java SE 8 的 Java 文档。

   在您的代码内创建入口点，Amazon Glue Studio 将其用于查找您的连接器。Class name (类名称) 字段应该是 JDBC 驱动程序的完整路径。

3. 借助连接器使用 GlueContext API 读取数据。用户可以在 Amazon Glue Studio 控制台中添加更多输入选项，配置与数据源的连接（如有必要）。有关演示如何使用自定义 JDBC 连接器读取和写入 JDBC 数据库的代码示例，请参阅自定义和 Amazon Web Services Marketplace connectionType 值。