创建 BigQuery 连接 - Amazon Glue
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

创建 BigQuery 连接

要从 Amazon Glue 中连接到 Google BigQuery,您需要创建 Google Cloud Platform 凭证并将其存储在 Amazon Secrets Manager 密钥中,然后将该密钥与 Google BigQuery Amazon Glue 连接关联。

要配置与 BigQuery 的连接:
  1. 在 Google Cloud Platform,创建并识别相关资源:

  2. 在 Google Cloud Platform 中,创建和导出服务账户凭证:

    您可以使用 BigQuery 凭证向导来加快此步骤:创建凭证

    要在 GCP 中创建服务账户,请按照创建服务账户中的教程进行操作。

    • 选择项目时,请选择包含您的 BigQuery 表的项目。

    • 为您的服务账户选择 GCP IAM 角色时,请添加或创建一个角色,该角色将授予运行 BigQuery 作业的相应权限,以读取、写入或创建 BigQuery 表。

    要为您的服务账户创建凭证,请按照创建服务账户密钥中的教程进行操作。

    • 在选择密钥类型时,请选择 JSON

    现在,您应该已经下载了包含服务账户凭证的 JSON 文件。如下所示:

    { "type": "service_account", "project_id": "*****", "private_key_id": "*****", "private_key": "*****", "client_email": "*****", "client_id": "*****", "auth_uri": "https://accounts.google.com/o/oauth2/auth", "token_uri": "https://oauth2.googleapis.com/token", "auth_provider_x509_cert_url": "https://www.googleapis.com/oauth2/v1/certs", "client_x509_cert_url": "*****", "universe_domain": "googleapis.com" }
  3. 在 Amazon Secrets Manager 中,使用您下载的凭证文件创建密钥。您可以选择“纯文本”选项卡并粘贴 JSON 格式的文件内容。要在 Secrets Manager 中创建密钥,请按照 Amazon Secrets Manager 文档中创建 Amazon Secrets Manager 密钥中的教程进行操作。创建密钥后,保留密钥名称 secretName,以供下一步使用。

  4. 在 Amazon Glue Data Catalog 中,按照 https://docs.amazonaws.cn/glue/latest/dg/console-connections.html 中的步骤创建连接。创建连接后,保留连接名称 connectionName,以供下一步使用。

    • 在选择连接类型时,请选择 Google BigQuery。

    • 选择 Amazon 密钥时,请提供 secretName

  5. 向与您的 Amazon Glue 作业关联的 IAM 角色授予读取 secretName 的权限。

  6. 在 Amazon Glue 作业配置中,提供 connectionName 作为附加网络连接