Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

Snowflake 连接

在 Amazon Glue 4.0 及更高版本中，您可以使用 Amazon Glue for Spark 在 Snowflake 中读取和写入表。您可以通过 SQL 查询从 Snowflake 中读取。您可以通过以下三种方法之一连接到 Snowflake：基本身份验证（使用用户名和密码）、OAuth 身份验证或密钥对身份验证。您可以通过 Amazon Glue Data 连接引用存储在 Amazon Secrets Manager 中的 Snowflake 凭证。用于 Amazon Glue for Spark 的数据连接 Snowflake 凭证与用于爬网程序的 Data Catalog Snowflake 凭证分开存储。必须选择 SNOWFLAKE 类型连接，而不是配置为连接到 Snowflake 的 JDBC 类型连接。

有关 Snowflake 的更多信息，请参阅 Snowflake 网站。有关 Amazon 上 Snowflake 的更多信息，请参阅 Snowflake Data Warehouse on Amazon Web Services。

配置 Snowflake 连接

连接到可通过互联网访问的 Snowflake 数据库没有任何 Amazon 先决条件。

或者，您可以执行以下配置，使用 Amazon Glue 管理连接凭证。

对于托管在 Amazon VPC 中 Amazon 上的 Snowflake，您可能需要以下内容：

从 Snowflake 表中读取

先决条件：您想读取的 Snowflake 表。您需要使用 Snowflake 表名 tableName。如果您的 Snowflake 用户没有设置默认命名空间，则需要 Snowflake 数据库名称 databaseName 和架构名称 schemaName。此外，如果您的 Snowflake 用户没有设置默认仓库，则需要仓库名称 warehouseName。为选择要连接的附加网络连接，将使用 connectionName 参数。

snowflake_read = glueContext.create_dynamic_frame.from_options(
  connection_type="snowflake",
  connection_options={
        "connectionName": "connectionName",
        "dbtable": "tableName",
        "sfDatabase": "databaseName",
        "sfSchema": "schemaName",
        "sfWarehouse": "warehouseName",
    }
)

此外，您还可以使用 autopushdown 和 query 参数来读取 Snowflake 表的一部分。这可能比在结果加载到 Spark 后对其进行筛选要有效得多。举一个例子，其中所有销售额都存储在同一个表中，但您只需要分析假日期间某家商店的销售额即可。如果这些信息存储在表中，则可以使用谓词下推来检索结果，如下所示：

snowflake_node = glueContext.create_dynamic_frame.from_options(
    connection_type="snowflake",
    connection_options={
        "autopushdown": "on",
        "query": "select * from sales where store='1' and IsHoliday='TRUE'",
        "connectionName": "snowflake-glue-conn",
        "sfDatabase": "databaseName",
        "sfSchema": "schemaName",
        "sfWarehouse": "warehouseName",
    }
)

写入 Snowflake 表

先决条件：您要写入的 Snowflake 数据库。您将需要一个最新或所需的表名，如 tableName。如果您的 Snowflake 用户没有设置默认命名空间，则需要 Snowflake 数据库名称 databaseName 和架构名称 schemaName。此外，如果您的 Snowflake 用户没有设置默认仓库，则需要仓库名称 warehouseName。为选择要连接的附加网络连接，将使用 connectionName 参数。

glueContext.write_dynamic_frame.from_options(
    connection_type="snowflake",
    connection_options={
        "connectionName": "connectionName",
        "dbtable": "tableName",
        "sfDatabase": "databaseName",
        "sfSchema": "schemaName",
        "sfWarehouse": "warehouseName",
    },
)

Snowflake 连接选项参考

Snowflake 连接类型采用以下连接选项：

您可以从 Amazon Glue 连接（sfUrl、sfUser、sfPassword）中检索本节中的某些参数，在这种情况下，您无需提供这些参数。您可以提供参数 connectionName 来实现。

您可以使用 secretId 参数检索 Amazon Secrets Manager 密钥中的连接参数。如果您使用 Secrets Manager 并且密钥中存在以下 Spark 属性，则系统会自动检索这些属性：

属性优先顺序：在多个位置指定了相同属性时，Amazon Glue 将按以下优先顺序（从高到低）处理：

连接到 Snowflake 时通常使用以下参数。

以下选项用于配置连接到 Snowflake 过程中的特定行为。

此外，Amazon Glue 可能支持 Snowflake Spark 连接器上可用的某些选项。有关 Snowflake Spark 连接器上可用选项的更多信息，请参阅 Snowflake 文档中的 Setting Configuration Options for the Connector。

Snowflake 身份验证方法

Amazon Glue 支持使用以下身份验证方法连接到 Snowflake：

这三种身份验证方法都完全受支持，并且可以使用任意连接选项、Glue 连接或 Amazon Secrets Manager 密钥组合进行配置。

Snowflake 连接器限制

使用 Amazon Glue for Spark 连接到 Snowflake 需要遵守以下限制。