Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

Snowflake 连接

在 Amazon Glue 4.0 及更高版本中，您可以使用 Amazon Glue for Spark 在 Snowflake 中读取和写入表。您可以通过 SQL 查询从 Snowflake 中读取。您可以使用用户名和密码连接到 Snowflake。您可以通过 Amazon Glue Data Catalog 引用存储在 Amazon Secrets Manager 中的 Snowflake 凭证。用于 Amazon Glue for Spark 的 Data Catalog Snowflake 凭证与用于爬网程序的 Data Catalog Snowflake 凭证分开存储。必须选择 SNOWFLAKE 类型连接，而不是配置为连接到 Snowflake 的 JDBC 类型连接。

有关 Snowflake 的更多信息，请参阅 Snowflake 网站。有关 Amazon 上 Snowflake 的更多信息，请参阅 Snowflake Data Warehouse on Amazon Web Services。

配置 Snowflake 连接

连接到可通过互联网访问的 Snowflake 数据库没有任何 Amazon 先决条件。

或者，您可以执行以下配置，使用 Amazon Glue 管理连接凭证。

在以下情况下，您可能需要以下内容：

从 Snowflake 表中读取

先决条件：您想读取的 Snowflake 表。您需要使用 Snowflake 表名 tableName。您需要 Snowflake url snowflakeUrl、用户名 snowflakeUser 和密码 snowflakePassword。如果您的 Snowflake 用户没有设置默认命名空间，则需要 Snowflake 数据库名称 databaseName 和架构名称 schemaName。此外，如果您的 Snowflake 用户没有设置默认仓库，则需要仓库名称 warehouseName。

例如：

其他先决条件：完成使用 Amazon Glue 管理连接凭证的步骤，配置 snowflakeUrl、snowflakeUsername 和 snowflakePassword。要查看这些步骤，请参阅 配置 Snowflake 连接 上一节。为选择要连接的附加网络连接，我们将使用 connectionName 参数。

snowflake_read = glueContext.create_dynamic_frame.from_options(
  connection_type="snowflake",
  connection_options={
        "connectionName": "connectionName",
        "dbtable": "tableName",
        "sfDatabase": "databaseName",
        "sfSchema": "schemaName",
        "sfWarehouse": "warehouseName",
    }
)

此外，您还可以使用 autopushdown 和 query 参数来读取 Snowflake 表的一部分。这可能比在结果加载到 Spark 后对其进行筛选要有效得多。举一个例子，其中所有销售额都存储在同一个表中，但您只需要分析假日期间某家商店的销售额即可。如果这些信息存储在表中，则可以使用谓词下推来检索结果，如下所示：

snowflake_node = glueContext.create_dynamic_frame.from_options(
    connection_type="snowflake",
    connection_options={
        "autopushdown": "on",
        "query": "select * from sales where store='1' and IsHoliday='TRUE'",
        "connectionName": "snowflake-glue-conn",
        "sfDatabase": "databaseName",
        "sfSchema": "schemaName",
        "sfWarehouse": "warehouseName",
    }
)

写入 Snowflake 表

先决条件：您要写入的 Snowflake 数据库。您将需要一个最新或所需的表名，如 tableName。您需要 Snowflake url snowflakeUrl、用户名 snowflakeUser 和密码 snowflakePassword。如果您的 Snowflake 用户没有设置默认命名空间，则需要 Snowflake 数据库名称 databaseName 和架构名称 schemaName。此外，如果您的 Snowflake 用户没有设置默认仓库，则需要仓库名称 warehouseName。

例如：

其他先决条件：完成使用 Amazon Glue 管理连接凭证的步骤，配置 snowflakeUrl、snowflakeUsername 和 snowflakePassword。要查看这些步骤，请参阅 配置 Snowflake 连接 上一节。为选择要连接的附加网络连接，我们将使用 connectionName 参数。

glueContext.write_dynamic_frame.from_options(
    connection_type="snowflake",
    connection_options={
        "connectionName": "connectionName",
        "dbtable": "tableName",
        "sfDatabase": "databaseName",
        "sfSchema": "schemaName",
        "sfWarehouse": "warehouseName",
    },
)

Snowflake 连接选项参考

Snowflake 连接类型采用以下连接选项：

您可以从 Data Catalog 连接（sfUrl、sfUser、sfPassword）中检索本节中的某些参数，在这种情况下，您无需提供这些参数。您可以提供参数 connectionName 来实现。

您可以从 Amazon Secrets Manager 密钥（sfUser、sfPassword）中检索本节中的某些参数，在这种情况下，您无需提供这些参数。密钥必须提供 sfUser 和 sfPassword 键下的内容。您可以提供参数 secretId 来实现。

连接到 Snowflake 时通常使用以下参数。

以下选项用于配置连接到 Snowflake 过程中的特定行为。

此外，Amazon Glue 可能支持 Snowflake Spark 连接器上可用的某些选项。有关 Snowflake Spark 连接器上可用选项的更多信息，请参阅 Snowflake 文档中的 Setting Configuration Options for the Connector。

Snowflake 连接器限制

使用 Amazon Glue for Spark 连接到 Snowflake 需要遵守以下限制。