导入

将数据集从 Athena 导入 Data Wrangler

1. 登录亚马逊SageMaker控制台。

2. 选择工作室。

3. 选择启动应用程序。

4. 从下拉列表中选择 Studio。

5. 选择主选标记标。

6. 选择 Data (数据)。

7. 选择 Data Wrangler。

8. 选择导入数据。

9. 在 “可用” 下，选择 Amazon Athena。

10. 对于数据目录，选择一个数据目录。

11. 使用 D ataze 下拉列表选择要查询的数据库。选择数据库时，可以使用 “详细信息” 下列出的表预览数据库中的所有表。

12. （可选）选择高级配置。

    1. 选择一个工作组。

    2. 如果您的工作组尚未强制执行 Amazon S3 输出位置，或者您未使用工作组，请为 Amazon S3 的查询结果位置指定一个值。

    3. （可选）对于数据保留期，选中复选框以设置数据保留期并指定在删除数据之前存储数据的天数。

    4. （可选）默认情况下，Data Wrangler 会保存连接。您可以选择取消选中该复选框而不保存连接。

13. 对于采样，请选择一种采样方法。选择 “无” 以关闭采样。

14. 在查询编辑器中输入您的查询，然后使用 Run 按钮运行查询。成功查询后，您可以在编辑器下预览结果。

    注意

    Salesforce 数据使用该timestamptz类型。如果您要查询从 Salesforce 导入到 Athena 的时间戳列，请将该列中的数据转换为该类型。timestamp以下查询将时间戳列转换为正确的类型。

    
    # cast column timestamptz_col as timestamp type, and name it as timestamp_col
    select cast(timestamptz_col as timestamp) as timestamp_col from table
                            

15. 要导入查询结果，请选择导入。

要授予管理生命周期配置的权限，请执行以下操作。

1. 登录Amazon Web Services Management Console，然后通过以下网址打开 IAM 控制台：https://console.aws.amazon.com/iam/。

2. 选择 Roles（角色）。

3. 在搜索栏中，指定亚马逊 SageMaker Studio 正在使用的亚马逊SageMaker执行角色。

4. 选择角色。

5. 选择 Add permissions（添加权限）。

6. 选择创建内联策略。

7. 对于服务，指定 S3 并选择它。

8. 在 “阅读” 部分下，选择GetLifecycleConfiguration。

9. 在 “写入” 部分下，选择PutLifecycleConfiguration。

10. 对于资源，选择特定。

11. 在 “操作” 中，选择 “权限管理” 旁边的箭头图标。

12. 选择PutResourcePolicy。

13. 对于资源，选择特定。

14. 选中 “此账户中的任意” 旁边的复选框。

15. 选择Review policy（查看策略）。

16. 在 “名称” 中，指定一个名称。

17. 选择 Create policy（创建策略）。

连接到Amazon Redshift ft 集群

1. 登录亚马逊SageMaker控制台。

2. 选择工作室。

3. 选择启动应用程序。

4. 从下拉列表中选择 Studio。

5. 选择主选标记标。

6. 选择 Data (数据)。

7. 选择 Data Wrangler。

8. 选择导入数据。

9. 在 “可用” 下，选择 Amazon Athena。

10. 选择 Amazon Redshift ft。

11. 为类型选择临时证书 (IAM)。

12. 输入连接名称。这是 Data Wrangler 用来识别此连接的名称。

13. 输入群集标识符以指定要连接的集群。注意：仅输入集群标识符，而不输入 Amazon Redshift 集群的完整终端节点。

14. 输入要连接到的数据库的数据库名称。

15. 输入数据库用户以标识要用于连接数据库的用户。

16. 对于卸载 IAM 角色，输入 Amazon Redshift 集群在向 Amazon S3 移动和写入数据时应代入的角色的 IAM 角色 ARN。有关此角色的更多信息，请参阅《Amazon Redshift 管理指南》中的授权 Amazon Redshift 代表您访问其他Amazon服务。

17. 选择 Connect（连接）。

18. （可选）对于 Amazon S3 的输出位置，请指定 S3 URI 来存储查询结果。

19. （可选）对于 KMS 密钥 ID，请指定Amazon KMS密钥或别名的 ARN。下图显示了在中可以找到任一密钥的位置Amazon Web Services Management Console。

    

从Amazon Redshift ft 查询和导入数据

1. 从数据源中选择要查询的连接。

2. 选择架构。要了解有关Amazon Redshift 架构的更多信息，请参阅《Amazon Redshift 数据库开发人员指南》中的架构。

3. （可选）在 “高级配置” 下，指定要使用的采样方法。

4. 在查询编辑器中输入您的查询，然后选择 R un 来运行查询。成功查询后，您可以在编辑器下预览结果。

5. 选择导入数据集以导入已查询的数据集。

6. 输入数据集名称。如果您添加包含空格的数据集名称，则导入数据集时，这些空格将替换为下划线。

7. 选择 Add（添加）。

要编辑数据集，请执行以下操作。

1. 导航到您的 Data Wrangler 流程。

2. 选择 “来源-抽样” 旁边的 +。

3. 更改您要导入的数据。

4. 选择 Apply（应用）

要在 VPC 中启动 Studio，请执行以下操作。

1. 导航到SageMaker控制台，网址为 https://console.aws.amazon.com/sagemaker/。

2. 选择启动SageMaker工作室。

3. 选择标准设置。

4. 对于默认执行角色，选择 IAM 角色来设置 Studio。

5. 选择您启动亚马逊 EMR 集群的 VPC。

6. 对于子网，选择私有子网。

7. 对于安全组，请指定您用于在 VPC 之间控制的安全组

8. 选择 “仅限 VPC”。

9. （可选）Amazon使用默认加密密钥。您可以指定密Amazon Key Management Service钥来加密数据。

10. 选择下一步。

11. 在 Studio 设置下，选择最适合您的配置。

12. 选择 “下一步” 跳过SageMaker画布设置。

13. 选择 “下一步” 跳过 RStudio 设置。

要创建集群，请执行以下操作。

1. 导航到 Amazon Web Services Management Console。

2. 在搜索栏中指定Amazon EMR。

3. 选择创建集群。

4. 对于集群名称，指定集群的名称。

5. 在 “发布” 中，选择集群的发行版本。

   注意

   Amazon EMR 支持auto 终止以下版本：

   • 对勾版本 6.1.0 或更高版本

   • 对勾版本 5.30.0 或更高版本

   自动终止会阻止空闲集群运行并防止您产生成本。

6. （可选）对于应用程序，选择 Presto。

7. 选择您在集群上运行的应用程序。

8. 在 “网络” 下的 “硬件配置” 中，指定硬件配置设置。

   重要

   对于网络，选择运行 Amazon SageMaker Studio 的 VPC，然后选择私有子网。

9. 在 “安全和访问权限” 下，指定安全设置。

10. 选择创建。

要从集群中导入数据，请执行以下操作。

1. 打开 Data Wrangler 流程。

2. 选择 Create Connection (创建连接)。

3. 选择亚马逊 EMR。

4. 请执行以下任一操作。

   • （可选）对于密钥 ARN，请指定集群内数据库的亚马逊资源号 (ARN)。机密提供了额外的安全性。有关机密的更多信息，请参阅什么是Amazon Secrets Manager？ 有关为集群创建密钥的信息，请参阅为您的集群创建Amazon Secrets Manager密钥。

   • 从下拉表中选择一个集群。

5. 选择下一步。

6. 在为example-cluster-name集群选择终端节点中，选择查询引擎。

7. （可选）选择保存连接。

8. 选择 “下一步”，选择 “登录”，然后选择以下选项之一：

   • 没有身份验证

   • LDAP

9. 在 “登录到example-cluster-name群集” 中，指定群集的用户名和密码。

10. 选择 Connect（连接）。

11. 在查询编辑器中指定 SQL 查询。

12. 选择 运行。

13. 选择 Import (导入)。

要将 JDBC URL 存储为密钥，请执行以下操作。

1. 导航到 Amazon Web Services Management Console。

2. 在搜索栏中指定 Secrets Manager。

3. 选择 Amazon Secrets Manager。

4. 选择 Store a new secret (存储新密钥)。

5. 对于 Secret type（密钥类型），请选择 Other type of secret（其他密钥类型）。

6. 对于键/值对，请指定jdbcURL为密钥，将有效的 JDBC URL 指定为值。

   有效 JDBC URL 的格式取决于您是否使用身份验证以及使用 Hive 还是 Presto 作为查询引擎。以下列表显示了不同可能配置的有效 JBDC URL 格式。

   • Hive，没有身份验证 — jdbc:hive2://emr-cluster-master-public-dns:10000/;

   • Hive，LDAP 身份验证 — jdbc: hive2://emr-cluster-master-public-dns- name.1000/; =3; uid=David; pwd=welcome123; AuthMech

   • 对于启用了 SSL 的 Hive，JDBC URL 格式取决于您是否使用 Java 密钥库文件进行 TLS 配置。Java 密钥库文件有助于验证 Amazon EMR 集群主节点的身份。要使用 Java 密钥库文件，请在 EMR 集群上生成该文件并将其上传到 Data Wrangler。要生成文件，请在 Amazon EMR 集群上使用以下命令。keytool -genkey -alias hive -keyalg RSA -keysize 1024 -keystore hive.jks有关在 Amazon EMR 集群上运行命令的信息，请参阅使用保护对 EMR 集群的访问权限。Amazon Systems Manager要上传文件，请选择 Data Wrangler 用户界面左侧导航栏上的向上箭头。

     以下是启用 SSL 的 Hive 的有效 JDBC URL 格式：

     • 如果没有 Java 密钥库文件 — jdbc:hive2://emr-cluster-master-public-dns:10000/;AuthMech=3;UID=user-name;PWD=password;SSL=1;AllowSelfSignedCerts=1;

     • 使用 Java 密钥库文件— jdbc:hive2://emr-cluster-master-public-dns:10000/;AuthMech=3;UID=user-name;PWD=password;SSL=1;SSLKeyStore=/home/sagemaker-user/data/Java-keystore-file-name;SSLKeyStorePwd=Java-keystore-file-passsword;

   • Presto，没有身份验证 — jdbc: presto: //-dns: 8889/; emr-cluster-master-public

   • 对于启用了 LDAP 身份验证和 SSL 的 Presto，JDBC URL 格式取决于您是否使用 Java 密钥库文件进行 TLS 配置。Java 密钥库文件有助于验证 Amazon EMR 集群主节点的身份。要使用 Java 密钥库文件，请在 EMR 集群上生成该文件并将其上传到 Data Wrangler。要上传文件，请选择 Data Wrangler 用户界面左侧导航栏上的向上箭头。有关为 Presto 创建 Java 密钥库文件的信息，请参阅适用于 TLS 的 Java 密钥库文件。有关在 Amazon EMR 集群上运行命令的信息，请参阅使用保护对 EMR 集群的访问权限。Amazon Systems Manager

     • 如果没有 Java 密钥库文件 — jdbc:presto://emr-cluster-master-public-dns:8889/;SSL=1;AuthenticationType=LDAP Authentication;UID=user-name;PWD=password;AllowSelfSignedServerCert=1;AllowHostNameCNMismatch=1;

     • 使用 Java 密钥库文件— jdbc:presto://emr-cluster-master-public-dns:8889/;SSL=1;AuthenticationType=LDAP Authentication;SSLTrustStorePath=/home/sagemaker-user/data/Java-keystore-file-name;SSLTrustStorePwd=Java-keystore-file-passsword;UID=user-name;PWD=password;

要向 Secrets Manager 授予权限，请执行以下操作。

1. 登录Amazon Web Services Management Console，然后通过以下网址打开 IAM 控制台：https://console.aws.amazon.com/iam/。

2. 选择 Roles（角色）。

3. 在搜索栏中，指定亚马逊 SageMaker Studio 正在使用的亚马逊SageMaker执行角色。

4. 选择角色。

5. 选择 Add permissions（添加权限）。

6. 选择创建内联策略。

7. 对于 “服务”，指定 “S ecrets Manager” 并将其选中。

8. 在 “操作” 中，选择 “权限管理” 旁边的箭头图标。

9. 选择PutResourcePolicy。

10. 对于资源，选择特定。

11. 选中 “此账户中的任意” 旁边的复选框。

12. 选择Review policy（查看策略）。

13. 在 “名称” 中，指定一个名称。

14. 选择 Create policy（创建策略）。

要从 Databricks 导入数据，请执行以下操作。

1. 登录亚马逊SageMaker控制台。

2. 选择工作室。

3. 选择启动应用程序。

4. 从下拉列表中选择 Studio。

5. 在 Data Wrangler 流程的导入数据选项卡中，选择 Databricks。

6. 指定以下字段：

   • 数据集名称-您想要在 Data Wrangler 流程中用作数据集的名称。

   • 驱动程序 — com.simba.spark.jdbc.d river。

   • JDBC URL — Databricks 数据库的 URL。不同的 Databricks 实例的 URL 格式可能有所不同。有关查找 URL 和在其中指定参数的信息，请参阅 JDBC 配置和连接参数。以下是如何格式化 URL 的示例：jdbc: spark: //.c aws-sagemaker-datawrangler loud.databricks.com: 443/dafault；transpormode=HTTP；ssl=1；httpath=sql/protocolv1/o/3122619508517275/0909-200301-cut318；=3；UID= token；PWD=。AuthMech personal-access-token

     注意

     您可以指定包含 JDBC URL 的秘密 ARN，而不是指定 JDBC 网址本身。密钥必须包含具有以下格式的键值对:. jdbcURL:JDBC-URL 有关更多信息，请参阅什么是Secrets Manager？ 。

7. 指定 SQL SELECT 语句。

   注意

   Data Wrangler 不支持查询中的公用表表达式 (CTE) 或临时表。

8. 对于采样，请选择一种采样方法。

9. 选择 运行。

10. （可选）对于预览，请选择齿轮以打开分区设置。

    1. 指定分区的数量。如果您指定分区数，则可以按列分区：

       • 输入分区数-指定一个大于 2 的值。

       • （可选）按列分区-指定以下字段。只有为输入分区数指定了值，才能按列进行分区。

         • 选择列-选择您用于数据分区的列。列的数据类型必须为数字或日期。

         • 上限-根据您指定的列中的值，上限是您在分区中使用的值。您指定的值不会更改您要导入的数据。它只会影响导入的速度。为获得最佳性能，请指定一个接近列最大值的上限。

         • 下限-根据您指定的列中的值，下限是您在分区中使用的值。您指定的值不会更改您要导入的数据。它只会影响导入的速度。为获得最佳性能，请指定一个接近该列最小值的下限。

11. 选择 Import (导入)。

1. 选择启动将 Data Wrangler 注册为应用程序的过程的配置。

2. 向身份提供商中的用户提供对 Data Wrangler 的访问权限。

3. 通过将客户端凭据存储为密钥来开启 OAuth 客户端身份Amazon Secrets Manager验证。

4. 使用以下格式指定重定向 URL：https://domain- ID .studio。 Amazon Web Services 区域.sagemaker.aws/jupyter/default/lab

   重要

   您正在指定用于运行 Data Wrangler 的亚马逊SageMaker域名 ID。Amazon Web Services 区域

   重要

   您必须为每个亚马逊SageMaker域名以及运行 Data Wrangler 的Amazon Web Services 区域位置注册一个网址。来自域名且未为Amazon Web Services 区域其设置重定向 URL 的用户将无法通过身份提供商进行身份验证以访问 Snowflake 连接。

5. 确保 Data Wrangler 应用程序允许使用授权码和刷新令牌授予类型。

要设置服务器，请执行以下操作。你正在在 Snowflake 中执行除最后一个步骤之外的所有步骤。

1. 开始设置服务器或 API。

2. 将授权服务器配置为使用授权码和刷新令牌授予类型。

3. 指定访问令牌的生命周期。

4. 设置刷新令牌空闲超时。空闲超时是指刷新令牌在未使用时过期的时间。

   注意

   如果您在 Data Wrangler 中调度作业，我们建议将空闲超时时间设置为大于处理作业的频率。否则，某些处理任务可能会失败，因为刷新令牌在运行之前已过期。刷新令牌到期后，用户必须通过访问他们通过 Data Wrangler 与 Snowflake 建立的连接来重新进行身份验证。

5. 指定session:role-any为新范围。

   注意

   对于 Azure AD，复制作用域的唯一标识符。Data Wrangler 要求您向其提供标识符。

6. 重要

   在 Snowflake 的外部 OAuth 安全集成中，启用。external_oauth_any_role_mode

1. 要允许您的数据科学家从 SageMaker Data Wrangler 访问 Snowflake，请向他们提供以下内容之一：

   • 对于基本身份验证，Sowflake 帐户名、用户名称和密码。

   • 对于 OAuth，身份提供商中的用户名和密码。

   • 对于 ARN，Secrets Manager 会将亚马逊资源名称 (ARN) 保密。

   • 使用密钥管理器和Amazon密钥的 ARN 创建的密钥。如果您选择此选项，请使用以下步骤为 Snowflake 创建密钥。

     重要

     如果您的数据科学家使用 Snowflake 凭证（用户名和密码）选项连接到 Snowflake，则可以使用 Snowflake Secrets Manager 将凭据存储在密钥中。Secrets Manager 会作为最佳实践安全计划的一部分轮换密钥。只有在设置 Studio 用户配置文件时配置了 Studio 角色后，才能访问在密Secrets Manager 中创建的密钥。这需要您将此权限添加到附加到您的 Studio 角色的策略中。secretsmanager:PutResourcePolicy

     我们强烈建议您将角色策略的范围限制为不同的 Studio 用户组使用不同的角色。您可以为 Secrets Manager 密钥添加基于资源的额外权限。有关您可以使用的条件密钥，请参阅管理密钥策略。

     有关创建密钥的信息，请参阅创建密钥。你需要为自己创建的秘密付费。

2. 向数据科学家提供您在步骤 3：在 S nowflake 中创建云存储集成中创建的存储集成的名称。这是新集成的名称，在您运行的 CREATE INTEGRATION SQL 命令integration_name中调用，如以下代码段所示：

   
     CREATE STORAGE INTEGRATION integration_name
     TYPE = EXTERNAL_STAGE
     STORAGE_PROVIDER = S3
     ENABLED = TRUE
     STORAGE_AWS_ROLE_ARN = 'iam_role'
     [ STORAGE_AWS_OBJECT_ACL = 'bucket-owner-full-control' ]
     STORAGE_ALLOWED_LOCATIONS = ('s3://bucket/path/', 's3://bucket/path/')
     [ STORAGE_BLOCKED_LOCATIONS = ('s3://bucket/path/', 's3://bucket/path/') ]
                                

要打开 Studio 并检查其版本，请参阅以下步骤。

1. 使用中的步骤通过亚马逊SageMaker工作先决条件室访问 Data Wrangler。

2. 在您要用来启动 Studio 的用户旁边，选择启动应用程序。

3. 选择工作室。

4. 加载 Studio 后，依次选择文件、新建和终端。

   

5. 启动 Studio 后，依次选择文件、新建和终端。

6. 输入cat /opt/conda/share/jupyter/lab/staging/yarn.lock | grep -A 1 "@amzn/sagemaker-ui-data-prep-plugin@"以打印您的 Studio 实例的版本。您必须拥有 Studio 版本 1.3.0 才能使用 Snowflake。

   

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": "glue:SearchTables",
            "Resource": [
                "arn:aws:glue:*:*:table/*/*",
                "arn:aws:glue:*:*:database/*",
                "arn:aws:glue:*:*:catalog"
            ]
        }
    ]
}   

要连接到数据源，请执行以下操作。

1. 登录亚马逊SageMaker控制台。

2. 选择工作室。

3. 选择启动应用程序。

4. 从下拉列表中选择 Studio。

5. 选择主选标记标。

6. 选择 Data (数据)。

7. 选择 Data Wrangler。

8. 选择导入数据。

9. 在 “可用” 下，选择数据源。

10. 在 Name 字段中，指定连接的名称。

11. （可选）选择高级配置。

    1. 选择一个工作组。

    2. 如果您的工作组尚未强制执行 Amazon S3 输出位置，或者您未使用工作组，请为 Amazon S3 的查询结果位置指定一个值。

    3. （可选）对于数据保留期，选中复选框以设置数据保留期并指定在删除数据之前存储数据的天数。

    4. （可选）默认情况下，Data Wrangler 会保存连接。您可以选择取消选中该复选框而不保存连接。

12. 选择 Connect（连接）。

13. 指定查询。

    注意

    为了帮助您指定查询，可以在左侧导航面板上选择一个表。Data Wrangler 显示表名称和表格的预览。选择表名称旁边的图标复制名称。可以在查询中使用表名。

14. 选择 运行。

15. 选择导入查询。

16. 对于数据集名称，指定数据集的名称。

17. 选择 Add（添加）。