导入

从 Athena 将数据集导入 Data Wrangler

1. 在存储库的导入数据屏幕上，选择Amazon Athena.

2. 适用于Data Catalog中，选择一个数据目录。

3. 使用数据库下拉列表以选择要查询的数据库。选择数据库时，可以使用表s 在下面列出详细信息.

4. 选择高级配置.

   启用采样默认处于选中状态。激活采样后，Data Wrangler 会对查询的数据进行采样并导入大约 50％。取消选中此复选框可关闭采样。

5. 指定的值工作组如果您使用的是。

6. 在查询编辑器中输入您的查询，然后使用运行按钮来运行查询。成功查询后，您可以在编辑器下预览结果。

7. 要导入查询结果，请选择导入.

连接到 Amazon Redshift 集群

1. 选择 Import (导入)。

2. 选择+下添加数据连接.

3. 选择Amazon Redshift.

4. 选择临时证书 (IAM)为了类型.

5. 输入连接名称. 这是 Data Wrangler 用来识别此连接的名称。

6. 输入Cluster Identifier指定要连接到哪个集群。注意：仅输入集群标识符，而不是 Amazon Redshift 集群的完整端点。

7. 输入Database Name要连接到的数据库的数据库。

8. 输入数据库用户以确定要用于连接到数据库的用户。

9. 适用于卸载 IAM 角色中，输入 Amazon Redshift 集群在向 Amazon S3 移动和写入数据时应担任的角色的 IAM 角色 ARN。有关该角色的更多信息，请参阅授权 Amazon Redshift 访问其他Amazon代表您提供服务在 Amazon Redshift 集群管理指南中。

10. 选择 Connect（连接）。

11. （可选）对于Amazon S3 输出位置中，指定 S3 URI 以存储查询结果。

12. （可选）对于KMS 密钥 ID，指定的 ARNAmazon KMS密钥或别名。下图显示了在哪里可以在Amazon Web Services Management Console.

    

从 Redshift 查询和导入数据

1. 选择要查询的连接数据源.

2. 选择架构. 要了解有关 Amazon Redshift 模式的更多信息，请参阅Schemas在 Amazon Redshift 数据库开发人员指南中。

3. UNDER高级配置、启用采样默认处于选中状态。如果不取消选中此框，Data Wrangler 会对查询的数据进行抽样并导入大约 50％ 的查询数据。取消选中此复选框可关闭采样。

4. 在查询编辑器中输入您的查询，然后使用运行按钮来运行查询。成功查询后，您可以在编辑器下预览结果。

5. Select导入数据集以导入已查询的数据集。

6. 输入数据集名称. 如果你添加数据集名称如果包含空格，则导入数据集时，这些空格将被下划线替换为下划线。

7. 选择 Add（添加）。

要将权限授予 Secrets Manager，请执行以下操作。

1. 登录 Amazon Web Services Management Console，然后通过以下网址打开 IAM 控制台：https://console.aws.amazon.com/iam/。

2. 选择 Roles（角色）。

3. 在搜索栏中，指定亚马逊 SageMaker Amazon 的执行角色 SageMaker 工作室正在使用。

4. 选择 角色。

5. 选择 Add permissions（添加权限）。

6. 选择创建内联策略.

7. 适用于服务，请指定Secrets Manager然后选择它。

8. 适用于操作中，选择旁边的箭头图标权限管理.

9. 选择PutResourcePolicy.

10. 适用于资源，选择特定.

11. 选中旁边的复选框此账户中的任何.

12. 选择 Review policy (审核策略)。

13. 适用于名称，指定名称。

14. 选择 Create policy（创建策略）。

要从 Databricks 导入数据，请执行以下操作。

1. 登录Amazon SageMaker 控制台.

2. 选择工作室.

3. 选择启动应用.

4. 从下拉菜单中，选择工作室.

5. 从导入数据数据 Wrangler 流程的选项卡，选择添加数据源.

6. SelectDatabricks (JDBC).

   

7. 指定以下字段：

   • 数据集名称— 要用于 Data Wrangler 流中的数据集的名称。

   • 驱动程序–com.simba.spark.jdbc.驱动程序.

   • JDBC URL— Databricks 数据库的 URL。Databricks 实例的 URL 格式可能会有所不同。有关查找 URL 并在其中指定参数的信息，请参阅JDBC 配置和连接参数. 以下是如何格式化 URL 的示例：jdbc: spark: //aws-sagemaker-datawrangler.cloud.data ricks.com:443/ 默认; 传输模式 = HTTP; ssl=1; HTTPath = SQL/协议 v1/O/3121950175/0909-200301-cut318; authmech=3; UIDH=1; httppath=SQL/协议v1/O3261950175/0909-200301-cut318; uidmech=3代币; PWD=个人访问令牌.

8. 指定 SQL SELECT 语句。

9. （可选）启用采样使用数据集的前 50,000 行。这是导入数据的默认设置。对于大型数据集，如果不对数据进行采样，可能需要很长时间才能导入数据。要导入整个数据集，请关闭采样。

10. 选择 Run（运行）。下图显示了激活采样的查询。

    

11. （可选）对于预览，选择要打开的齿轮分区设置. 下图显示了指定了可选数据分区设置的查询。

    

    1. 指定分区的数量。如果指定分区数，则可以按列进行分区：

       • 输入分区数— 指定一个大于 2 的值。

       • （可选）按列分区— 指定以下字段。如果指定了值，则只能按列进行分区输入分区数.

         • Select 列— 用于数据分区的列。列的数据类型必须是数字或日期。

         • 上限— 从你指定的列中的值中，你在分区中使用的上限值。您指定的值不会更改要导入的数据。它只会影响导入的速度。为了获得最佳性能，请指定接近列最大值的上限。

         • 下限— 从你指定的列中的值中，你在分区中使用的下限值。您指定的值不会更改要导入的数据。它只会影响导入的速度。为了获得最佳性能，请指定接近该列最低值的下限。

12. 选择 Import (导入)。

1. 配置 S3 存储桶的访问权限。

   Amazon访问控制要求

   Snowflake 需要对 S3 存储桶和目录具有以下权限才能访问目录中的文件。

   • s3:GetObject

   • s3:GetObjectVersion

   • s3:ListBucket

   • s3:ListObjects

   • s3:GetBucketLocation

   创建 IAM 策略

   以下步骤介绍了如何在您的Amazon管理控制台以便您可以使用 S3 存储桶加载和卸载数据：

   • 登录到Amazon管理控制台。

   • 从主控制面板中，选择IAM.

     

   • 选择策略。

   • 请选择创建策略。

     

   • 选择 JSON 选项卡。

   • 添加允许 Snowflake 访问 S3 存储桶和目录的策略文档。

     以下策略（JSON 格式）为 Snowflake 提供了使用单个存储桶和目录路径加载和卸载数据所需的权限。请确保更换bucket和prefix带有实际存储桶名称和目录路径前缀。

     # Example policy for S3 write access
     # This needs to be updated
     {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Effect": "Allow",
         "Action": [
             "s3:PutObject",
             "s3:GetObject",
             "s3:GetObjectVersion",
             "s3:DeleteObject",
             "s3:DeleteObjectVersion"
         ],
         "Resource": "arn:aws:s3:::bucket/prefix/*"
       },
       {
         "Effect": "Allow",
         "Action": [
             "s3:ListBucket"
         ],
         "Resource": "arn:aws:s3:::bucket/",
         "Condition": {
             "StringLike": {
                 "s3:prefix": ["prefix/*"]
             }
         }
       }
      ]
     }

   • 选择 Next:。标签。

   • 选择 Next:。审核。

     输入策略名称（如snowflake_access）和可选的描述。选择 Create policy（创建策略）。

     

2. 在创建 IAM 角色Amazon.

3. 在 Snowflake 中创建云存储集成.

4. 检索Amazon您的 Snowflake 账户的 IAM 用户.

5. 授予 IAM 用户访问存储桶的权限.

6. 向数据科学家的 Snowflake 角色授予存储集成使用权限。

   • 在 Snowflake 控制台中，运行GRANT USAGE ON INTEGRATION integration_name TO snowflake_role;

     • integration_name是存储集成的名称。

     • snowflake_role默认值的名称Snowflake 角色给数据科学家用户。

1. 允许数据科学家访问 Snowflake SageMaker Data Wrangler，为他们提供以下服务之一：

   • Snowflake 帐户名称、用户名称和密码。

   • 用创建的秘密AmazonSecrets Manager和密钥的 ARN。如果选择此选项，请使用以下步骤为 Snowflake 创建秘密。

     重要

     如果你的数据科学家使用Snowflake 凭证 (用户名和密码)选项连接到 Snowflake，请注意Secrets Manager用于将证书存储在密钥中，并作为最佳实践安全计划的一部分轮换密钥。只有在设置 Studio 用户配置文件时配置的 Studio 角色才能访问在 Secret Secrets Manager 中创建的密钥。这需要您添加此权限，secretsmanager:PutResourcePolicy附加到 Studio 角色的策略。

     我们强烈建议您将角色策略的范围限定为不同的 Studio 用户组使用不同的角色。您可以为 Secrets Manager 添加其他基于资源的权限。请参阅管理秘密策略对于您可以使用的条件键。

     • 为 Snowflake 创建 Secrets Manager 密钥.

       • 登录到Secrets Manager 控制台.

       • 选择 Store a new secret (存储新密钥)。

       • 在选择密钥类型部分，选择其他密钥类型.

         

       • 将自定义密钥的详细信息指定为键值对。密钥的名称区分大小写：username密钥必须username，密码密钥必须是password，并且账户 ID 密钥必须是accountid. 如果您输入的任何错误，Data Wrangler 将引发错误。的报价username、password, 和accountid如果您使用的是密钥值，则不是必需的。或者，您可以选择明文选项卡，然后在 JSON 中输入密钥值，如以下示例所示：

         {
                 "username": "snowflake username",
                 "password": "snowflake password",
                 "accountid": "snowflake accountid"
         }                                                   

       • 选择下一步，然后在下面的屏幕上，在你的秘密名称前加上AmazonSageMaker-. 此外，使用密钥添加标签 SageMaker （不带引号）和值：true（不带引号）。其余字段是可选的。您可以滚动到页面底部并选择下一步. 屏幕的其余部分是可选的。选择下一步 直到秘密被存储。

         

       • 选择密钥名称并保存密钥的 ARN。选择 Store (存储)。

       • 选择您创建的密钥。

         

       • 你在屏幕上看到你的 ARN。如果数据科学家正在使用 ARN 连接到 Snowflake，请向他们提供 ARN。

         

2. 向数据科学家提供您在步骤 3 中创建的存储集成的名称：在 Snowflake 中创建云存储集成. 这是新集成的名称，被称为integration_name中的CREATE INTEGRATION您运行的 SQL 命令，如以下代码段所示：

   
     CREATE STORAGE INTEGRATION integration_name
     TYPE = EXTERNAL_STAGE
     STORAGE_PROVIDER = S3
     ENABLED = TRUE
     STORAGE_AWS_ROLE_ARN = 'iam_role'
     [ STORAGE_AWS_OBJECT_ACL = 'bucket-owner-full-control' ]
     STORAGE_ALLOWED_LOCATIONS = ('s3://bucket/path/', 's3://bucket/path/')
     [ STORAGE_BLOCKED_LOCATIONS = ('s3://bucket/path/', 's3://bucket/path/') ]
                                

要打开 Studio 并检查其版本，请参阅以下过程。

1. 使用中的步骤先决条件通过亚马逊访问 Data Wrangler SageMaker Studio。

2. 在要用于启动 Studio 的用户旁边，选择启动应用.

3. 选择工作室.

4. 加载 Studio 后，选择File (文件)，那么New，然后终端.

   

5. 启动 Studio 后，选择File (文件)，那么New，然后终端.

6. Entercat /opt/conda/share/jupyter/lab/staging/yarn.lock | grep -A 1 "@amzn/sagemaker-ui-data-prep-plugin@"以打印 Studio 实例的版本。要使用 Snowflake，您必须拥有 Studio 1.3.0 版本。

   

要检查 Studio 版本，请执行以下操作。

1. 如果你没有此版本，请更新你的 Studio 版本。为此，请关闭 Studio 窗口并导航到SageMaker Studio 控制台.

2. 接下来，选择用于访问 Studio 的用户，然后选择删除应用. 删除完成后，通过选择选择重新启动 Studio打开工作室.

   

3. 再次按照步骤 3 验证您的 Studio 版本是 1.3.0。

1. 从 Data Wrangler 内部创建新的数据流

   从 Studio 中访问 Data Wrangler 并拥有 1.3.0 版本后，请选择+登录新的数据流下卡ML 任务和组件. 这将在 Studio 中创建一个包含 .flow 文件的新目录，其中包含数据流。.flow 文件将在 Studio 中自动打开。

   

   或者，您也可以通过选择创建新流程。File (文件)，那么New，然后选择流.

   

   在 Studio 中创建新的 .flow 文件时，您可能会在 Data Wrangler 界面顶部看到一条消息，其中显示：

   连接到引擎

   正在建立与引擎的连接...

   

2. Connect 到雪花。

   可通过两种方式从 Data Wrangler 内部连接到 Snowflake。你只需要选择两种方法中的一种。

   1. 在 Data Wrangler 中指定 Snowflake 凭据（帐户名称、用户名和密码）。

   2. 提供密钥的 Amazon 资源名称 (ARN)。

   重要

   如果你没有 Snowflake 凭据或 ARN，请联系管理员。管理员可以告诉你以上哪种方法连接到 Snowflake。

   从 “开始”导入数据屏幕然后首先选择添加数据源从下拉菜单中，选择雪花. 以下屏幕截图说明了在哪里可以找到雪花选项。