开始使用 Data Wrangler

1. 完成 先决条件 中的每个步骤。

2. 按照 访问 Data Wrangler 中的步骤开始使用 Data Wrangler。

1. 要使用 Data Wrangler，您需要访问 Amazon Elastic Compute Cloud (Amazon EC2) 实例。有关可使用的 Amazon EC2 实例的更多信息，请参阅 实例。要了解如何查看配额以及根据需要申请增加配额，请参阅 Amazon 服务限额。

2. 配置 安全和权限 中介绍的必要权限。

3. 如果您所在企业使用的是阻止互联网流量的防火墙，则您必须有权访问以下 URL：

   • https://ui.prod-1.data-wrangler.sagemaker.aws/

   • https://ui.prod-2.data-wrangler.sagemaker.aws/

   • https://ui.prod-3.data-wrangler.sagemaker.aws/

   • https://ui.prod-4.data-wrangler.sagemaker.aws/

要在 Studio 中访问 Data Wrangler，请执行以下操作。

1. 登录 Studio。有关更多信息，请参阅 加入 Amazon SageMaker 域。

2. 选择 Studio。

3. 选择启动应用程序。

4. 从下拉列表中选择 Studio。

5. 选择主页图标。

6. 选择数据。

7. 选择 Data Wrangler。

8. 您也可以执行以下操作，来创建 Data Wrangler 流。

   1. 在顶部导航栏中，选择文件。

   2. 选择新建。

   3. 选择 Data Wrangler 流。

   

9. （可选）重命名新目录和 .flow 文件。

10. 在 Studio 中创建新的 .flow 文件时，您可能会看到一个介绍 Data Wrangler 的轮播。

    该过程可能需要几分钟。

    只要您的用户详细信息页面上的 KernelGateway 应用程序处于待处理状态，该消息就会一直存在。要查看此应用程序的状态，请在 Amazon SageMaker Studio 页面上的 SageMaker 控制台中，选择用于访问 Studio 的用户名。在用户详细信息页面上，您可以在应用程序下方看到 KernelGateway 应用程序。等待此应用程序状态变为准备就绪，再开始使用 Data Wrangler。首次启动 Data Wrangler 时，可能需要大约 5 分钟时间。

    

11. 要开始使用，请选择一个数据来源并使用它导入数据集。要了解更多信息，请参阅 导入。

    导入数据集时，该数据集会显示在您的数据流中。要了解更多信息，请参阅创建和使用 Data Wrangler 流。

12. 导入数据集后，Data Wrangler 会自动推断每个列中的数据类型。选择数据类型步骤旁边的 +，然后选择编辑数据类型。

    重要

    在数据类型步骤中添加转换后，您无法使用更新类型批量更新列类型。

13. 使用数据流添加转换和分析。要了解更多信息，请参阅 转换数据 和 分析和可视化。

14. 要导出完整的数据流，请选择导出，然后选择导出选项。要了解更多信息，请参阅导出。

15. 最后，选择组件和注册表图标，然后从下拉列表中选择 Data Wrangler，以查看您创建的所有 .flow 文件。可以使用此菜单在数据流之间查找和移动。

将 Titanic 数据集导入到 Data Wrangler

1. 在数据流选项卡中选择导入数据按钮，或者选择导入选项卡。

2. 选择 Amazon S3。

3. 使用从 S3 导入数据集表，查找已将 Titanic 数据集添加到的存储桶。选择 Titanic 数据集 CSV 文件以打开详细信息窗格。

4. 在详细信息下，文件类型应该为 CSV。选中第一行是标题，指定数据集的第一行是标题。您还可以将数据集命名为更友好的名称，例如 Titanic-train。

5. 选择导入按钮。

1. 选择数据流中数据类型步骤旁边的 +，然后选择添加分析。

2. 在分析区域中，从下拉列表中选择表摘要。

3. 为表摘要指定名称。

4. 选择预览以预览将要创建的表。

5. 选择保存，将其保存到您的数据流中。数据显示在所有分析下。

删除未使用的列。

1. 打开 Data Wrangler 流。

2. Data Wrangler 流中有两个节点。选择数据类型节点右侧的 +。

3. 选择添加转换。

4. 在所有步骤列中，选择添加步骤。

5. 在标准转换列表中，选择管理列。标准转换是现成的内置转换。确保选中删除列。

6. 在要删除的列下，选中以下列名：

   • cabin

   • ticket

   • name

   • sibsp

   • parch

   • home.dest

   • boat

   • body

7. 选择预览。

8. 验证这些列是否已删除，然后选择添加。

1. 在所有步骤列中，选择添加步骤。

2. 在自定义转换列表中，选择自定义转换。

3. 为您的转换提供名称，然后从下拉列表中选择 Python (Pandas)。

4. 在代码框中输入以下 Python 脚本。

   cols = ['name', 'ticket', 'cabin', 'sibsp', 'parch', 'home.dest','boat', 'body']
   df = df.drop(cols, axis=1)

5. 选择预览以预览更改，然后选择添加以添加转换。

1. 选择处理缺失值。

2. 为转换器选择删除缺失值。

3. 为输入列选择 age。

4. 选择预览查看新的数据框，然后选择添加，将转换添加到您的流中。

5. 对 fare 重复同样的过程。

1. 在自定义转换部分中，从下拉列表中选择 Python (Pandas)。

2. 在代码框中，输入以下内容。

   import pandas as pd
   
   dummies = []
   cols = ['pclass','sex','embarked']
   for col in cols:
       dummies.append(pd.get_dummies(df[col]))
       
   encoded = pd.concat(dummies, axis=1)
   
   df = pd.concat((df, encoded),axis=1)

3. 选择预览以预览更改。将每个列的编码版本添加到数据集内。

4. 选择添加来添加转换。

1. 在自定义转换部分中，从下拉列表中选择 SQL (PySpark SQL)。

2. 在代码框中，输入以下内容。

   SELECT survived, age, fare, 1, 2, 3, female, male, C, Q, S FROM df;

3. 选择预览以预览更改。您的 SELECT 语句中列出的列仅仅是剩余的列。

4. 选择添加来添加转换。

1. 保存数据流。选择文件，然后选择保存 Data Wrangler 流。

2. 返回到数据流选项卡，选择数据流 (SQL) 中的最后一步，然后选择 + 以打开导航。

3. 选择导出，然后选择 Amazon S3（通过 Jupyter 笔记本）。这将打开 Jupyter 笔记本。

   

4. 为内核选择任何 Python 3 (Data Science) 内核。

5. 当内核启动时，运行笔记本工作簿中的单元格，直到启动 SageMaker 训练作业（可选）。

6. 或者，如果您希望创建 SageMaker 训练作业来训练 XGBoost 分类器，可以在启动 SageMaker 训练作业（可选）中运行单元格。您可以在 Amazon SageMaker 定价中，找到运行 SageMaker 训练作业的成本。

   或者，您可以将 训练 XGBoost 分类器 中的代码块添加到笔记本中并运行，以使用 XGBoost 开源库来训练 XGBoost 分类器。

7. 取消注释并在清理下运行单元格，然后运行它以将 SageMaker Python SDK 恢复到原始版本。

1. 首先，使用 pip 升级必要的模块，然后删除 _SUCCESS 文件（最后一个文件在使用 awswrangler 时有问题）。

   ! pip install --upgrade awscli awswrangler boto sklearn
   ! aws s3 rm {output_path} --recursive  --exclude "*" --include "*_SUCCESS*"

2. 从 Amazon S3 读取数据。可以使用 awswrangler 递归读取 S3 前缀中的所有 CSV 文件。然后，将数据拆分为特征和标签。标签是数据框的第一列。

   import awswrangler as wr
   
   df = wr.s3.read_csv(path=output_path, dataset=True)
   X, y = df.iloc[:,:-1],df.iloc[:,-1]

   • 最后，创建 DMatrices（数据的 XGBoost 基元结构），然后使用 XGBoost 二进制分类执行交叉验证。

     import xgboost as xgb
     
     dmatrix = xgb.DMatrix(data=X, label=y)
     
     params = {"objective":"binary:logistic",'learning_rate': 0.1, 'max_depth': 5, 'alpha': 10}
     
     xgb.cv(
         dtrain=dmatrix, 
         params=params, 
         nfold=3,
         num_boost_round=50,
         early_stopping_rounds=10,
         metrics="rmse", 
         as_pandas=True, 
         seed=123)