开始使用 Data Wrangler

1. 完成每个步骤先决条件。

2. 按照中的步骤访问数据管理器开始使用 Data Wrangler。

1. 要使用 Data Wranger，您需要访问Amazon EC2）实例。有关您可以使用的 Amazon EC2 实例的更多信息，请参阅 “”实例” 要了解如何查看您的配额并在必要时申请增加配额，请参阅Amazon服务配额。

2. 配置中所述的所需权限安全和权限。

要在 Studio 中访问 Data Wrangler，请执行以下操作。

1. 登录到 Studio。有关更多信息，请参阅加入亚马逊 SageMaker 域名：

2. 选择工作室。

3. 选择 “启动应用程序”。

4. 从下拉列表中选择 Studio。

5. 选择主页图标。

6. 选择 Data (数据)。

7. 选择 Data Wrangler。

8. 您还可以通过执行以下操作创建 Data Franger 流程。

   1. 在顶部导航栏中，选择文件。

   2. 选择 “新建”。

   3. 选择 Data Wrangler Flow。

   

9. （可选）重命名新目录和.flow 文件。

10. 当你在 Studio 中创建新的.flow 文件时，你可能会看到一个向你介绍 Data Wrangler 的旋转木马。

    这可能需要几分钟时间。

    只要您的用户详细信息页面上的KernelGateway应用程序处于待处理状态，此消息就会一直存在。要查看此应用程序的状态，请在 SageMaker 控制台的 Amazon SageMaker Studio 页面上，选择您用于访问 Studio 的用户的姓名。在 “用户详细信息” 页面上，您会在 “KernelGateway应用程序” 下看到一个应用程序。等到此应用程序状态为 “准备就绪” 开始使用 Data Wrangler。首次启动 Data Wrangler 时，这可能需要大约 5 分钟。

    

11. 首先，请选择一个数据源并使用它来导入数据集。导入要了解更多信息，请参阅。

    当您导入数据集时，它会出现在您的数据流中。要了解更多信息，请参阅 创建和使用 Data Wrangler 流程。

12. 导入数据集后，Data Wrangler 会自动推断每列中的数据类型。选择 “数据类型” 步骤旁边的 +，然后选择 “编辑数据类型”。

    重要

    将转换添加到 “数据类型” 步骤后，您无法使用更新类型批量更新列类型。

13. 使用数据流添加变换和分析。要了解更多信息转换数据，请参阅和分析和可视化。

14. 要导出完整的数据流，请选择导出并选择导出选项。要了解更多信息，请参阅 Export。

15. 最后，选择组件和注册表图标，然后从下拉列表中选择 Data Wrangler 以查看您创建的所有.flow 文件。您可以使用此菜单查找数据流并在数据流之间移动。

将泰坦尼克号数据集导入 Data Wrangler

1. 在 “数据流” 选项卡中选择 “导入数据” 按钮或选择 “导入” 选项卡。

2. 选择 Amazon S3。

3. 使用 “从 S3 导入数据集” 表查找您向其中添加 Titanic 数据集的存储桶。选择 Titanic 数据集 CSV 文件打开详细信息窗格。

4. 在 “详细信息” 下，文件类型应为 CSV。选中第一行是标题以指定数据集的第一行是标题。您也可以将数据集命名为更友好的名称，例如Titanic-train。

5. 选择 “导入” 按钮。

1. 选择数据流中 “数据类型” 步骤旁边的 +，然后选择 “添加分析”。

2. 在分析区域中，从下拉列表中选择表格摘要。

3. 为表格摘要命名。

4. 选择 “预览” 以预览将要创建的表。

5. 选择 “保存” 将其保存到您的数据流中。它出现在 “所有分析” 下。

删除未使用的列。

1. 打开 Data Wrangler 流程。

2. 你的 Data Wrangler 流程中有两个节点。选择 “数据类型” 节点右侧的 +。

3. 选择 “添加转换”。

4. 在所有步骤列中，选择添加步骤。

5. 在标准转换列表中，选择管理列。标准转换是现成的内置转换。确保选择 “删除” 列。

6. 在 “要删除的列” 下，检查以下列名：

   • 舱

   • 票

   • name

   • sibsp

   • 烘干

   • 主页.dest

   • 船

   • body

7. 选择 “预览”。

8. 验证列是否已删除，然后选择 “添加”。

1. 在所有步骤列中，选择添加步骤。

2. 在 “自定义转换” 列表中，选择 “自定义转换”。

3. 为您的转换提供一个名称，然后从下拉列表中选择 Python (Pandas)。

4. 在代码框中输入以下 Python 脚本。

   cols = ['name', 'ticket', 'cabin', 'sibsp', 'parch', 'home.dest','boat', 'body']
   df = df.drop(cols, axis=1)

5. 选择 “预览” 以预览更改，然后选择 “添加” 以添加转换。

1. 选择 “处理缺失”。

2. 为 “变形金刚” 选择 “丢失了”。

3. 为输入列选择年龄。

4. 选择 “预览” 以查看新的数据框，然后选择 “添加” 将转换添加到您的流程中。

5. 对票价重复同样的流程。

1. 在 “自定义变换” 部分中，从下拉列表中选择 Python (Pandas)。

2. 在代码框中输入以下内容。

   import pandas as pd
   
   dummies = []
   cols = ['pclass','sex','embarked']
   for col in cols:
       dummies.append(pd.get_dummies(df[col]))
       
   encoded = pd.concat(dummies, axis=1)
   
   df = pd.concat((df, encoded),axis=1)

3. 选择 “预览” 以预览更改。将每列的编码版本添加到数据集中。

4. 选择 “添加” 以添加转换。

1. 在 “自定义转换” 部分中，从下拉列表中选择 PySpark SQL (SQL)。

2. 在代码框中输入以下内容。

   SELECT survived, age, fare, 1, 2, 3, female, male, C, Q, S FROM df;

3. 选择 “预览” 以预览更改。您的SELECT声明中列出的列是唯一剩下的列。

4. 选择 “添加” 以添加转换。

1. 保存您的数据流。选择 “文件”，然后选择 “保存 Data Wrangler Flow”。

2. 返回 “数据流” 选项卡，选择数据流 (SQL) 中的最后一步，然后选择 + 以打开导航。

3. 选择 “导出”，然后选择 Amazon S3（通过 Jupyter 笔记本）。这将打开 Jupyter 笔记本。

   

4. 为内核选择任意 Python 3（数据科学）内核。

5. 内核启动时，运行笔记本中的单元格，直到启动 SageMaker 训练Job（可选）。

6. 或者，如果您想创建 SageMaker训练作业来训练 XGBoost 分类器，则可以在 Kickoff Training Job（可选）中运行单元格。 SageMaker您可以在亚马逊 SageMaker 定价中找到 SageMaker 开展培训工作的费用。

   或者，您可以将笔记本中的训练 xgBoost 分类器代码块添加到笔记本中并运行它们以使用 XGBoost 开源库来训练 XgBoost 分类器。

7. 取消注释并在 “清理” 下运行该单元格，然后运行它以将 SageMaker Python SDK 恢复到其原始版本。

1. 首先，使用pip _SUCCESS文件升级必要的模块（使用时最后一个文件有问题awswrangler）。

   ! pip install --upgrade awscli awswrangler boto sklearn
   ! aws s3 rm {output_path} --recursive  --exclude "*" --include "*_SUCCESS*"

2. 从 Amazon S3) 读取数据。您可以使用递awswrangler归读取 S3 前缀中的所有 CSV 文件。然后将数据拆分为要素和标签。标签是数据框的第一列。

   import awswrangler as wr
   
   df = wr.s3.read_csv(path=output_path, dataset=True)
   X, y = df.iloc[:,:-1],df.iloc[:,-1]

   • 最后，创建 DMatrices（数据的 xgBoost 原始结构），然后使用 xgBoost 二进制分类进行交叉验证。

     import xgboost as xgb
     
     dmatrix = xgb.DMatrix(data=X, label=y)
     
     params = {"objective":"binary:logistic",'learning_rate': 0.1, 'max_depth': 5, 'alpha': 10}
     
     xgb.cv(
         dtrain=dmatrix, 
         params=params, 
         nfold=3,
         num_boost_round=50,
         early_stopping_rounds=10,
         metrics="rmse", 
         as_pandas=True, 
         seed=123)