使用 SageMaker 组件

1. 按照 Kubeflow Pipelines 文档中的说明安装 KFP SDK。

2. 使用以下命令验证是否已安装 KFP SDK：

   pip show kfp

3. 验证是否已正确安装 dsl-compile，如下所示：

   which dsl-compile

1. 使用您的 Amazon S3 存储桶名称和 IAM 角色 ARN 修改 Python 文件。

2. 使用命令行中的 dsl-compile 命令按如下方式编译管道。将 <path-to-python-file> 替换为管道的路径，将 <path-to-output> 替换为要将 tar.gz 文件放入的位置。

   dsl-compile --py <path-to-python-file> --output <path-to-output>

1. 按如下方式上传管道：

   kfp pipeline upload --pipeline-name <pipeline-name> <path-to-output-tar.gz>

   您的输出应与以下内容类似。记下管道 ID。

   Pipeline 29c3ff21-49f5-4dfe-94f6-618c0e2420fe has been submitted
   
   Pipeline Details
   ------------------
   ID           29c3ff21-49f5-4dfe-94f6-618c0e2420fe
   Name         sm-pipeline
   Description
   Uploaded at  2020-04-30T20:22:39+00:00
   ...
   ...

2. 使用以下命令创建运行。KFP CLI 运行命令目前不支持在创建运行时指定输入参数。进行编译之前，您需要更新 Amazon SDK for Python (Boto3) 管道文件中的参数。将 <experiment-name> 和 <job-name> 替换为任意名称。将 <pipeline-id> 替换为所提交管道的 ID。将 <your-role-arn> 替换为 kfp-example-pod-role 的 ARN。将 <your-bucket-name> 替换为所创建 Amazon S3 存储桶的名称。

   kfp run submit --experiment-name <experiment-name> --run-name <job-name> --pipeline-id <pipeline-id> role_arn="<your-role-arn>" bucket_name="<your-bucket-name>"

   您也可以使用作为 dsl-compile 命令输出创建的已编译管道包直接提交运行。

   kfp run submit --experiment-name <experiment-name> --run-name <job-name> --package-file <path-to-output> role_arn="<your-role-arn>" bucket_name="<your-bucket-name>"

   您的输出应与以下内容类似：

   Creating experiment aws.
   Run 95084a2c-f18d-4b77-a9da-eba00bf01e63 is submitted
   +--------------------------------------+--------+----------+---------------------------+
   | run id                               | name   | status   | created at                |
   +======================================+========+==========+===========================+
   | 95084a2c-f18d-4b77-a9da-eba00bf01e63 | sm-job |          | 2020-04-30T20:36:41+00:00 |
   +--------------------------------------+--------+----------+---------------------------+

3. 导航到 UI 以检查作业的进度。

1. 在左侧面板上，选择管道选项卡。

2. 在右上角选择 +UploadPipeline。

3. 输入管道名称和描述。

4. 选择上传文件，然后输入您使用 CLI 或使用 Amazon SDK for Python (Boto3) 创建的 tar.gz 文件的路径。

5. 在左侧面板上，选择管道选项卡。

6. 找到您创建的管道。

7. 选择 +CreateRun。

8. 输入您的输入参数。

9. 选择运行。

要使用任何其他计算机运行预测，请为客户端计算机使用的 IAM 角色分配 sagemaker:InvokeEndpoint 权限。

1. 在您的网关节点上，运行以下命令以创建 IAM 策略文件：

   cat <<EoF > ./sagemaker-invoke.json
   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "sagemaker:InvokeEndpoint"
               ],
               "Resource": "*"
           }
       ]
   }
   EoF

2. 将策略附加到客户端节点的 IAM 角色。

   运行以下命令。将 <your-instance-IAM-role> 替换为 IAM 角色的名称。将 <path-to-sagemaker-invoke-json> 替换为所创建策略文件的路径。

   aws iam put-role-policy --role-name <your-instance-IAM-role> --policy-name sagemaker-invoke-for-worker --policy-document file://<path-to-sagemaker-invoke-json>

1. 在客户端计算机上创建一个名为 mnist-predictions.py 且包含以下内容的 Amazon SDK for Python (Boto3) 文件。替换 ENDPOINT_NAME 变量。该脚本加载 MNIST 数据集，根据这些数字创建 CSV，然后将 CSV 发送到端点进行预测并打印结果。

   import boto3
   import gzip
   import io
   import json
   import numpy
   import pickle
   
   ENDPOINT_NAME='<endpoint-name>'
   region = boto3.Session().region_name
   
   # S3 bucket where the original mnist data is downloaded and stored
   downloaded_data_bucket = f"jumpstart-cache-prod-{region}"
   downloaded_data_prefix = "1p-notebooks-datasets/mnist"
   
   # Download the dataset
   s3 = boto3.client("s3")
   s3.download_file(downloaded_data_bucket, f"{downloaded_data_prefix}/mnist.pkl.gz", "mnist.pkl.gz")
   
   # Load the dataset
   with gzip.open('mnist.pkl.gz', 'rb') as f:
       train_set, valid_set, test_set = pickle.load(f, encoding='latin1')
   
   # Simple function to create a csv from our numpy array
   def np2csv(arr):
       csv = io.BytesIO()
       numpy.savetxt(csv, arr, delimiter=',', fmt='%g')
       return csv.getvalue().decode().rstrip()
   
   runtime = boto3.Session(region).client('sagemaker-runtime')
   
   payload = np2csv(train_set[0][30:31])
   
   response = runtime.invoke_endpoint(EndpointName=ENDPOINT_NAME,
                                      ContentType='text/csv',
                                      Body=payload)
   result = json.loads(response['Body'].read().decode())
   print(result)

2. 按如下方式运行 Amazon SDK for Python (Boto3) 文件：

   python mnist-predictions.py

1. 在 KFP 控制面板中，如果管道运行未正常退出，请选择终止来终止管道运行。

2. 如果终止选项不起作用，请登录网关节点，然后手动终止由您的管道创建的所有 Pod，如下所示：

   kubectl get pods -n kubeflow
   kubectl delete pods -n kubeflow <name-of-pipeline-pod>

3. 使用您的 Amazon 账户登录 SageMaker 服务。手动停止所有训练、批量转换和 HPO 作业。删除模型、数据存储桶和端点，以免产生任何额外费用。终止管道运行并不会停止 SageMaker 中的作业。