使用自定义容器进行分析 - AWS IoT Analytics
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

使用自定义容器进行分析

此部分包括有关如何使用Jupyter笔记本构建Docker容器的信息。如果重复使用第三方构建的笔记本,则存在安全风险:包含的容器可能使用您的用户权限执行任意代码。此外,笔记本生成的HTML可以显示在 AWS IoT Analytics 控制台,在显示HTML的计算机上提供潜在攻击向量。在使用之前,请确保您信任任何第三方笔记本的作者。

您可以创建自己的自定义容器,并使用 AWS IoT Analytics 服务。为此,您可以设置Docker镜像并将其上传到 Amazon ECR,然后设置数据集yo运行容器操作。本节提供一个使用 Octave 的过程示例。

本教程假定:

  • 本地计算机上已安装 Octave

  • 在本地计算机上设置Docker帐户

  • 一种 AWS 帐户 Amazon ECR 或 AWS IoT Analytics 访问

第1步: 设置Docker镜像

本教程需要三个主要文件。其名称和内容如下:

  • Dockerfile – Docker容器化进程的初始设置。

    FROM ubuntu:16.04 # Get required set of software RUN apt-get update RUN apt-get install -y software-properties-common RUN apt-get install -y octave RUN apt-get install -y python3-pip # Get boto3 for S3 and other libraries RUN pip3 install --upgrade pip RUN pip3 install boto3 RUN pip3 install urllib3 # Move scripts over ADD moment moment ADD run-octave.py run-octave.py # Start python script ENTRYPOINT ["python3", "run-octave.py"]
  • run-octave.py – 解析JSON来自 AWS IoT Analytics,运行Octave脚本,并将工件上传到 Amazon S3.

    import boto3 import json import os import sys from urllib.parse import urlparse # Parse the JSON from AWS IoT Analytics with open('/opt/ml/input/data/iotanalytics/params') as params_file: params = json.load(params_file) variables = params['Variables'] order = variables['order'] input_s3_bucket = variables['inputDataS3BucketName'] input_s3_key = variables['inputDataS3Key'] output_s3_uri = variables['octaveResultS3URI'] local_input_filename = "input.txt" local_output_filename = "output.mat" # Pull input data from S3... s3 = boto3.resource('s3') s3.Bucket(input_s3_bucket).download_file(input_s3_key, local_input_filename) # Run Octave Script os.system("octave moment {} {} {}".format(local_input_filename, local_output_filename, order)) # # Upload the artifacts to S3 output_s3_url = urlparse(output_s3_uri) output_s3_bucket = output_s3_url.netloc output_s3_key = output_s3_url.path[1:] s3.Object(output_s3_bucket, output_s3_key).put(Body=open(local_output_filename, 'rb'), ACL='bucket-owner-full-control')
  • moment – 一个简单的Octave脚本,根据输入或输出文件和指定的顺序来计算时刻。

    #!/usr/bin/octave -qf arg_list = argv (); input_filename = arg_list{1}; output_filename = arg_list{2}; order = str2num(arg_list{3}); [D,delimiterOut]=importdata(input_filename) M = moment(D, order) save(output_filename,'M')
  1. 下载每个文件的内容。创建新目录并将所有文件放入其中,然后 cd 到该目录。

  2. 运行以下 命令。

    docker build -t octave-moment .
  3. 您应该在Docker存储库中看到新镜像。通过运行以下命令进行验证。

    docker image ls | grep octave-moment

第2步: 将Docker镜像上传到 Amazon ECR 存储库

  1. 在中创建存储库 Amazon ECR.

    aws ecr create-repository --repository-name octave-moment
  2. 获取Docker环境的登录。

    aws ecr get-login
  3. 复制输出并运行它。输出应如下所示。

    docker login -u AWS -p password -e none https://your-aws-account-id.dkr.ecr..amazonaws.com
  4. 使用 Amazon ECR 存储库标签。

    docker tag your-image-id your-aws-account-id.dkr.ecr.region.amazonaws.com/octave-moment
  5. 将映像推送到 Amazon ECR。

    docker push your-aws-account-id.dkr.ecr.region.amazonaws.com/octave-moment

第3步: 将样本数据上传到 Amazon S3 桶

  1. 下载以下内容至文件 input.txt.

    0.857549 -0.987565 -0.467288 -0.252233 -2.298007 0.030077 -1.243324 -0.692745 0.563276 0.772901 -0.508862 -0.404303 -1.363477 -1.812281 -0.296744 -0.203897 0.746533 0.048276 0.075284 0.125395 0.829358 1.246402 -1.310275 -2.737117 0.024629 1.206120 0.895101 1.075549 1.897416 1.383577
  2. 创建 Amazon S3 bucket称为 octave-sample-data-your-aws-account-id.

  3. 上传文件 input.txt 到 Amazon S3 桶。您现在应该有一个名为 octave-sample-data-your-aws-account-id 包含 input.txt 文件。

第4步: 创建容器执行角色

  1. 下载以下内容至名为的文件 role1.json.

    { "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": { "Service": [ "sagemaker.amazonaws.com", "iotanalytics.amazonaws.com" ] }, "Action": [ "sts:AssumeRole" ] } ] }
  2. 创建授予访问权限的角色 SageMaker 和 AWS IoT Analytics,使用文件 role1.json 您下载了。

    aws iam create-role --role-name container-execution-role --assume-role-policy-document file://role1.json
  3. 下载以下内容至名为的文件 policy1.json 并更换 您的帐户ID 使用您的帐户ID(见 Statement:Resource)。

    { "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "s3:GetBucketLocation", "s3:PutObject", "s3:GetObject", "s3:PutObjectAcl" ], "Resource": [ "arn:aws:s3:::*-dataset-*/*", "arn:aws:s3:::octave-sample-data-your-account-id/*" }, { "Effect": "Allow", "Action": [ "iotanalytics:*" ], "Resource": "*" }, { "Effect": "Allow", "Action": [ "ecr:GetAuthorizationToken", "ecr:GetDownloadUrlForLayer", "ecr:BatchGetImage", "ecr:BatchCheckLayerAvailability", "logs:CreateLogGroup", "logs:CreateLogStream", "logs:DescribeLogStreams", "logs:GetLogEvents", "logs:PutLogEvents" ], "Resource": "*" }, { "Effect": "Allow", "Action": [ "s3:GetBucketLocation", "s3:ListBucket", "s3:ListAllMyBuckets" ], "Resource" : "*" } ] }
  4. 创建 IAM 政策,使用 policy.json 文件。

    aws iam create-policy --policy-name ContainerExecutionPolicy --policy-document file://policy1.json
  5. 将 策略附加到该角色。

    aws iam attach-role-policy --role-name container-execution-role --policy-arn arn:aws:iam::your-account-id:policy/ContainerExecutionPolicy

第5步: 使用容器操作创建数据集

  1. 下载以下内容到名为的fie cli-input.json 并替换所有 您的帐户IDregion 适当的值。

    { "datasetName": "octave_dataset", "actions": [ { "actionName": "octave", "containerAction": { "image": "your-account-id.dkr.ecr.region.amazonaws.com/octave-moment", "executionRoleArn": "arn:aws:iam::your-account-id:role/container-execution-role", "resourceConfiguration": { "computeType": "ACU_1", "volumeSizeInGB": 1 }, "variables": [ { "name": "octaveResultS3URI", "outputFileUriValue": { "fileName": "output.mat" } }, { "name": "inputDataS3BucketName", "stringValue": "octave-sample-data-your-account-id" }, { "name": "inputDataS3Key", "stringValue": "input.txt" }, { "name": "order", "stringValue": "3" } ] } } ] }
  2. 使用文件创建数据集 cli-input.json 您刚刚下载并编辑了。

    aws iotanalytics create-dataset —cli-input-json file://cli-input.json

第6步: 调用数据集内容生成

  1. 运行以下 命令。

    aws iotanalytics create-dataset-content --dataset-name octave-dataset

第7步: 获取数据集内容

  1. 运行以下 命令。

    aws iotanalytics get-dataset-content --dataset-name octave-dataset --version-id \$LATEST
  2. 您可能需要等待几分钟,直到 DatasetContentStateSUCCEEDED.

第8步: 在Octave上打印输出

  1. 使用Octaveshell通过运行以下命令从容器中打印输出。

    bash> octave octave> load output.mat octave> disp(M) -0.016393 -0.098061 0.380311 -0.564377 -1.318744