教程:开发一个简单的 IDT 测试套件 - FreeRTOS
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

教程:开发一个简单的 IDT 测试套件

测试套件结合了以下内容:

  • 包含测试逻辑的测试可执行文件

  • 描述测试套件的配置文件

本教程向您展示如何使用 FreeRTOS 的 IDT 开发包含单个测试用例的 Python 测试套件。尽管本教程使用 SSH,但学习如何在 FreeRTOS 设备上使用还是很有Amazon IoT Device Tester用的。

在本教程中,您将完成以下步骤:

先决条件

要完成本教程,您需要:

  • 主机要求

    • 最新版本的 Amazon IoT Device Tester

    • Python 3.7 或更

      要检查计算机上安装过 Pyate的版本,请运行以下命令:

      python3 --version

      在 Windows 上,如果使用此命令返回错误,则python --version改用。如果返回的版本号为 3.7 或更高版本,则在 Powershell 终端中运行以下命令以设置python3python命令的别名。

      Set-Alias -Name "python3" -Value "python"

      如果未返回任何版本信息或版本号低于 3.7,请按照下载 Python 中的说明安装 Python 3.7+。有关更多信息,请参阅 Python 文档

    • urllib3

      要验证urllib3是否已正确安装,请运行以下命令:

      python3 -c 'import urllib3'

      如果urllib3未安装,请运行以下命令进行安装:

      python3 -m pip install urllib3
  • 设备要求

    • 具有 Linux 操作系统且网络连接至与主机计算机相同的网络的设备。

      我们建议您将树莓派与树莓派操作系统一起使用。确保在 Raspberry Pi 上设置 SSH 以远程连接到它。

创建测试套件目录

IDT 在逻辑上将测试用例分成每个测试套件中的测试组。每个测试用例都必须位于一个测试组内。在本教程中,创建一个名为的文件夹,MyTestSuite_1.0.0并在该文件夹中创建以下目录树:

MyTestSuite_1.0.0 └── suite └── myTestGroup └── myTestCase

创建配置文件

您的测试套件必须包含以下必需的配置文件

必需的文件

suite.json

包含有关测试套件的信息。请参阅配置 suite.json

group.json

包含有关测试组的信息。您必须为测试套件中的每个测试组创建一个group.json文件。请参阅配置 group.json

test.json

包含有关测试用例的信息。您必须为测试套件中的每个测试用例创建一个test.json文件。请参阅配置 test.json

  1. MyTestSuite_1.0.0/suite文件夹中,创建具有以下结构的suite.json文件:

    { "id": "MyTestSuite_1.0.0", "title": "My Test Suite", "details": "This is my test suite.", "userDataRequired": false }
  2. MyTestSuite_1.0.0/myTestGroup文件夹中,创建具有以下结构的group.json文件:

    { "id": "MyTestGroup", "title": "My Test Group", "details": "This is my test group.", "optional": false }
  3. MyTestSuite_1.0.0/myTestGroup/myTestCase文件夹中,创建具有以下结构的test.json文件:

    { "id": "MyTestCase", "title": "My Test Case", "details": "This is my test case.", "execution": { "timeout": 300000, "linux": { "cmd": "python3", "args": [ "myTestCase.py" ] }, "mac": { "cmd": "python3", "args": [ "myTestCase.py" ] }, "win": { "cmd": "python3", "args": [ "myTestCase.py" ] } } }

您的MyTestSuite_1.0.0文件夹的目录树应类似于以下内容:

MyTestSuite_1.0.0 └── suite ├── suite.json └── myTestGroup ├── group.json └── myTestCase └── test.json

获取 IDT 客户端 SDK

您可以使用 IDT 客户端 SDK 使 IDT 能够与被测设备交互并报告测试结果。在本教程中,您将使用 SDK 的 Python 版本。

从该<device-tester-extract-location>/sdks/python/文件夹将该idt_client文件夹复制到您的MyTestSuite_1.0.0/suite/myTestGroup/myTestCase文件夹。

要验证 SDK 是否成功复制,请运行以下命令。

cd MyTestSuite_1.0.0/suite/myTestGroup/myTestCase python3 -c 'import idt_client'

创建测试用例可执行文件

测试用例可执行文件包含您要运行的测试逻辑。一个测试套件可以包含多个测试用例可执行文件。在本教程中,您将只创建一个测试用例可执行文件。

  1. 创建测试套件文件。

    MyTestSuite_1.0.0/suite/myTestGroup/myTestCase文件夹中,创建包含以下内容的myTestCase.py文件:

    from idt_client import * def main(): # Use the client SDK to communicate with IDT client = Client() if __name__ == "__main__": main()
  2. 使用客户端 SDK 函数将以下测试逻辑添加到您的myTestCase.py文件中:

    1. 在被测设备上运行 SSH 命令。

      from idt_client import * def main(): # Use the client SDK to communicate with IDT client = Client() # Create an execute on device request exec_req = ExecuteOnDeviceRequest(ExecuteOnDeviceCommand("echo 'hello world'")) # Run the command exec_resp = client.execute_on_device(exec_req) # Print the standard output print(exec_resp.stdout) if __name__ == "__main__": main()
    2. 将测试结果发送给 IDT。

      from idt_client import * def main(): # Use the client SDK to communicate with IDT client = Client() # Create an execute on device request exec_req = ExecuteOnDeviceRequest(ExecuteOnDeviceCommand("echo 'hello world'")) # Run the command exec_resp = client.execute_on_device(exec_req) # Print the standard output print(exec_resp.stdout) # Create a send result request sr_req = SendResultRequest(TestResult(passed=True)) # Send the result client.send_result(sr_req) if __name__ == "__main__": main()

为 IDT 配置设备信息

配置您的设备信息,以便 IDT 运行测试。必须使用以下信息更新位于该<device-tester-extract-location>/configs文件夹中的device.json模板。

[ { "id": "pool", "sku": "N/A", "devices": [ { "id": "<device-id>", "connectivity": { "protocol": "ssh", "ip": "<ip-address>", "port": "<port>", "auth": { "method": "pki | password", "credentials": { "user": "<user-name>", "privKeyPath": "/path/to/private/key", "password": "<password>" } } } } ] } ]

devices对象中,提供以下信息:

id

用户定义的设备唯一标识符。

connectivity.ip

您的设备的 IP 地址。

connectivity.port

可选。用于与您的设备进行 SSH 连接的端口号。

connectivity.auth

连接的身份验证信息。

此属性仅在 connectivity.protocol 设置为 ssh 时适用。

connectivity.auth.method

用于通过给定的连接协议访问设备的身份验证方法。

支持的值为:

  • pki

  • password

connectivity.auth.credentials

用于身份验证的凭证。

connectivity.auth.credentials.user

用于登录设备的用户名。

connectivity.auth.credentials.privKeyPath

用于登录设备的私钥的完整路径。

此值仅在 connectivity.auth.method 设置为 pki 时适用。

devices.connectivity.auth.credentials.password

用于登录设备的密码。

此值仅在 connectivity.auth.method 设置为 password 时适用。

注意

只有当 method 设置为 pki 时才指定 privKeyPath

只有当 method 设置为 password 时才指定 password

运行测试套件

创建测试套件后,您需要确保其按预期运行。完成以下步骤,使用现有设备池运行测试套件。

  1. 将您的MyTestSuite_1.0.0文件夹复制到<device-tester-extract-location>/tests

  2. 运行以下命令:

    cd <device-tester-extract-location>/bin ./devicetester_[linux | mac | win_x86-64] run-suite --suite-id MyTestSuite

IDT 运行您的测试套件并将结果传输到控制台。测试完成运行后,您将看到以下信息:

time="2020-10-19T09:24:47-07:00" level=info msg=Using pool: pool time="2020-10-19T09:24:47-07:00" level=info msg=Using test suite "MyTestSuite_1.0.0" for execution time="2020-10-19T09:24:47-07:00" level=info msg=b'hello world\n' suiteId=MyTestSuite groupId=myTestGroup testCaseId=myTestCase deviceId=my-device executionId=9a52f362-1227-11eb-86c9-8c8590419f30 time="2020-10-19T09:24:47-07:00" level=info msg=All tests finished. executionId=9a52f362-1227-11eb-86c9-8c8590419f30 time="2020-10-19T09:24:48-07:00" level=info msg= ========== Test Summary ========== Execution Time: 1s Tests Completed: 1 Tests Passed: 1 Tests Failed: 0 Tests Skipped: 0 ---------------------------------- Test Groups: myTestGroup: PASSED ---------------------------------- Path to Amazon IoT Device Tester Report: /path/to/devicetester/results/9a52f362-1227-11eb-86c9-8c8590419f30/awsiotdevicetester_report.xml Path to Test Execution Logs: /path/to/devicetester/results/9a52f362-1227-11eb-86c9-8c8590419f30/logs Path to Aggregated JUnit Report: /path/to/devicetester/results/9a52f362-1227-11eb-86c9-8c8590419f30/MyTestSuite_Report.xml

故障排除

使用以下信息来帮助解决完成教程时出现的任何问题。

测试用例未成功运行

如果测试未成功运行,IDT 会将错误日志流式传输到控制台,以帮助您排除测试运行故障。在检查错误日志之前,请验证以下内容:

  • IDT 客户端 SDK 位于正确的文件夹中,如本步骤所述。

  • 您满足本教程的所有先决条件

无法连接到正在测试的设备

请验证以下内容:

  • 您的device.json文件包含正确的 IP 地址、端口和身份验证信息。

  • 您可以通过 SSH 从主机计算机连接到您的设备。