管理 Amazon IoT Greengrass 核心上的数据流 - Amazon IoT Greengrass
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

终止支持通知:2026 年 10 月 7 日, Amazon 将停止对的支持。 Amazon IoT Greengrass Version 1 2026 年 10 月 7 日之后,您将无法再访问这些 Amazon IoT Greengrass V1 资源。如需了解更多信息,请访问迁移自 Amazon IoT Greengrass Version 1

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

管理 Amazon IoT Greengrass 核心上的数据流

Amazon IoT Greengrass 流管理器可以更轻松、更可靠地将大量物联网数据传输到. Amazon Web Services 云流管理器在本地处理数据流并 Amazon Web Services 云 自动将其导出到。此功能与常见的边缘场景集成,例如机器学习 (ML) 推理,在这种场景中,在将数据导出到 Amazon Web Services 云 或本地存储目标之前,先在本地处理和分析数据。

流管理器简化了应用程序开发。IoT 应用程序可以使用标准化机制来处理大容量流和管理本地数据保留策略,而不是构建自定义流管理功能。IoT 应用程序可以读取和写入流。它们可以在每个流的基础之上定义存储类型、大小和数据的保留策略,以控制流管理器处理和导出流的方式。

流管理器设计为在间歇性或有限连接的环境中工作。您可以定义带宽使用、超时行为以及当核心连接或断开连接时如何处理流数据。对于关键数据,您可以设置优先级以控制流导出到 Amazon Web Services 云的顺序。

您可以配置自动导出到以 Amazon Web Services 云 进行存储或进一步处理和分析。直播管理器支持导出到以下 Amazon Web Services 云 目的地。

  • 频道进来 Amazon IoT Analytics。 Amazon IoT Analytics 允许您对数据进行高级分析,以帮助做出业务决策和改进机器学习模型。有关更多信息,请参阅什么是 Amazon IoT Analytics? 在《Amazon IoT Analytics 用户指南》中。

  • Kinesis Data Streams 中的流。Kinesis Data Streams 通常用于聚合大量数据并将其加载到数据仓库或 map-reduce 集群中。有关更多信息,请参阅 Amazon Kinesis 开发人员指南中的什么是 Amazon Kinesis Data Streams?

  • 中的资产属性 Amazon IoT SiteWise。 Amazon IoT SiteWise 允许您大规模收集、组织和分析来自工业设备的数据。有关更多信息,请参阅什么是 Amazon IoT SiteWise? 在《Amazon IoT SiteWise 用户指南》中。

  • Amazon S3 中的对象。您可以使用 Amazon S3 存储和检索大量的数据。有关更多信息,请参阅 Amazon Simple Storage Service 开发人员指南中的什么是 Amazon S3?

流管理工作流

您的物联网应用通过 C Amazon IoT Greengrass ore SDK 与流管理器进行交互。在简单工作流中,在 Greengrass 核心上运行的用户定义的 Lambda 函数会消耗 IoT 数据,如时间序列温度和压力指标。Lambda 函数可能会筛选或压缩数据,然后调用 Amazon IoT Greengrass Core SDK 将数据写入流管理器中的流。流管理器可以根据为流定义的策略自动将流导出到 Amazon Web Services 云 。用户定义的 Lambda 函数还可以将数据直接发送到本地数据库或存储库。

您的 IoT 应用程序可以包含多个用户定义的 Lambda 函数用于读取或写入流。这些本地 Lambda 函数可以读取和写入流,以便在本地过滤、聚合和分析数据。这样可以在数据从核心传输到云或本地目的地之前快速响应本地事件并提取有价值的信息。

下图显示了工作流程示例。

流管理器工作流程图。

要使用流管理器,请首先配置流管理器参数来定义组级别的运行时设置,以应用到 Greengrass 核心上的所有流中。这些可自定义设置允许您根据业务需求和环境约束控制流管理器存储、处理和导出流的方式。有关更多信息,请参阅 配置 Amazon IoT Greengrass 直播管理器

配置流管理器后,您可以创建和部署 IoT 应用程序。这些通常是用户定义的 Lambda 函数,用于StreamManagerClient在 Amazon IoT Greengrass Core SDK 中创建流并与之交互。在创建流期间,Lambda 函数会定义每个流的策略,例如导出目标、优先级和持久性。有关更多信息(包括 StreamManagerClient 操作的代码片段),请参阅 StreamManagerClient 用于处理直播

有关配置简单工作流程的教程,请参阅将数据流导出到 Amazon Web Services 云 (控制台)将数据流导出到 Amazon Web Services 云 (CLI)

要求

以下要求适用于使用流管理器:

  • 您必须使用 Amazon IoT Greengrass 核心软件 v1.10 或更高版本,并启用直播管理器。有关更多信息,请参阅 配置 Amazon IoT Greengrass 直播管理器

    OpenWrt 发行版不支持直播管理器。

  • 核心设备上必须安装 Java 8 运行时 (JDK 8)。

    • 对于基于 Debian 的发行版(包括 Raspbian)或基于 Ubuntui 的发行版,运行以下命令:

      sudo apt install openjdk-8-jdk
    • 对于基于 Red Hat 的发行版(包括 Amazon Linux),请运行以下命令:

      sudo yum install java-1.8.0-openjdk

      有关更多信息,请参阅 OpenJDK 文档中的如何下载并安装预先构建的 OpenJDK 程序包

     

  • 除了基本的 Amazon IoT Greengrass 核心软件外,直播管理器还需要至少 70 MB 的内存。您的总内存需求取决于您的工作负载。

     

  • 用户定义的 Lambda 函数必须使用 Amazon IoT Greengrass 核心开发工具包与流管理器交互。 Amazon IoT Greengrass Core SDK 有多种语言版本,但只有以下版本支持直播管理器操作:

    • Java SDK(v1.4.0 或更高版本)

    • Python SDK(v1.5.0 或更高版本)

    • Node.js SDK(v1.6.0 或更高版本)

    下载与 Lambda 函数运行时对应的开发工具包版本,并将其包含在 Lambda 函数部署包中。

    注意

    适用于 Python 的 Amazon IoT Greengrass 核心开发工具包需要 Python 3.7 或更高版本,并且还有其他软件包依赖关系。有关更多信息,请参阅创建 Lambda 函数部署包(控制台)创建 Lambda 函数部署包 (CLI)

  • 如果您为直播定义 Amazon Web Services 云 导出目标,则必须创建导出目标并以 Greengrass 组角色授予访问权限。根据不同的目的地,也可能适用其他要求。有关更多信息,请参阅:

    您有责任维护这些 Amazon Web Services 云 资源。

数据安全性

使用流管理器时,请注意以下安全注意事项。

本地数据安全性

Amazon IoT Greengrass 不加密核心设备上组件间的静态数据或本地传输的流数据。

  • 静态数据。流数据存储在本地存储在 Greengrass 核心的存储目录中。为了确保数据安全, Amazon IoT Greengrass 依赖于 Unix 文件权限和全盘加密(如果启用)。您可以使用可选的 STREAM_MANAGER_STORE_ROOT_DIR 参数指定存储目录。如果稍后将此参数更改为使用其他存储目录,则 Amazon IoT Greengrass 不会删除以前的存储目录或其内容。

     

  • 数据在本地传输。 Amazon IoT Greengrass 不会对数据源、Lambda 函数、Core SDK 和流管理器之间在 Amazon IoT Greengrass 核心上传输的流数据进行加密。

     

  • 数据正在传输到 Amazon Web Services 云. 由流管理器导出到的数据流 Amazon Web Services 云 使用带有传输层安全 (TLS) 的标准 Amazon 服务客户端加密。

有关更多信息,请参阅 数据加密

客户端身份验证

直播管理器客户端使用 Amazon IoT Greengrass Core SDK 与直播管理器通信。启用客户端身份验证后,只有 Greengrass 组中的 Lambda 函数才能与流管理器中的流交互。禁用客户端身份验证时,Greengrass 核心上运行的任何进程(如 Docker 容器)都可以与流管理器中的流进行交互。只有在您的业务案例需要时才应禁用身份验证。

您可以使用 STREAM_MANAGER_AUTHENTICATE_CLIENT 参数来设置客户端身份验证模式。您可以通过控制台或 Amazon IoT Greengrass API 配置此参数。更改在部署组后生效。

  已启用 已禁用

参数值

true(默认值和推荐值)

false

允许的客户端

Greengrass 组中的用户定义 Lambda 函数

Greengrass 组中的用户定义 Lambda 函数

Greengrass 核心设备上运行的其他进程

另请参阅