在 Amazon IoT Greengrass 核心上管理数据流 - Amazon IoT Greengrass
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

您正在查看Amazon IoT Greengrass Version 1.Amazon IoT Greengrass Version 2是最新的主要版本Amazon IoT Greengrass. 有关使用Amazon IoT Greengrass V2,请参阅Amazon IoT Greengrass Version 2开发人员指南.

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

在 Amazon IoT Greengrass 核心上管理数据流

Amazon IoT Greengrass流管理器可以更轻松、更可靠地将大容量 IoT 数据传输到 Amazon Web Services 云 . 流管理器在本地处理数据流并将其导出到 Amazon Web Services 云 自动执行。此功能与常见的边缘方案(如机器学习 (ML) 推理)集成,在将数据导出到 Amazon Web Services 云 或本地存储目标。

流管理器简化了应用程序开发。IoT 应用程序可以使用标准化机制来处理大容量流和管理本地数据保留策略,而不是构建自定义流管理功能。IoT 应用程序可以读取和写入流。它们可以在每个流的基础之上定义存储类型、大小和数据的保留策略,以控制流管理器处理和导出流的方式。

流管理器设计为在间歇性或有限连接的环境中工作。您可以定义带宽使用、超时行为以及当核心连接或断开连接时如何处理流数据。对于关键数据,您可以设置优先级以控制流导出到 Amazon Web Services 云 .

您可以将自动导出配置为 Amazon Web Services 云 用于存储或进一步处理和分析。流管理器支持导出到以下 Amazon Web Services 云 目标。

  • 在Amazon IoT Analytics.Amazon IoT Analytics允许您对数据执行高级分析,以帮助制定业务决策并改进机器学习模型。有关更多信息,请参阅 。是什么Amazon IoT Analytics?中的Amazon IoT Analytics用户指南.

  • Kinesis Data Streams 中的流。Kinesis Data Streams 常用于聚合大容量数据并将其加载到数据仓库或 map-reduce 集群中。有关更多信息,请参阅 。什么是 Amazon Kinesis Data Streams?中的Amazon Kinesis 开发人员指南.

  • 中的资产属性Amazon IoT SiteWise.Amazon IoT SiteWise可让您轻松地从工业设备中大规模收集、组织和分析数据。有关更多信息,请参阅 。是什么Amazon IoT SiteWise?中的Amazon IoT SiteWise用户指南.

  • Amazon S3 中的数据元。您可以使用 Amazon S3 存储和检索大量数据。有关更多信息,请参阅 。什么是 Amazon S3?中的Amazon Simple Storage Service 开发人员指南.

流管理工作流

您的 IoT 应用程序通过与流管理器交互Amazon IoT Greengrass核心开发工具包。在简单工作流中,在 Greengrass 核心上运行的用户定义的 Lambda 函数会消耗 IoT 数据,如时间序列温度和压力指标。Lambda 函数可能会过滤或压缩数据,然后调用Amazon IoT Greengrass核心 SDK 用于将数据写入流管理器中的流。流管理器可以将流导出到 Amazon Web Services 云 自动执行,具体取决于为流定义的策略。用户定义的 Lambda 函数还可以将数据直接发送到本地数据库或存储库。

您的 IoT 应用程序可以包含多个用户定义的 Lambda 函数用于读取或写入流。这些本地 Lambda 函数可以读取和写入流,以便在本地过滤、聚合和分析数据。这样可以在数据从核心传输到云或本地目的地之前快速响应本地事件并提取有价值的信息。

下图显示了工作流程示例。


                流管理器工作流程图。

要使用流管理器,请首先配置流管理器参数以定义应用于 Greengrass 核心上的所有流的组级运行时设置。这些可自定义设置允许您根据业务需求和环境约束控制流管理器存储、处理和导出流的方式。有关更多信息,请参阅配置 Amazon IoT Greengrass 流管理器

配置流管理器后,您可以创建和部署 IoT 应用程序。这些通常是用户定义的 Lambda 函数,它们使用StreamManagerClient中的Amazon IoT Greengrass核心开发工具包,用于创建流并与流进行交互。在创建流期间,Lambda 函数定义每流策略,如导出目标、优先级和持久性。有关更多信息,包括StreamManagerClient操作,请参阅使用 StreamManagerClient 处理流.

有关配置简单工作流程的教程,请参阅将数据流导出到 Amazon Web Services 云 (console)或者将数据流导出到 Amazon Web Services 云 (CLI).

Requirements

以下要求适用于使用流管理器:

  • 您必须使用Amazon IoT Greengrass核心软件 v1.10 或更高版本,并启用了流管理器。有关更多信息,请参阅配置 Amazon IoT Greengrass 流管理器

    注意

    如果您使用流管理器将数据导出到云,则无法升级到Amazon IoT Greengrass核心软件 1.11.3 版本来自较早版本的版本。当您尝试 OTA 更新时,流管理器不会启动,并且更新失败。如果您正在安装Amazon IoT Greengrass首次核心软件,我们强烈建议您部署最新版本的软件。

    OpenWRT 发行版不支持流管理器。

  • 核心设备上必须安装 Java 8 运行时 (JDK 8)。

    • 对于基于 Debian 的发行版(包括 Raspbian)或基于 Ubuntui 的发行版,运行以下命令:

      sudo apt install openjdk-8-jdk
    • 对于基于 Red Hat 的发行版(包括 Amazon Linux),请运行以下命令:

      sudo yum install java-1.8.0-openjdk

      有关更多信息,请参阅 OpenJDK 文档中的如何下载并安装预先构建的 OpenJDK 程序包

     

  • 除了基础 Amazon IoT Greengrass 核心软件之外,流管理器还需要至少 70 MB 的 RAM。您的总内存需求取决于您的工作负载。

     

  • 用户定义的 Lambda 函数必须使用Amazon IoT Greengrass核心开发工具包以与流管理器交互。这些区域有:Amazon IoT Greengrass核心 SDK 有多种语言可用,但只有以下版本支持流管理器操作。

    • Java SDK(v1.4.0 或更高版本)

    • Python SDK(v1.5.0 或更高版本)

    • Node.js SDK(v1.6.0 或更高版本)

    下载与 Lambda 函数运行时对应的开发工具包版本,并将其包含在 Lambda 函数部署包中。

    注意

    这些区域有:Amazon IoT GreengrassPython 核心开发工具包需要 Python 3.7 或更高版本,并且具有其他软件包依赖关系。有关更多信息,请参阅 。创建 Lambda 函数部署程序包(控制台)或者创建 Lambda 函数部署程序包 (CLI).

  • 如果定义 Amazon Web Services 云 导出目标,您必须创建导出目标并授予 Greengrass 组角色中的访问权限。根据目的地的不同,其他要求也可能适用。有关更多信息,请参阅:

    您有责任维护这些 Amazon Web Services 云 资源的费用。

数据安全性

使用流管理器时,请注意以下安全注意事项。

本地数据安全性

Amazon IoT Greengrass 不会在核心设备上的组件之间进行静态或本地传输的流数据加密。

  • 静态数据。流数据存储在本地存储在 Greengrass 核心上的存储目录中。为了保证数据安全,Amazon IoT Greengrass 依赖 Unix 文件权限和全磁盘加密(如果启用)。您可以使用可选的 STREAM_MANAGER_STORE_ROOT_DIR 参数指定存储目录。如果稍后将此参数更改为使用其他存储目录,Amazon IoT Greengrass 不会删除以前的存储目录或其内容。

     

  • 本地传输中的数据.Amazon IoT Greengrass不加密数据源之间的核心上的本地传输流数据,Lambda 函数,Amazon IoT Greengrass核心 SDK 和流管理器。

     

  • 传输到的数据 Amazon Web Services 云 . 流管理器将数据流导出到 Amazon Web Services 云 使用标准Amazon服务客户端加密与传输层安全性 (TLS)。

有关更多信息,请参阅数据加密

客户端身份验证

流管理器客户端使用Amazon IoT Greengrass与流管理器通信的核心 SDK。启用客户端身份验证后,只有 Greengrass 组中的 Lambda 函数才能与流管理器中的流交互。禁用客户端身份验证时,Greengrass 核心上运行的任何进程(如 Docker 容器)都可以与流管理器中的流进行交互。只有在您的业务案例需要时才应禁用身份验证。

您可以使用 STREAM_MANAGER_AUTHENTICATE_CLIENT 参数来设置客户端身份验证模式。您可以从控制台或 Amazon IoT Greengrass API 配置此参数。更改在部署组后生效。

  已启用 已禁用

参数值

true(默认值和推荐值)

false

允许的客户端

Greengrass 组中的用户定义 Lambda 函数

Greengrass 组中的用户定义 Lambda 函数

Greengrass 核心设备上运行的其他进程

另请参阅