有关如何使用 Neptune ML 功能的概述 - Amazon Neptune
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

有关如何使用 Neptune ML 功能的概述

启动使用 Neptune ML 的工作流程

在亚马逊 Neptune 中使用 Neptune ML 功能通常需要以下五个步骤开始:

Neptune ML 工作流程图
  1. 数据导出和配置— 数据导出步骤使用海王星导出服务或neptune-export以 CSV 形式将数据从 Neptune 导出到 Amazon Simple Storage Service (Amazon S3) 中的命令行工具。名为的配置文件training-data-configuration.json同时自动生成,指定如何将导出的数据加载到可培训的图表中。

  2. 数据预处理— 在此步骤中,导出的数据集将使用标准技术进行预处理,以便为模型训练做好准备。可以对数字数据执行要素标准化,文本要素可以使用word2vec. 在此步骤结束时,将根据导出的数据集生成 DGL(深图库)图,供模型训练步骤使用。

    此步骤是使用账户中的 SageMaker 处理作业实施的,并且生成的数据存储在您指定的 Amazon S3 位置中。

  3. 模型训练— 模型训练步骤训练将用于预测的机器学习模型。

    模型训练分两个阶段完成:

    • 第一阶段使用 SageMaker 处理作业生成模型训练策略配置集,该配置集指定模型训练将使用哪种类型的模型和模型超参数范围。

    • 然后,第二阶段使用 SageMaker 模型调整作业来尝试不同的超参数配置,然后选择生成性能最佳模型的训练作业。调整作业对处理的数据运行预先指定数量的模型训练作业试验。在本阶段结束时,最佳训练作业的训练模型参数用于生成模型工件以供推理。

  4. 在 Amazon SageMaker 中创建推理终端节点— 推理终端节点是一个 SageMaker 终端节点实例,使用最佳训练作业生成的模型工件启动。每个模型都绑定到一个端点。终端节点能够接受来自图表数据库的传入请求,并返回请求中输入的模型预测。创建终端节点后,它将保持活动状态,直到您删除它。

  5. 使用 Gremlin 查询机器学习模型— 您可以使用对 Gremlin 查询语言的扩展来查询来自推理端点的预测。

注意

这些区域有:Neptune 工作台包含一个线条魔法和一个细胞魔法,可以为你节省大量时间管理这些步骤,即:

用于处理不断变化的图表数据

随着不断变化的图形,您可能需要使用最新数据经常更新 ML 预测。虽然你可以通过重新运行步骤一到四(从数据导出和配置在 Amazon SageMaker 中创建推理终端节点,Neptune ML 支持使用新数据更新机器学习预测的更简单方法。一是增量模型工作流程:

增量模型推理工作流程

在此工作流程中,您可以在不重新训练 ML 模型的情况下更新 ML 预测。

注意

只有在使用新节点和/或边更新图表数据时,才能执行此操作。当节点被删除时,它目前不起作用。

  1. 数据导出和配置— 此步骤与主工作流程中的步骤相同。

  2. 增量数据预处理— 此步骤与主工作流中的数据预处理步骤类似,但使用之前使用的处理配置与特定训练模型相对应的相同处理配置。

  3. 模型转换— 此模型转换步骤不是模型训练步骤,而是从主工作流程和增量数据预处理步骤的结果中取出训练的模型,并生成新的模型对象以用于推理。模型转换步骤启动 SageMaker 处理作业以执行生成更新后的模型项目的计算。

  4. 更新 Amazon SageMaker 推理终端节点— 此步骤使用模型转换步骤生成的新模型工件更新现有推理端点。或者,您也可以使用新模型工件创建新的推理端点。

以温暖的开始重新训练模型

使用此工作流程,您可以训练和部署用于使用增量图数据进行预测的新机器学习模型,但从使用主工作流生成的现有模型开始:

  1. 数据导出和配置— 此步骤与主工作流程中的步骤相同。

  2. 增量数据预处理— 此步骤与增量模型推理工作流程中的步骤相同。新的图表数据应该使用之前用于模型训练的相同处理方法进行处理。

  3. 以温暖的开始模型训练— 模型训练与主工作流程中的情况类似,但是您可以通过利用之前模型训练任务中的信息来加快模型超参数搜索速度。

  4. 更新 Amazon SageMaker 推理终端节点— 此步骤与增量模型推理工作流程中的步骤相同。

Neptune ML 中自定义模型的工作流

Neptune ML 允许您为 Neptune ML 支持的任何任务实施、训练和部署自己的自定义模型。开发和部署自定义模型的工作流程与内置模型的工作流程基本相同,但有一些区别,如中所述自定义模型流程.