数据集和架构 - Amazon Personalize
数据集和方案要求架构示例使用 Python 创建架构
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅中国的 Amazon Web Services 服务入门。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

数据集和架构

Amazon Personalize数据集是数据容器。数据集有三种类型：

  • 用户— 此数据集存储有关用户的元数据。这可能包括年龄、性别或会员资格等信息，这些信息可能是个性化系统中的重要信号。

  • 项目— 此数据集存储有关项目的元数据。这可能包括如价格、SKU 类型或可用性等信息。

  • 交互— 此数据集存储来自用户和项目之间交互的历史数据和实时数据。此数据可以包含用户浏览上下文中的展示数据和上下文元数据，例如用户所在的位置或所用的设备（移动设备、平板电脑、台式机等）。您必须至少创建 “交互” 数据集。

用户和项目数据集类型称为元数据类型，仅供某些配方使用。有关更多信息，请参阅第 1 步：选择配方。

数据集在 Amazon Personalize 数据集组中进行组织。数据集组只能有每种数据集类型中的一种。每个数据集都必须有一个关联架构。Aschema告诉 Amazon Personalize 您的数据结构，并允许 Amazon Personalize 解析数据。架构具有名称键，其值必须与数据集类型匹配。

将您的培训数据导入 Amazon Personalize 时，您可以创建数据集和架构。有关更多信息，请参阅准备和导入数据.

主题

数据集和方案要求

每个数据集都具有一组必填字段、保留关键字及其所需的数据类型，如下表所示。

数据集类型 必填字段 保留关键字
用户

USER_ID (string)

1 个元数据字段（分类string或编号）

项目

ITEM_ID (string)

1 个元数据字段（分类或文本string字段或数值字段）

创建时间戳 (long）

交互

USER_ID (string)

ITEM_ID (string)

TIMESTAMP (long)

EVENT_TYPE (string)

事件值 (float、null）

印象 (string）

建议编号 (string、null）

在将数据集添加到 Amazon Personalize 之前，您必须定义该数据集的架构。定义方案并创建数据集后，无法对方案进行更改。

当您创建架构时，您必须遵循以下这些准则：

  • 您必须在Avro 格式. 有关我们支持的 Avro 数据类型的信息，请参阅架构数据类型.

  • 架构字段可以以任何顺序出现，但它们必须与数据文件中的对应列标题的顺序匹配。

  • 每种数据集类型都需要其方案中的特定非元数据字段（请参阅上表）。您必须将必填字段定义为其所需的数据类型。

  • 架构必须是没有嵌套结构的平面 JSON 文件。例如，一个字段不能是多个子字段的父字段。

  • 方案字段必须具有唯一的字母数字名称。例如，您不能将GENRES_FIELD_1字段和GENRESFIELD1字段中返回的子位置类型。

架构数据类型

您必须在Avro 格式. Amazon Personalize 不支持复杂类型，如阵列和地图。对于具有多个值的字段（包括分类元数据和展示量数据），请使用数据类型string. 当您设置数据格式时，请使用竖线 “|” 字符分隔每个值。

我们仅支持以下字段的 Avro 类型（保留关键字有额外的类型要求。 ):

  • float

  • double

  • int

  • long

  • 字符串

  • 布尔值（值true和false数据中必须为小写）

  • null

您可以使用null对于 来说为EVENT_VALUE和RECOMMENDATION_ID保留关键字以及交互、用户和项目元数据字段。将添加到null类型添加到字段中，您可以使用不完美的数据（例如，带有空值的元数据）来生成个性化建议。以下示例介绍如何为 GENRES 字段添加空类型。 

{
  "name": "GENRES",
  "type": [
    "null",
    "string"
  ],
  "categorical": true
}

元数据字段

元数据包含不需要的字符串字段或非字符串字段，或不使用保留关键字。元数据架构具有以下限制：

  • 用户和项目架构至少需要一个元数据字段。

  • 您最多可以为 “用户” 架构添加 5 个元数据字段，为 “项目” 架构添加 50 个元数据字段。

  • 如果您添加您自己的string，它必须包含categorical属性或textual属性（只有 Item 架构支持具有文本属性的字段）。否则，在训练模型时，Amazon Personalize 将不会使用该字段。

保留关键字

保留关键字是可选的非元数据字段。这些字段被视为保留字段，因为在使用这些字段时，您必须将字段定义为其必需的数据类型。以下是保留关键字：

  • EVENT_TYPE：对于具有一个或多个事件类型的 “交互” 数据集，例如单击和下载，请使用EVENT_TYPE字段中返回的子位置类型。您必须将 EVENT_TYPE 字段定义为string.

  • 事件值：对于包含事件值数据（例如用户观看的视频百分比）的交互数据集，请使用EVENT_VALUE字段具有类型float并且可以选择null.

  • 创建时间戳：对于每个项目的创建日期具有时间戳的 Item 数据集，请使用CREATION_TIMESTAMP字段具有类型long. Amazon Personalize 使用CREATION_TIMESTAMP数据来计算商品的使用期限并相应地调整建议。请参阅 创建时间戳数据。

  • 印象：对于具有显式展示数据的交互数据集，请使用IMPRESSION字段具有类型String. 展示次数是用户在与特定项目进行交互（例如，单击或观看）时可见的项目列表。有关更多信息，请参阅展示数据.

  • 建议编号：对于使用先前建议作为隐式展示数据的交互式数据集，可选择使用RECOMMENDATION_ID字段具有类型String并可选键入null.

    您不需要将RECOMMENDATION_ID字段，Amazon Personalize 在生成建议时使用隐式展示。你可以传递一个recommendationId在 PutEvents 没有它的操作。有关更多信息，请参阅展示数据.

架构示例

有关每种数据集类型的架构的示例，请参阅以下几节：

使用AmazonPython 开发工具包

  1. 定义要使用的 Avro 格式架构。

  2. 将架构保存在默认 Python 文件夹的 JSON 文件中。

  3. 使用以下代码创建架构。

    import boto3

personalize = boto3.client('personalize')

with open('schema.json') as f:
    createSchemaResponse = personalize.create_schema(
        name = 'YourSchema',
        schema = f.read()
    )

schema_arn = createSchemaResponse['schemaArn']

print('Schema ARN:' + schema_arn )

  4. Amazon Personalize 返回新架构的 ARN。请将其存储以便将来使用。

Amazon Personalize 提供了用于管理架构的操作。例如，您可以使用 ListSchemas API 来获取可用架构的列表。

在创建架构后，将它用于与架构匹配的数据集。有关更多信息，请参阅格式化输入数据。