本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。
将 Amazon DynamoDB 数据库作为 Amazon Database Migration Service的目标
您可以使用将数据迁移 Amazon DMS 到 Amazon DynamoDB 表。Amazon DynamoDB 是一项完全托管的 NoSQL 数据库服务，可提供快速且可预测的性能以及无缝可扩展性。 Amazon DMS 支持使用关系数据库或 MongoDB 作为源。
在 DynamoDB 中，表、项目和属性是您使用的核心组件。表是项目的集合，而每个项目是属性的集合。DynamoDB 使用称为分区键的主键来唯一标识表中的各个项目。您还可以使用键和辅助索引来提供更具灵活性的查询。
您将使用对象映射将数据从源数据库迁移到目标 DynamoDB 表。使用对象映射可以确定源数据是否位于目标中。
在 DynamoDB 目标终端节点上 Amazon DMS 创建表时，它创建的表数量与源数据库终端节点中的表数量相同。 Amazon DMS 还会设置多个 DynamoDB 参数值。创建表的成本取决于要迁移的数据量和表数。
注意
Amazon DMS 控制台或 API 上的 SSL 模式选项不适用于某些数据流和 NoSQL 服务，例如 Kinesis 和 DynamoDB。默认情况下，它们是安全的，因此 Amazon DMS 显示 SSL 模式设置等于无（SSL 模式=无）。您无需为端点提供任何其他配置即可使用 SSL。例如，使用 DynamoDB 作为目标端点时，默认情况下它是安全的。所有对 DynamoDB 的 API 调用都使用 SSL，因此无需在终端节点中添加额外的 SSL 选项。 Amazon DMS 您可以使用 HTTPS 协议通过 SSL 端点安全地存放数据和检索数据， Amazon DMS 在连接到 DynamoDB 数据库时默认使用该协议。
为了帮助提高传输速度， Amazon DMS 支持向 DynamoDB 目标实例进行多线程满载。对于包含下列内容的任务设置，DMS 支持此多线程处理：
-
MaxFullLoadSubTasks– 使用此选项指示要并行加载的表的最大数目。DMS 使用专用的子任务将各个表加载到其对应的 DynamoDB 目标表。默认值是 8。最大值为 49。 -
ParallelLoadThreads— 使用此选项指定用于将每个表加载到其 DynamoDB 目标表中的线程数。 Amazon DMS 默认值是 0（单线程）。最大值为 200。您可以请求提高此最大值限制。注意
DMS 将表的各个段分配到其自己的线程进行加载。因此，将
ParallelLoadThreads设置您为源中表指定的最大段数量。 -
ParallelLoadBufferSize– 使用此选项指定在缓冲区（并行加载线程将数据加载到 DynamoDB 目标时使用）中存储的最大记录数。默认值是 50。最大值为 1000。将此设置与ParallelLoadThreads一起使用；仅在有多个线程时ParallelLoadBufferSize才有效。 -
各个表的 Table-mapping 设置 – 使用
table-settings规则标识您希望并行加载的源中各个表。另外可使用这些规则来指定如何为多线程加载的每个表的行分段。有关更多信息，请参阅 表和集合设置规则和操作。
注意
为迁移任务 Amazon DMS 设置 DynamoDB 参数值时，默认读取容量单位 (RCU) 参数值将设置为 200。
还会设置写入容量单位 (WCU) 参数值，但该参数值取决于几个其他设置：
-
WCU 参数的默认值为 200。
-
如果
ParallelLoadThreads任务设置为大于 1（默认值为 0），则 WCU 参数设置为ParallelLoadThreads值的 200 倍。 标准 Amazon DMS 使用费适用于您使用的资源。
从关系数据库迁移到 DynamoDB 表
Amazon DMS 支持将数据迁移到 DynamoDB 标量数据类型。从 Oracle 或 MySQL 等关系数据库迁移到 DynamoDB 时，您可能希望重构存储此数据的方式。
目前 Amazon DMS 支持从单表到单表重构为 DynamoDB 标量类型属性。如果您从关系数据库表迁移数据到 DynamoDB 中，您将从表中获取数据并将其重新格式化为 DynamoDB 标量数据类型属性。这些属性可以接受多个列中的数据，并且您可以直接将列映射到属性。
Amazon DMS 支持以下 DynamoDB 标量数据类型：
-
字符串
-
数字
-
布尔值
注意
源中的 NULL 数据在目标上会被忽略。
使用 DynamoDB 作为目标的先决条件 Amazon Database Migration Service
在开始使用 DynamoDB 数据库作为目标 Amazon DMS之前，请务必创建一个 IAM 角色。此 IAM 角色应允许 Amazon DMS 代入并授予对要迁移到的 DynamoDB 表的访问权限。以下 IAM policy 中显示了所需的最小访问权限集合。
{ "Version": "2012-10-17", "Statement": [ { "Sid": "", "Effect": "Allow", "Principal": { "Service": "dms.amazonaws.com" }, "Action": "sts:AssumeRole" } ] }
您在迁移到 DynamoDB 时使用的角色必须具有以下权限：
{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "dynamodb:PutItem", "dynamodb:CreateTable", "dynamodb:DescribeTable", "dynamodb:DeleteTable", "dynamodb:DeleteItem", "dynamodb:UpdateItem" ], "Resource": [ "arn:aws:dynamodb:us-west-2:account-id:table/name1", "arn:aws:dynamodb:us-west-2:account-id:table/OtherName*", "arn:aws:dynamodb:us-west-2:account-id:table/awsdms_apply_exceptions", "arn:aws:dynamodb:us-west-2:account-id:table/awsdms_full_load_exceptions" ] }, { "Effect": "Allow", "Action": [ "dynamodb:ListTables" ], "Resource": "*" } ] }
使用 DynamoDB 作为目标时的限制 Amazon Database Migration Service
将 DynamoDB 作为目标时存在以下限制：
-
DynamoDB 将数字数据类型的精度限制为 38 位。所有具有更高精度的数据类型应作为字符串存储。您需要使用对象映射功能明确指定这一点。
-
由于 DynamoDB 没有日期数据类型，使用日期数据类型的数据将转换为字符串。
-
DynamoDB 不允许更新主键属性。在将持续复制与更改数据捕获（CDC）一起使用时，该限制是非常重要的，因为这可能会导致在目标中包含不需要的数据。根据对象映射方式，更新主键的 CDC 操作可执行下列两项操作之一。它可能会失败，或插入具有更新后的主键和不完整数据的新项。
-
Amazon DMS 仅支持复制具有非复合主键的表。当您为具有自定义分区键和/或排序键的目标表指定对象映射时除外。
-
Amazon DMS 不支持 LOB 数据，除非它是 CLOB。 Amazon DMS 迁移数据时，将 CLOB 数据转换为 DynamoDB 字符串。
-
使用 DynamoDB 作为目标时，仅 Apply Exceptions 控制表 (
dmslogs.awsdms_apply_exceptions) 受支持。有关控制表的更多信息，请参阅控制表任务设置。 Amazon DMS 不支持将 Dynam
TargetTablePrepMode=TRUNCATE_BEFORE_LOADoDB 作为目标的任务设置。Amazon DMS 不支持将 Dynam
TaskRecoveryTableEnabledoDB 作为目标的任务设置。BatchApply不支持 DynamoDB 终端节点。
使用对象映射将数据迁移到 DynamoDB
Amazon DMS 使用表映射规则将数据从源映射到目标 DynamoDB 表。要将数据映射到 DynamoDB 目标，您必须使用称为 object-mapping 的表映射规则类型。利用对象映射可以定义属性名称以及要迁移到其中的数据。您在使用对象映射时必须具有选择规则。
除了具有分区键和可选的排序键以外，DynamoDB 没有预设结构。如果您有非复合主键，请 Amazon DMS 使用它。如果您有复合主键或者希望使用排序键，请在目标 DynamoDB 表中定义这些键以及其他属性。
要创建对象映射规则，您应将 rule-type 指定为 object-mapping。此规则指定您要使用的对象映射的类型。
规则的结构如下所示：
{ "rules": [ { "rule-type": "object-mapping", "rule-id": "<id>", "rule-name": "<name>", "rule-action": "<valid object-mapping rule action>", "object-locator": { "schema-name": "<case-sensitive schema name>", "table-name": "" }, "target-table-name": "<table_name>" } ] }
Amazon DMS 目前支持将map-record-to-record和map-record-to-document作为该rule-action参数的唯一有效值。这些值指定了默认情况下对未排除在exclude-columns属性列表中的记录执行的 Amazon DMS 操作。这些值不会以任何方式影响属性映射。
-
在从关系数据库迁移到 DynamoDB 时，可以使用
map-record-to-record。它使用关系数据库的主键作为 DynamoDB 中的分区键，并为源数据库中的每个列创建一个属性。使用时map-record-to-record，对于源表中未在exclude-columns属性列表中列出的任何列， Amazon DMS 都会在目标 DynamoDB 实例上创建相应的属性。不论是否在属性映射中使用源列，都会执行此操作。 -
使用
map-record-to-document将源列放入目标上的、使用属性名称“_doc”的单个扁平化 DynamoDB 映射中。使用时map-record-to-document，将数据 Amazon DMS 放入源上单个、扁平的 DynamoDB 地图属性中。此属性称为“_doc”。此放置应用于源表中的未在exclude-columns属性列表中列出的任何列。
了解 rule-action 参数 map-record-to-record 和 map-record-to-document 之间的差异的一种方法是，查看两个参数的实际使用情况。对于本示例，假定您使用关系数据库表行开始处理，该行具有以下结构和数据：
要将此信息迁移到 DynamoDB，您将创建规则来将数据映射到 DynamoDB 表项目中。请注意为 exclude-columns 参数列出的列。这些列不直接映射到目标上；取而代之的是，属性映射用于将数据合并成新项目，例如将位置FirstName和分组LastName在一起以变成 CustomerNameDynamoDB 目标。 NickName而且收入不包括在内。
{ "rules": [ { "rule-type": "selection", "rule-id": "1", "rule-name": "1", "object-locator": { "schema-name": "test", "table-name": "%" }, "rule-action": "include" }, { "rule-type": "object-mapping", "rule-id": "2", "rule-name": "TransformToDDB", "rule-action": "map-record-to-record", "object-locator": { "schema-name": "test", "table-name": "customer" }, "target-table-name": "customer_t", "mapping-parameters": { "partition-key-name": "CustomerName", "exclude-columns": [ "FirstName", "LastName", "HomeAddress", "HomePhone", "WorkAddress", "WorkPhone" ], "attribute-mappings": [ { "target-attribute-name": "CustomerName", "attribute-type": "scalar", "attribute-sub-type": "string", "value": "${FirstName},${LastName}" }, { "target-attribute-name": "ContactDetails", "attribute-type": "document", "attribute-sub-type": "dynamodb-map", "value": { "M": { "Home": { "M": { "Address": { "S": "${HomeAddress}" }, "Phone": { "S": "${HomePhone}" } } }, "Work": { "M": { "Address": { "S": "${WorkAddress}" }, "Phone": { "S": "${WorkPhone}" } } } } } } ] } } ] }
通过使用rule-action参数 map-record-to-record，可以将数据NickName和收入映射到 DynamoDB 目标中的同名项目。
但是，假设您使用相同的规则，但将rule-action参数更改为map-record-to-document。在这种情况下，exclude-columns参数中未列出的列NickName和收入将映射到 _doc 项目。
使用自定义条件表达式和对象映射
您可以使用 DynamoDB 中称为条件表达式的功能来操作写入到 DynamoDB 表的数据。有关 DynamoDB 中条件表达式的更多信息，请参阅条件表达式。
条件表达式成员包括：
-
一个表达式 (必需)
-
表达式属性值 (可选)。指定属性值的 DynamoDB json 结构
-
表达式属性名 (可选)
-
确定何时使用条件表达式的选项 (可选)。默认值为 apply-during-cdc = false 和 apply-during-full-load = true
规则的结构如下所示：
"target-table-name": "customer_t", "mapping-parameters": { "partition-key-name": "CustomerName", "condition-expression": { "expression":"<conditional expression>", "expression-attribute-values": [ { "name":"<attribute name>", "value":<attribute value> } ], "apply-during-cdc":<optional Boolean value>, "apply-during-full-load": <optional Boolean value> }
下面的示例强调了用于条件表达式的部分。
使用属性映射和对象映射
利用属性映射可以使用源列名来指定模板字符串，以便重建目标上数据的结构。除了用户在模板中指定的内容以外，不进行任何其他格式设置。
以下示例显示了源数据库的结构和所需的 DynamoDB 目标结构。首先显示的是源结构，在本例中为 Oracle 数据库，然后显示 DynamoDB 中所需的数据结构。该示例在结尾处提供了用于创建所需目标结构的 JSON。
Oracle 数据的结构如下所示：
| FirstName | LastName | StoreId | HomeAddress | HomePhone | WorkAddress | WorkPhone | DateOfBirth |
|---|---|---|---|---|---|---|---|
| 主键 | 不适用 | ||||||
| Randy | Marsh | 5 | 221B Baker Street | 1234567890 | 31 Spooner Street, Quahog | 9876543210 | 02/29/1988 |
DynamoDB 数据的结构如下所示：
| CustomerName | StoreId | ContactDetails | DateOfBirth |
|---|---|---|---|
| 分区键 | 排序键 | 不适用 | |
|
|
|
|
下面的 JSON 显示用于实现 DynamoDB 结构的对象映射和列映射：
{ "rules": [ { "rule-type": "selection", "rule-id": "1", "rule-name": "1", "object-locator": { "schema-name": "test", "table-name": "%" }, "rule-action": "include" }, { "rule-type": "object-mapping", "rule-id": "2", "rule-name": "TransformToDDB", "rule-action": "map-record-to-record", "object-locator": { "schema-name": "test", "table-name": "customer" }, "target-table-name": "customer_t", "mapping-parameters": { "partition-key-name": "CustomerName", "sort-key-name": "StoreId", "exclude-columns": [ "FirstName", "LastName", "HomeAddress", "HomePhone", "WorkAddress", "WorkPhone" ], "attribute-mappings": [ { "target-attribute-name": "CustomerName", "attribute-type": "scalar", "attribute-sub-type": "string", "value": "${FirstName},${LastName}" }, { "target-attribute-name": "StoreId", "attribute-type": "scalar", "attribute-sub-type": "string", "value": "${StoreId}" }, { "target-attribute-name": "ContactDetails", "attribute-type": "scalar", "attribute-sub-type": "string", "value": "{\"Name\":\"${FirstName}\",\"Home\":{\"Address\":\"${HomeAddress}\",\"Phone\":\"${HomePhone}\"}, \"Work\":{\"Address\":\"${WorkAddress}\",\"Phone\":\"${WorkPhone}\"}}" } ] } } ] }
使用列映射的另一种方法是使用 DynamoDB 格式作为您的文档类型。以下代码示例将 dynamodb-map 作为属性映射的 attribute-sub-type。
{ "rules": [ { "rule-type": "selection", "rule-id": "1", "rule-name": "1", "object-locator": { "schema-name": "test", "table-name": "%" }, "rule-action": "include" }, { "rule-type": "object-mapping", "rule-id": "2", "rule-name": "TransformToDDB", "rule-action": "map-record-to-record", "object-locator": { "schema-name": "test", "table-name": "customer" }, "target-table-name": "customer_t", "mapping-parameters": { "partition-key-name": "CustomerName", "sort-key-name": "StoreId", "exclude-columns": [ "FirstName", "LastName", "HomeAddress", "HomePhone", "WorkAddress", "WorkPhone" ], "attribute-mappings": [ { "target-attribute-name": "CustomerName", "attribute-type": "scalar", "attribute-sub-type": "string", "value": "${FirstName},${LastName}" }, { "target-attribute-name": "StoreId", "attribute-type": "scalar", "attribute-sub-type": "string", "value": "${StoreId}" }, { "target-attribute-name": "ContactDetails", "attribute-type": "document", "attribute-sub-type": "dynamodb-map", "value": { "M": { "Name": { "S": "${FirstName}" }, "Home": { "M": { "Address": { "S": "${HomeAddress}" }, "Phone": { "S": "${HomePhone}" } } }, "Work": { "M": { "Address": { "S": "${WorkAddress}" }, "Phone": { "S": "${WorkPhone}" } } } } } } ] } } ] }
作为替代方案dynamodb-map，您可以使用dynamodb-list作为 f attribute-sub-type or 属性映射，如以下示例所示。
{ "target-attribute-name": "ContactDetailsList", "attribute-type": "document", "attribute-sub-type": "dynamodb-list", "value": { "L": [ { "N": "${FirstName}" }, { "N": "${HomeAddress}" }, { "N": "${HomePhone}" }, { "N": "${WorkAddress}" }, { "N": "${WorkPhone}" } ] } }
示例 1：使用属性映射和对象映射
以下示例将数据从两个 MySQL 数据库表 nfl_data 和 sport_ team 迁移到两个名为和的 DynamoDB 表。NFLTeamsSportTeams表的结构以及用于将数据从 MySQL 数据库表映射到 DynamoDB 表的 JSON 如下所示。
MySQL 数据库表 nfl_data 的结构如下所示：
mysql> desc nfl_data; +---------------+-------------+------+-----+---------+-------+ | Field | Type | Null | Key | Default | Extra | +---------------+-------------+------+-----+---------+-------+ | Position | varchar(5) | YES | | NULL | | | player_number | smallint(6) | YES | | NULL | | | Name | varchar(40) | YES | | NULL | | | status | varchar(10) | YES | | NULL | | | stat1 | varchar(10) | YES | | NULL | | | stat1_val | varchar(10) | YES | | NULL | | | stat2 | varchar(10) | YES | | NULL | | | stat2_val | varchar(10) | YES | | NULL | | | stat3 | varchar(10) | YES | | NULL | | | stat3_val | varchar(10) | YES | | NULL | | | stat4 | varchar(10) | YES | | NULL | | | stat4_val | varchar(10) | YES | | NULL | | | team | varchar(10) | YES | | NULL | | +---------------+-------------+------+-----+---------+-------+
MySQL 数据库表 sport_team 的结构如下所示：
mysql> desc sport_team; +---------------------------+--------------+------+-----+---------+----------------+ | Field | Type | Null | Key | Default | Extra | +---------------------------+--------------+------+-----+---------+----------------+ | id | mediumint(9) | NO | PRI | NULL | auto_increment | | name | varchar(30) | NO | | NULL | | | abbreviated_name | varchar(10) | YES | | NULL | | | home_field_id | smallint(6) | YES | MUL | NULL | | | sport_type_name | varchar(15) | NO | MUL | NULL | | | sport_league_short_name | varchar(10) | NO | | NULL | | | sport_division_short_name | varchar(10) | YES | | NULL | |
将这两个表映射到两个 DynamoDB 表时使用的表映射规则如下所示：
{ "rules":[ { "rule-type": "selection", "rule-id": "1", "rule-name": "1", "object-locator": { "schema-name": "dms_sample", "table-name": "nfl_data" }, "rule-action": "include" }, { "rule-type": "selection", "rule-id": "2", "rule-name": "2", "object-locator": { "schema-name": "dms_sample", "table-name": "sport_team" }, "rule-action": "include" }, { "rule-type":"object-mapping", "rule-id":"3", "rule-name":"MapNFLData", "rule-action":"map-record-to-record", "object-locator":{ "schema-name":"dms_sample", "table-name":"nfl_data" }, "target-table-name":"NFLTeams", "mapping-parameters":{ "partition-key-name":"Team", "sort-key-name":"PlayerName", "exclude-columns": [ "player_number", "team", "name" ], "attribute-mappings":[ { "target-attribute-name":"Team", "attribute-type":"scalar", "attribute-sub-type":"string", "value":"${team}" }, { "target-attribute-name":"PlayerName", "attribute-type":"scalar", "attribute-sub-type":"string", "value":"${name}" }, { "target-attribute-name":"PlayerInfo", "attribute-type":"scalar", "attribute-sub-type":"string", "value":"{\"Number\": \"${player_number}\",\"Position\": \"${Position}\",\"Status\": \"${status}\",\"Stats\": {\"Stat1\": \"${stat1}:${stat1_val}\",\"Stat2\": \"${stat2}:${stat2_val}\",\"Stat3\": \"${stat3}:${ stat3_val}\",\"Stat4\": \"${stat4}:${stat4_val}\"}" } ] } }, { "rule-type":"object-mapping", "rule-id":"4", "rule-name":"MapSportTeam", "rule-action":"map-record-to-record", "object-locator":{ "schema-name":"dms_sample", "table-name":"sport_team" }, "target-table-name":"SportTeams", "mapping-parameters":{ "partition-key-name":"TeamName", "exclude-columns": [ "name", "id" ], "attribute-mappings":[ { "target-attribute-name":"TeamName", "attribute-type":"scalar", "attribute-sub-type":"string", "value":"${name}" }, { "target-attribute-name":"TeamInfo", "attribute-type":"scalar", "attribute-sub-type":"string", "value":"{\"League\": \"${sport_league_short_name}\",\"Division\": \"${sport_division_short_name}\"}" } ] } } ] }
NFLTeamsDynamoDB 表的示例输出如下所示：
"PlayerInfo": "{\"Number\": \"6\",\"Position\": \"P\",\"Status\": \"ACT\",\"Stats\": {\"Stat1\": \"PUNTS:73\",\"Stat2\": \"AVG:46\",\"Stat3\": \"LNG:67\",\"Stat4\": \"IN 20:31\"}", "PlayerName": "Allen, Ryan", "Position": "P", "stat1": "PUNTS", "stat1_val": "73", "stat2": "AVG", "stat2_val": "46", "stat3": "LNG", "stat3_val": "67", "stat4": "IN 20", "stat4_val": "31", "status": "ACT", "Team": "NE" }
SportsTeams DynamoDB 表的示例输出如下所示：
{ "abbreviated_name": "IND", "home_field_id": 53, "sport_division_short_name": "AFC South", "sport_league_short_name": "NFL", "sport_type_name": "football", "TeamInfo": "{\"League\": \"NFL\",\"Division\": \"AFC South\"}", "TeamName": "Indianapolis Colts" }
DynamoDB 的目标数据类型
的 DynamoDB 终端节点 Amazon DMS 支持大多数 DynamoDB 数据类型。下表显示了使用时支持的 Amazon Amazon DMS 目标数据类型 Amazon DMS 以及 Amazon DMS 数据类型的默认映射。
有关 Amazon DMS 数据类型的更多信息，请参见Database Migration Servic Amazon e 的数据类型。
Amazon DMS 迁移来自异构数据库的数据时，我们会将源数据库中的数据类型映射到称为 Amazon DMS 数据类型的中间数据类型。然后，我们将中间数据类型映射到目标数据类型。下表显示了每种 Amazon DMS 数据类型及其在 DynamoDB 中映射到的数据类型：
| Amazon DMS 数据类型 | DynamoDB 数据类型 |
|---|---|
|
字符串 |
字符串 |
|
WString |
字符串 |
|
布尔值 |
布尔值 |
|
日期 |
字符串 |
|
DateTime |
字符串 |
|
INT1 |
数字 |
|
INT2 |
数字 |
|
INT4 |
数字 |
|
INT8 |
数字 |
|
数值 |
数字 |
|
Real4 |
数字 |
|
Real8 |
数字 |
|
UINT1 |
数字 |
|
UINT2 |
数字 |
|
UINT4 |
数字 |
| UINT8 | 数字 |
| CLOB | 字符串 |