AWS Database Migration Service
用户指南 (版本 API Version 2016-01-01)
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

将 Amazon DynamoDB 数据库作为 AWS Database Migration Service 目标

您可以使用 AWS DMS 将数据迁移到 Amazon DynamoDB 表。Amazon DynamoDB 是一种完全托管的 NoSQL 数据库服务,提供快速可预测的性能,同时还能够实现无缝扩展。AWS DMS 支持使用关系数据库或 MongoDB 作为源。

在 DynamoDB 中,表、项目和属性是您使用的核心组件。表是项目的集合,而每个项目是属性的集合。DynamoDB 使用名为分区键的主键来唯一标识表中的每个项目。您还可以使用键和辅助索引来提供更具灵活性的查询。

您使用对象映射将数据从源数据库迁移到目标 DynamoDB 表。使用对象映射可以确定源数据是否位于目标中。

当 AWS DMS 在 Amazon DynamoDB 目标终端节点上创建表时,它创建与源数据库终端节点相同数量的表。AWS DMS 还会设置几个 Amazon DynamoDB 参数值。创建表的成本取决于要迁移的数据量和表数。

当 AWS DMS 为迁移任务设置 Amazon DynamoDB 参数值时,默认读取容量单位 (RCU) 参数值设置为 200。

还会设置写入容量单位 (WCU) 参数值,但该参数值取决于几个其他设置:

  • WCU 参数的默认值为 200。

  • 如果 parallelLoadThreads 参数设置为大于 1 (默认值为 0),则 WCU 参数设置为 200 乘以 parallelLoadThreads 值。

  • 在美国东部 (弗吉尼亚北部) 地区 (us-east-1),可能的最大 WCU 参数值为 40000。如果 AWS 区域为 us-east-1,并且 WCU 参数值大于 40000,则 WCU 参数值设置为 40000。

  • 在 us-east-1 以外的 AWS 区域中,可能的最大 WCU 参数值为 10000。对于 us-east-1 以外的任何 AWS 区域,如果 WCU 参数值设置为大于 10000,则 WCU 参数值设置为 10000。

从关系数据库迁移到 DynamoDB 表

AWS DMS 支持将数据迁移到 DynamoDB 标量数据类型。在从 Oracle 或 MySQL 等关系数据库迁移到 DynamoDB 时,您可能希望重构存储此数据的方式。

目前,AWS DMS 支持单个表到单个表重构到 DynamoDB 标量类型属性。如果您将数据从关系数据库表迁移到 DynamoDB 中,则将从表中获取数据并将其重新格式化为 DynamoDB 标量数据类型属性。这些属性可以接受多个列中的数据,并且您可以直接将列映射到属性。

AWS DMS 支持以下 DynamoDB 标量数据类型:

  • String

  • 数字

  • 布尔型

注意

源中的 NULL 数据在目标上会被忽略。

将 DynamoDB 作为 AWS Database Migration Service 目标的先决条件

在开始使用 DynamoDB 数据库作为 AWS DMS 的目标之前,请确保您已创建 IAM 角色。此 IAM 角色应允许 AWS DMS 代入并授予对要迁移到的 DynamoDB 表的访问权限。以下示例角色策略中显示了所需的最低访问权限集合。

{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": { "Service": "dms.amazonaws.com" }, "Action": "sts:AssumeRole" } ] }

您在迁移到 DynamoDB 时使用的角色必须具有以下权限。

{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "dynamodb:PutItem", "dynamodb:CreateTable", "dynamodb:DescribeTable", "dynamodb:DeleteTable", "dynamodb:DeleteItem" ], "Resource": [ "arn:aws:dynamodb:us-west-2:account-id:table/Name1", "arn:aws:dynamodb:us-west-2:account-id:table/OtherName*", ] }, { "Effect": "Allow", "Action": [ "dynamodb:ListTables" ], "Resource": "*" } ] }

将 DynamoDB 作为 AWS Database Migration Service 目标时的限制

将 Amazon DynamoDB 作为目标时存在以下限制:

  • DynamoDB 将数字数据类型的精度限制为 38 位。所有具有更高精度的数据类型应作为字符串存储。您需要使用对象映射功能明确指定这一点。

  • 由于 Amazon DynamoDB 没有日期数据类型,因此使用日期数据类型的数据将转换为字符串。

  • Amazon DynamoDB 不允许更新主键属性。在将持续复制与更改数据捕获 (CDC) 一起使用时,该限制是非常重要的,因为这可能会导致在目标中包含不需要的数据。根据对象映射方式,更新主键的 CDC 操作可执行下列两项操作之一。它可能会失败,或插入具有更新后的主键和不完整数据的新项。

  • AWS DMS 仅支持复制包含非复合主键的表。当您为具有自定义分区键和/或排序键的目标表指定对象映射时除外。

  • AWS DMS 不支持 LOB 数据,除非它是 CLOB。在迁移数据时,AWS DMS 将 CLOB 数据转换为 DynamoDB 字符串。

  • 使用 DynamoDB 作为目标时,仅 Apply Exceptions 控制表 (dmslogs.awsdms_apply_exceptions) 受支持。有关控制表的更多信息,请参阅控制表任务设置

使用对象映射将数据迁移到 DynamoDB

AWS DMS 使用表映射规则将数据从源映射到目标 DynamoDB 表。要将数据映射到 DynamoDB 目标,您必须使用称为 object-mapping 的表映射规则类型。利用对象映射可以定义属性名称以及要迁移到其中的数据。您在使用对象映射时必须具有选择规则。

除了具有分区键和可选的排序键以外,Amazon DynamoDB 没有预设结构。如果有非复合主键,AWS DMS 将使用该主键。如果您有复合主键或者希望使用排序键,请在目标 DynamoDB 表中定义这些键以及其他属性。

要创建对象映射规则,您应将 rule-type 指定为 object-mapping。此规则指定您要使用的对象映射的类型。

规则的结构如下所示:

{ "rules": [ { "rule-type": "object-mapping", "rule-id": "<id>", "rule-name": "<name>", "rule-action": "<valid object-mapping rule action>", "object-locator": { "schema-name": "<case-sensitive schema name>", "table-name": "" }, "target-table-name": "<table_name>", } } ] }

AWS DMS 目前支持 map-record-to-recordmap-record-to-document 作为 rule-action 参数的唯一有效值。这些值指定 AWS DMS 默认情况下对未作为 exclude-columns 属性列表的一部分排除的记录执行的操作。这些值不会以任何方式影响属性映射。

  • 在从关系数据库迁移到 DynamoDB 时,可以使用 map-record-to-record。它使用关系数据库的主键作为 Amazon DynamoDB 中的分区键,并为源数据库中的每个列创建一个属性。在使用 map-record-to-record 时,对于源表中未在 exclude-columns 属性列表中列出的任何列,AWS DMS 将在目标 DynamoDB 实例上创建对应的属性。不论是否在属性映射中使用源列,都会执行此操作。

  • 使用 map-record-to-document 将源列放入目标上的使用属性名称“_doc.”的单个扁平化 DynamoDB 映射中。 在使用 map-record-to-document 时,AWS DMS 将数据放入源上的单个扁平化 DynamoDB 映射属性中。此属性称为“_doc”。此放置应用于源表中的未在 exclude-columns 属性列表中列出的任何列。

了解 rule-action 参数 map-record-to-recordmap-record-to-document 之间的差异的一种方法是,查看两个参数的实际使用情况。对于本示例,假定您使用关系数据库表行开始处理,该行具有以下结构和数据:


                    举例而言,示例数据库

要将此信息迁移到 DynamoDB,您可以创建规则来将数据映射到 DynamoDB 表项目中。请注意为 exclude-columns 参数列出的列。这些列不直接映射到目标上;而是使用属性映射将数据并入新项目中,例如,将 FirstNameLastName 分组到一起以变成 DynamoDB 目标上的 CustomerName。未排除 NickNameincome

{ "rules": [ { "rule-type": "selection", "rule-id": "1", "rule-name": "1", "object-locator": { "schema-name": "test", "table-name": "%" }, "rule-action": "include" }, { "rule-type": "object-mapping", "rule-id": "1", "rule-name": "TransformToDDB", "rule-action": "map-record-to-record", "object-locator": { "schema-name": "test", "table-name": "customer" }, "target-table-name": "customer_t", "mapping-parameters": { "partition-key-name": "CustomerName", "exclude-columns": [ "FirstName", "LastName", "HomeAddress", "HomePhone", "WorkAddress", "WorkPhone" ], "attribute-mappings": [ { "target-attribute-name": "CustomerName", "attribute-type": "scalar", "attribute-sub-type": "string", "value": "${FirstName},${LastName}" }, { "target-attribute-name": "ContactDetails", "attribute-type": "document", "attribute-sub-type": "dynamodb-map", "value": { "M": { "Home": { "M": { "Address": { "S": "${HomeAddress}" }, "Phone": { "S": "${HomePhone}" } } }, "Work": { "M": { "Address": { "S": "${WorkAddress}" }, "Phone": { "S": "${WorkPhone}" } } } } } } ] } } ] }

通过使用 rule-action 参数 map-record-to-recordNickNameincome 的数据将映射到 DynamoDB 目标中同名的项目。


                    开始使用 AWS DMS

但是,假设您使用相同的规则,但将 rule-action 参数更改为 map-record-to-document。在这种情况下,exclude-columns 参数中未列出的列 NickNameincome 将映射到 _doc 项目。


                    开始使用 AWS DMS

使用自定义条件表达式和对象映射

您可以使用 Amazon DynamoDB 中称为条件表达式的功能来操作写入到 DynamoDB 表的数据。有关 DynamoDB 中条件表达式的更多信息,请参阅条件表达式

条件表达式成员包括:

  • 一个表达式 (必需)

  • 表达式属性值 (可选)。指定属性值的 DynamoDB json 结构

  • 表达式属性名 (可选)

  • 确定何时使用条件表达式的选项 (可选)。默认值为 apply-during-cdc = false 和 apply-during-full-load = true

规则的结构如下所示:

"target-table-name": "customer_t", "mapping-parameters": { "partition-key-name": "CustomerName", "condition-expression": { "expression":"<conditional expression>", "expression-attribute-values": [ { "name":"<attribute name>", "value":<attribute value> } ], "apply-during-cdc":<optional Boolean value>, "apply-during-full-load": <optional Boolean value> }

下面的示例强调了用于条件表达式的部分。


                        开始使用 AWS DMS

使用属性映射和对象映射

利用属性映射可以使用源列名来指定模板字符串,以便重建目标上数据的结构。除了用户在模板中指定的内容以外,不进行任何其他格式设置。

以下示例显示了源数据库的结构和所需的 DynamoDB 目标结构。首先显示的是源结构,在此示例中为 Oracle 数据库,然后显示 DynamoDB 中所需的数据结构。该示例在结尾处提供了用于创建所需目标结构的 JSON。

Oracle 数据的结构如下所示:

FirstName LastName StoreId HomeAddress HomePhone WorkAddress WorkPhone DateOfBirth
主键 不适用
Randy Marsh 5 221B Baker Street 1234567890 31 Spooner Street, Quahog 9876543210 02/29/1988

DynamoDB 数据的结构如下所示:

CustomerName StoreId ContactDetails DateOfBirth
分区键 排序键 不适用
Randy,Marsh
5
{ "Name": "Randy", "Home": { "Address": "221B Baker Street", "Phone": 1234567890 }, "Work": { "Address": "31 Spooner Street, Quahog", "Phone": 9876541230 } }
02/29/1988

下面的 JSON 显示用于实现 DynamoDB 结构的对象映射和列映射:

{ "rules": [ { "rule-type": "selection", "rule-id": "1", "rule-name": "1", "object-locator": { "schema-name": "test", "table-name": "%" }, "rule-action": "include" }, { "rule-type": "object-mapping", "rule-id": "2", "rule-name": "TransformToDDB", "rule-action": "map-record-to-record", "object-locator": { "schema-name": "test", "table-name": "customer" }, "target-table-name": "customer_t", "mapping-parameters": { "partition-key-name": "CustomerName", "sort-key-name": "StoreId", "exclude-columns": [ "FirstName", "LastName", "HomeAddress", "HomePhone", "WorkAddress", "WorkPhone" ], "attribute-mappings": [ { "target-attribute-name": "CustomerName", "attribute-type": "scalar", "attribute-sub-type": "string", "value": "${FirstName},${LastName}" }, { "target-attribute-name": "StoreId", "attribute-type": "scalar", "attribute-sub-type": "string", "value": "${StoreId}" }, { "target-attribute-name": "ContactDetails", "attribute-type": "scalar", "attribute-sub-type": "string", "value": "{\"Name\":\"${FirstName}\",\"Home\":{\"Address\":\"${HomeAddress}\",\"Phone\":\"${HomePhone}\"}, \"Work\":{\"Address\":\"${WorkAddress}\",\"Phone\":\"${WorkPhone}\"}}" } ] } } ] }

使用列映射的另一种方法是使用 DynamoDB 格式作为您的文档类型。以下代码示例将 dynamodb-map 作为属性映射的 attribute-sub-type

{ "rules": [ { "rule-type": "selection", "rule-id": "1", "rule-name": "1", "object-locator": { "schema-name": "test", "table-name": "%" }, "rule-action": "include" }, { "rule-type": "object-mapping", "rule-id": "2", "rule-name": "TransformToDDB", "rule-action": "map-record-to-record", "object-locator": { "schema-name": "test", "table-name": "customer" }, "target-table-name": "customer_t", "mapping-parameters": { "partition-key-name": "CustomerName", "sort-key-name": "StoreId", "exclude-columns": [ "FirstName", "LastName", "HomeAddress", "HomePhone", "WorkAddress", "WorkPhone" ], "attribute-mappings": [ { "target-attribute-name": "CustomerName", "attribute-type": "scalar", "attribute-sub-type": "string", "value": "${FirstName},${LastName}" }, { "target-attribute-name": "StoreId", "attribute-type": "scalar", "attribute-sub-type": "string", "value": "${StoreId}" }, { "target-attribute-name": "ContactDetails", "attribute-type": "scalar", "attribute-sub-type": "string", "value": "{\"Name\":\"${FirstName}\",\"Home\":{\"Address\":\"${HomeAddress}\",\"Phone\":\"${HomePhone}\"}, \"Work\":{\"Address\":\"${WorkAddress}\",\"Phone\":\"${WorkPhone}\"}}" } ] } } ] }

示例 1:使用属性映射和对象映射

以下示例将数据从两个 MySQL 数据库表 nfl_datasport_team 迁移到两个分别名为 NFLTeamsSportTeams 的 DynamoDB 表。表的结构以及用于将数据从 MySQL 数据库表映射到 DynamoDB 表的 JSON 如下所示。

MySQL 数据库表 nfl_data 的结构如下所示:

mysql> desc nfl_data; +---------------+-------------+------+-----+---------+-------+ | Field | Type | Null | Key | Default | Extra | +---------------+-------------+------+-----+---------+-------+ | Position | varchar(5) | YES | | NULL | | | player_number | smallint(6) | YES | | NULL | | | Name | varchar(40) | YES | | NULL | | | status | varchar(10) | YES | | NULL | | | stat1 | varchar(10) | YES | | NULL | | | stat1_val | varchar(10) | YES | | NULL | | | stat2 | varchar(10) | YES | | NULL | | | stat2_val | varchar(10) | YES | | NULL | | | stat3 | varchar(10) | YES | | NULL | | | stat3_val | varchar(10) | YES | | NULL | | | stat4 | varchar(10) | YES | | NULL | | | stat4_val | varchar(10) | YES | | NULL | | | team | varchar(10) | YES | | NULL | | +---------------+-------------+------+-----+---------+-------+

MySQL 数据库表 sport_team 的结构如下所示:

mysql> desc sport_team; +---------------------------+--------------+------+-----+---------+----------------+ | Field | Type | Null | Key | Default | Extra | +---------------------------+--------------+------+-----+---------+----------------+ | id | mediumint(9) | NO | PRI | NULL | auto_increment | | name | varchar(30) | NO | | NULL | | | abbreviated_name | varchar(10) | YES | | NULL | | | home_field_id | smallint(6) | YES | MUL | NULL | | | sport_type_name | varchar(15) | NO | MUL | NULL | | | sport_league_short_name | varchar(10) | NO | | NULL | | | sport_division_short_name | varchar(10) | YES | | NULL | |

将这两个表映射到两个 DynamoDB 表时使用的表映射规则如下所示:

{ "rules":[ { "rule-type": "selection", "rule-id": "1", "rule-name": "1", "object-locator": { "schema-name": "dms_sample", "table-name": "nfl_data" }, "rule-action": "include" }, { "rule-type": "selection", "rule-id": "2", "rule-name": "2", "object-locator": { "schema-name": "dms_sample", "table-name": "sport_team" }, "rule-action": "include" }, { "rule-type":"object-mapping", "rule-id":"3", "rule-name":"MapNFLData", "rule-action":"map-record-to-record", "object-locator":{ "schema-name":"dms_sample", "table-name":"nfl_data" }, "target-table-name":"NFLTeams", "mapping-parameters":{ "partition-key-name":"Team", "sort-key-name":"PlayerName", "exclude-columns": [ "player_number", "team", "Name" ], "attribute-mappings":[ { "target-attribute-name":"Team", "attribute-type":"scalar", "attribute-sub-type":"string",e "value":"${team}" }, { "target-attribute-name":"PlayerName", "attribute-type":"scalar", "attribute-sub-type":"string", "value":"${Name}" }, { "target-attribute-name":"PlayerInfo", "attribute-type":"scalar", "attribute-sub-type":"string", "value":"{\"Number\": \"${player_number}\",\"Position\": \"${Position}\",\"Status\": \"${status}\",\"Stats\": {\"Stat1\": \"${stat1}:${stat1_val}\",\"Stat2\": \"${stat2}:${stat2_val}\",\"Stat3\": \"${stat3}:${ stat3_val}\",\"Stat4\": \"${stat4}:${stat4_val}\"}" } ] } }, { "rule-type":"object-mapping", "rule-id":"4", "rule-name":"MapSportTeam", "rule-action":"map-record-to-record", "object-locator":{ "schema-name":"dms_sample", "table-name":"sport_team" }, "target-table-name":"SportTeams", "mapping-parameters":{ "partition-key-name":"TeamName", "exclude-columns": [ "name", "id" ], "attribute-mappings":[ { "target-attribute-name":"TeamName", "attribute-type":"scalar", "attribute-sub-type":"string", "value":"${name}" }, { "target-attribute-name":"TeamInfo", "attribute-type":"scalar", "attribute-sub-type":"string", "value":"{\"League\": \"${sport_league_short_name}\",\"Division\": \"${sport_division_short_name}\"}" } ] } } ] }

NFLTeams DynamoDB 表的示例输出如下所示:

"PlayerInfo": "{\"Number\": \"6\",\"Position\": \"P\",\"Status\": \"ACT\",\"Stats\": {\"Stat1\": \"PUNTS:73\",\"Stat2\": \"AVG:46\",\"Stat3\": \"LNG:67\",\"Stat4\": \"IN 20:31\"}", "PlayerName": "Allen, Ryan", "Position": "P", "stat1": "PUNTS", "stat1_val": "73", "stat2": "AVG", "stat2_val": "46", "stat3": "LNG", "stat3_val": "67", "stat4": "IN 20", "stat4_val": "31", "status": "ACT", "Team": "NE" }

SportsTeams DynamoDB 表的示例输出如下所示:

{ "abbreviated_name": "IND", "home_field_id": 53, "sport_division_short_name": "AFC South", "sport_league_short_name": "NFL", "sport_type_name": "football", "TeamInfo": "{\"League\": \"NFL\",\"Division\": \"AFC South\"}", "TeamName": "Indianapolis Colts" }

DynamoDB 的目标数据类型

AWS DMS 的 Amazon DynamoDB 终端节点支持大多数 DynamoDB 数据类型。下表列出了使用 AWS DMS 时支持的 Amazon AWS DMS 目标数据类型以及来自 AWS DMS 数据类型的默认映射。

有关 AWS DMS 数据类型的其他信息,请参阅AWS Database Migration Service 的数据类型

AWS DMS 从异构数据库迁移数据时,我们将数据类型从源数据库映射到称为 AWS DMS 数据类型的中间数据类型。然后,我们将中间数据类型映射到目标数据类型。下表显示了各种 AWS DMS 数据类型及其映射到 DynamoDB 中的数据类型:

AWS DMS 数据类型 DynamoDB 数据类型

String

String

WString

String

布尔型

布尔型

日期

String

DateTime

String

INT1

数字

INT2

数字

INT4

数字

INT8

数字

数值

数字

Real4

数字

Real8

数字

UINT1

数字

UINT2

数字

UINT4

数字

UINT8 数字
CLOB String