AWS Database Migration Service
用户指南 (版本 API Version 2016-01-01)
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

使用表映射指定任务设置

表映射使用多个类型的规则来指定数据源、源架构、数据以及任务期间将发生的任何转换。可以使用表映射指定数据库中要迁移的单个表和要用于迁移的架构。此外,还可以使用筛选器指定给定表列中要复制的数据。可使用转换修改写入目标数据库中的数据。

通过控制台按表映射指定表选择和转换

可以使用 AWS 管理控制台执行表映射,包括指定表选择和转换。在控制台上,您可以使用 Where (位置) 部分指定架构、表和操作(包括或排除)。使用 Filter (筛选器) 部分指定表中的列名称以及要应用于复制任务的条件。这两个操作共同创建选择规则。

在指定至少一个选择规则后,可以在表映射中包含转换。可以使用转换重命名架构或表,为架构或表添加前缀或后缀,或者删除表列。

以下示例演示如何在名为 EntertainmentAgencySample 的架构中为名为 Customers 的表设置选择规则。在 Guided (指导) 选项卡上创建选择规则和转换。此选项卡仅当您具有带架构和表信息的源终端节点时显示。

使用 AWS 控制台指定表选择、筛选条件和转换

  1. 登录 AWS 管理控制台并选择 AWS DMS。如果以 AWS Identity and Access Management (IAM) 用户身份登录,则必须具有 AWS DMS 的相应访问权限。有关所需权限的更多信息,请参阅使用 AWS DMS 所需的 IAM 权限

  2. 控制面板页中,选择任务

  3. 选择创建任务

  4. 输入任务信息,包括任务名称复制实例源终端节点目标终端节点迁移类型。从 Table mappings (表映射) 部分中选择 Guided (指导)

    
                                架构和表选择
  5. Table mapping (表映射) 部分中,选择架构名称和表名称。在指定表名称时,可以使用“%”作为通配符值。指定包括或排除由筛选器定义的数据所需执行的操作。

    
                                架构和表选择
  6. 使用添加列筛选器添加条件链接指定筛选器信息。

    1. 选择添加列筛选器以指定列和条件。

    2. 选择添加条件以添加其他条件。

    以下示例介绍 Customers 表的筛选器,包含介于 0185 之间的 AgencyIDs

    
                                架构和表选择
  7. 在创建所需的选择后,选择 Add selection rule (添加选择规则)

  8. 创建至少一个选择规则后,可以向任务添加转换。选择 add transformation rule (添加转换规则)

    
                                转换规则
  9. 选择要转换的目标,然后输入请求的其他信息。以下示例介绍从 Customer 表中删除 AgencyStatus 列的转换。

    
                                转换规则
  10. 选择 add transformation rule (添加转换规则)

  11. (可选)通过选择 add selection rule (添加选择规则)add transformation rule (添加转换规则) 来添加其他选择规则或转换。完成后,选择创建任务

    
                                转换规则

使用 JSON 按表映射指定表选择和转换

您可以创建 JSON 格式的表映射。如果创建一个使用 AWS DMS 管理控制台的迁移任务,则可直接在表映射框中输入 JSON。如果您使用 CLI 或 API 执行迁移,则可创建一个 JSON 文件来指定要在迁移期间应用的表映射。

可以指定要使用的表或架构,并且可以执行架构和表转换。可使用 selectiontransformation 规则类型创建表映射规则。

注意

对于 Amazon S3 目标,您也可以使用 post-processing 规则类型和 add-tag 规则操作来标记映射到选定表和架构的 S3 对象。有关更多信息,请参阅Amazon S3 对象标签

选择规则和操作

通过使用表映射,可通过选择规则和操作来指定要使用的表或架构。对于使用选择规则类型的表映射规则,可应用以下值。

参数 可能的值 描述
rule-type selection 在指定表映射时定义至少一个选择规则。
rule-id 一个数字值。 一个用于标识规则的唯一数字值。
rule-name 一个字母数字值。 一个用于标识规则的唯一名称。
rule-action includeexcludeexplicit 包括或排除规则所选定的对象。如果指定 explicit,则可以选择并仅包含一个对应于显式指定的表和架构的对象。
object-locator 一个带以下参数的对象:
  • schema-name – 架构的名称。

  • table-name – 表的名称。

规则应用于的每个架构和表的名称。如果 rule-actionincludeexclude,您可以使用“%”百分比符号作为每个 object-locator 参数的值的全部或部分的通配符。因此,您可以匹配这些项目:

  • 单个架构中的单个表

  • 部分或全部架构中的单个表

  • 单个架构中的部分或全部表

  • 部分或全部架构中的部分或全部表

如果 rule-actionexplicit,则只能指定单个表和架构的确切名称(不带通配符)。

load-order 一个正整数。最大值为 2147483647。 指示加载表的优先级。首先加载具有较高值的表。
filters 对象数组。 一个或多个用于筛选源的对象。您指定要在源中的单个列上筛选的对象参数。您指定要在多个列上筛选的多个对象。有关更多信息,请参阅使用源筛选器

例 迁移架构中的所有表

以下示例将所有表从源中名为 Test 的架构中迁移到目标终端节点。

{ "rules": [ { "rule-type": "selection", "rule-id": "1", "rule-name": "1", "object-locator": { "schema-name": "Test", "table-name": "%" }, "rule-action": "include" } ] }

例 迁移架构中的一些表

以下示例将所有表(以 DMS 开头的表除外)从源中名为 Test 的架构中迁移到目标终端节点。

{ "rules": [ { "rule-type": "selection", "rule-id": "1", "rule-name": "1", "object-locator": { "schema-name": "Test", "table-name": "%" }, "rule-action": "include" }, { "rule-type": "selection", "rule-id": "2", "rule-name": "2", "object-locator": { "schema-name": "Test", "table-name": "DMS%" }, "rule-action": "exclude" } ] }

例 在单个架构中迁移指定的单个表

以下示例将源中 NewCust 架构中的 Customer 表迁移到目标终端节点。

{ "rules": [ { "rule-type": "selection", "rule-id": "1", "rule-name": "1", "object-locator": { "schema-name": "NewCust", "table-name": "Customer" }, "rule-action": "explicit" } ] }

注意

您可以通过指定多个选择规则在多个表和架构上显式选择。

例 按设定顺序迁移表

以下示例迁移两个表。表 loadfirst(优先级为 2)在表 loadsecond 之前迁移。

{ "rules": [ { "rule-type": "selection", "rule-id": "1", "rule-name": "1", "object-locator": { "schema-name": "Test", "table-name": "loadfirst" }, "rule-action": "include", "load-order": "2" }, { "rule-type": "selection", "rule-id": "2", "rule-name": "2", "object-locator": { "schema-name": "Test", "table-name": "loadsecond" }, "rule-action": "include", "load-order": "1" } ] }

转换规则和操作

可使用转换操作指定要应用于所选架构或表的任何转换。转换规则是可选的。

对于使用转换规则类型的表映射规则,可应用以下值。

参数 可能的值 描述
rule-type transformation 一个将规则应用于选择规则所指定的每个对象的值。使用 transformation(除非另有说明)。
rule-id 一个数字值。 一个用于标识规则的唯一数字值。
rule-name 一个字母数字值。 一个用于标识规则的唯一名称。
object-locator 一个带以下参数的对象:
  • schema-name – 架构的名称。

  • table-name – 表的名称。

  • table-tablespace-name – 现有表表空间的名称。

  • index-tablespace-name – 现有索引表空间的名称。

规则应用于的每个架构、表、表表空间和索引表空间的名称。您可以使用“%”百分比符号作为每个 object-locator 参数的值的全部或部分的通配符。因此,您可以匹配这些项目:

  • 单个架构中的单个表

  • 部分或全部架构中的单个表

  • 单个架构中的部分或全部表

  • 部分或全部架构中的部分或全部表

此外,table-tablespace-nameindex-tablespace-name 参数仅可用于匹配 Oracle 源终端节点。您可以在单个规则中指定 table-tablespace-nameindex-tablespace-name,但不能同时指定两者。因此,您可以匹配以下任一 项:

  • 一个、部分或所有表表空间

  • 一个、部分或所有索引表空间

rule-action

rename

remove-column

convert-lowercaseconvert-uppercase

add-prefixremove-prefixreplace-prefix

add-suffixremove-suffixreplace-suffix

define-primary-key

要应用于对象的转换。所有转换规则操作都区分大小写。
rule-target schematablecolumntable-tablespaceindex-tablespace 要转换的对象的类型。

table-tablespaceindex-tablespace 值仅可用于 Oracle 目标终端节点。另外,指定与您在 object-locator 中指定的相应参数匹配的值:table-tablespace-nameindex-tablespace-name

value 一个字母数字值,该值遵循目标类型的命名规则。 需要输入的操作的新值,例如 rename
old-value 一个字母数字值,该值遵循目标类型的命名规则。 需要替换的操作的旧值,例如 replace-prefix
primary-key-def 一个带以下参数的对象:
  • name – 表的新主键或唯一索引的名称。

  • (可选)origin – 要定义的唯一键的类型:primary-key(默认值)或 unique-index

  • columns – 一个字符串数组,它按照列在主键或唯一索引中出现的顺序列出列的名称。

在规则操作设置为 define-primary-key 且规则目标设置为 table 的情况下,此参数定义转换表上唯一键的名称、类型和内容。默认情况下,将唯一键定义为主键。

例 重命名架构

以下示例将架构从 Test(源中)重命名为 Test1(目标终端节点中)。

{ "rules": [ { "rule-type": "selection", "rule-id": "1", "rule-name": "1", "object-locator": { "schema-name": "Test", "table-name": "%" }, "rule-action": "include" }, { "rule-type": "transformation", "rule-id": "2", "rule-name": "2", "rule-action": "rename", "rule-target": "schema", "object-locator": { "schema-name": "Test" }, "value": "Test1" } ] }

例 重命名表

以下示例将表从 Actor(源中)重命名为 Actor1(目标终端节点中)。

{ "rules": [ { "rule-type": "selection", "rule-id": "1", "rule-name": "1", "object-locator": { "schema-name": "Test", "table-name": "%" }, "rule-action": "include" }, { "rule-type": "transformation", "rule-id": "2", "rule-name": "2", "rule-action": "rename", "rule-target": "table", "object-locator": { "schema-name": "Test", "table-name": "Actor" }, "value": "Actor1" } ] }

例 重命名列

以下示例将列从 first_name 中的表 Actor(源中)重命名为 fname(目标终端节点中)。

{ "rules": [ { "rule-type": "selection", "rule-id": "1", "rule-name": "1", "object-locator": { "schema-name": "test", "table-name": "%" }, "rule-action": "include" }, { "rule-type": "transformation", "rule-id": "4", "rule-name": "4", "rule-action": "rename", "rule-target": "column", "object-locator": { "schema-name": "test", "table-name": "Actor", "column-name" : "first_name" }, "value": "fname" } ] }

例 重命名 Oracle 表表空间

以下示例将 Oracle 源中名为 Actor 的表的名为 SetSpace 的表空间重命名为 Oracle 目标终端节点中的 SceneTblSpace

{ "rules": [ { "rule-type": "selection", "rule-id": "1", "rule-name": "1", "object-locator": { "schema-name": "Play", "table-name": "%" }, "rule-action": "include" }, { "rule-type": "transformation", "rule-id": "2", "rule-name": "2", "rule-action": "rename", "rule-target": "table-tablespace", "object-locator": { "schema-name": "Play", "table-name": "Actor", "table-tablespace-name: "SetSpace" }, "value": "SceneTblSpace" } ] }

例 重命名 Oracle 索引表空间

以下示例将 Oracle 源中名为 Actor 的表的名为 SetISpace 的索引表空间重命名为 Oracle 目标终端节点中的 SceneIdxSpace

{ "rules": [ { "rule-type": "selection", "rule-id": "1", "rule-name": "1", "object-locator": { "schema-name": "Play", "table-name": "%" }, "rule-action": "include" }, { "rule-type": "transformation", "rule-id": "2", "rule-name": "2", "rule-action": "rename", "rule-target": "table-tablespace", "object-locator": { "schema-name": "Play", "table-name": "Actor", "table-tablespace-name: "SetISpace" }, "value": "SceneIdxSpace" } ] }

例 删除列

以下示例将转换源中名为 Actor 的表以从目标终端节点中删除以字符 col 开头的所有列。

{ "rules": [{ "rule-type": "selection", "rule-id": "1", "rule-name": "1", "object-locator": { "schema-name": "test", "table-name": "%" }, "rule-action": "include" }, { "rule-type": "transformation", "rule-id": "2", "rule-name": "2", "rule-action": "remove-column", "rule-target": "column", "object-locator": { "schema-name": "test", "table-name": "Actor", "column-name": "col%" } }] }

例 转换为小写形式

以下示例将表名从 ACTOR(源中)转换为 actor(目标终端节点中)。

{ "rules": [{ "rule-type": "selection", "rule-id": "1", "rule-name": "1", "object-locator": { "schema-name": "test", "table-name": "%" }, "rule-action": "include" }, { "rule-type": "transformation", "rule-id": "2", "rule-name": "2", "rule-action": "convert-lowercase", "rule-target": "table", "object-locator": { "schema-name": "test", "table-name": "ACTOR" } }] }

例 转换为大写形式

以下示例将所有表和所有架构的所有列从小写形式(源中)转换为大写形式(目标终端节点中)。

{ "rules": [ { "rule-type": "selection", "rule-id": "1", "rule-name": "1", "object-locator": { "schema-name": "test", "table-name": "%" }, "rule-action": "include" }, { "rule-type": "transformation", "rule-id": "2", "rule-name": "2", "rule-action": "convert-uppercase", "rule-target": "column", "object-locator": { "schema-name": "%", "table-name": "%", "column-name": "%" } } ] }

例 添加前缀

以下示例转换源中的所有表以便在目标终端节点中向这些表添加前缀 DMS_

{ "rules": [{ "rule-type": "selection", "rule-id": "1", "rule-name": "1", "object-locator": { "schema-name": "test", "table-name": "%" }, "rule-action": "include" }, { "rule-type": "transformation", "rule-id": "2", "rule-name": "2", "rule-action": "add-prefix", "rule-target": "table", "object-locator": { "schema-name": "test", "table-name": "%" }, "value": "DMS_" }] }

例 替换前缀

以下示例将转换源中包含前缀 Pre_ 的所有列以在目标终端节点中将前缀替换为 NewPre_

{ "rules": [ { "rule-type": "selection", "rule-id": "1", "rule-name": "1", "object-locator": { "schema-name": "test", "table-name": "%" }, "rule-action": "include" }, { "rule-type": "transformation", "rule-id": "2", "rule-name": "2", "rule-action": "replace-prefix", "rule-target": "column", "object-locator": { "schema-name": "%", "table-name": "%", "column-name": "%" }, "value": "NewPre_", "old-value": "Pre_" } ] }

例 删除后缀

以下示例转换源中的所有表以从目标终端节点中删除这些表的后缀 _DMS

{ "rules": [{ "rule-type": "selection", "rule-id": "1", "rule-name": "1", "object-locator": { "schema-name": "test", "table-name": "%" }, "rule-action": "include" }, { "rule-type": "transformation", "rule-id": "2", "rule-name": "2", "rule-action": "remove-suffix", "rule-target": "table", "object-locator": { "schema-name": "test", "table-name": "%" }, "value": "_DMS" }] }

例 定义主键

以下示例在迁移到目标终端节点的 ITEM 表的三个列上定义一个名为 ITEM-primary-key 的主键。

{ "rules": [{ "rule-type": "selection", "rule-id": "1", "rule-name": "1", "object-locator": { "schema-name": "inventory", "table-name": "%" }, "rule-action": "include" }, { "rule-type": "transformation", "rule-id": "2", "rule-name": "2", "rule-action": "define-primary-key", "rule-target": "table", "object-locator": { "schema-name": "inventory", "table-name": "ITEM" }, "primary-key-def": { "name": ITEM-primary-key, "columns": [ "ITEM-NAME", "BOM-MODEL-NUM", "BOM-PART-NUM" ] } }] }

例 定义唯一索引

以下示例在迁移到目标终端节点的 ITEM 表的三个列上定义一个名为 ITEM-unique-idx 的唯一索引。

{ "rules": [{ "rule-type": "selection", "rule-id": "1", "rule-name": "1", "object-locator": { "schema-name": "inventory", "table-name": "%" }, "rule-action": "include" }, { "rule-type": "transformation", "rule-id": "2", "rule-name": "2", "rule-action": "define-primary-key", "rule-target": "table", "object-locator": { "schema-name": "inventory", "table-name": "ITEM" }, "primary-key-def": { "name": ITEM-unique-idx, "origin": unique-index, "columns": [ "ITEM-NAME", "BOM-MODEL-NUM", "BOM-PART-NUM" ] } }] }

表设置规则和操作

您可以使用表设置指定要应用于指定操作的选定表的任何设置。表设置规则是可选的。

对于使用表设置规则类型的表映射规则,您可以应用以下参数。

参数 可能的值 描述
rule-type table-settings 一个将规则应用于选择规则所指定的表的值。
rule-id 一个数字值。 一个用于标识规则的唯一数字值。
rule-name 一个字母数字值。 一个用于标识规则的唯一名称。
object-locator 一个带以下参数的对象:
  • schema-name – 架构的名称。

  • table-name – 表的名称。

特定架构和表的名称(无通配符)。

parallel-load 一个带以下参数的对象:
  • type – 指定是否启用并行加载。如果是,则此参数还指定用于标识要并行加载的表分区、子分区或其他段的机制。分区是已在源表中按名称定义和标识的段。仅对于 Oracle 终端节点,子分区是已在源表中按名称定义和标识的其他级别的段。您可以通过在一个或多个表列的值范围中指定边界,在 table-settings 规则中标识其他段。

  • partitions – 当 typepartitions-list 时,此值指定要并行加载的所有分区。

  • subpartitions – 仅对于 Oracle 终端节点,当 typepartitions-list 时,此值指定要并行加载的所有子分区。

  • columns – 当 typeranges 时,此值指定用于标识要并行加载的基于范围的段的列的名称。

  • boundaries – 当 typeranges 时,此值指定用于标识要并行加载的基于范围的段的 columns 值。

该值指定由 object-locator 选项标识的表上的并行加载(多线程)操作。在这种情况下,您可以通过以下任意方式并行加载:

  • 按所有可用分区或子分区指定的段。

  • 按选定的分区和子分区。

  • 按您指定的基于范围的段。

有关并行加载的更多信息,请参阅 对所选表使用并行加载

type parallel-load 的以下操作之一:
  • partitions-auto – 所有分区都是并行加载的。每个分区都分配到自己的线程。

  • subpartitions-auto –(仅限 Oracle 终端节点)表的所有子分区都是并行加载的。每个子分区都分配到自己的线程。

  • partitions-list – 表的所有指定分区都是并行加载的。仅限 Oracle 终端节点,表的所有指定子分区都是并行加载的。您指定的每个分区和子分区都分配到自己的线程。您可以通过分区名称 (partitions) 和子分区名称 (subpartitions) 指定要并行加载的分区和子分区。

  • ranges – 表的所有指定段都是并行加载的。您标识的每个表段都分配到自己的线程。您可以按列名 (columns) 和列值 (boundaries) 指定这些段。

  • none – 表是在单线程任务(默认)中加载的,无论其分区或子分区如何都是如此。有关更多信息,请参阅 创建任务

用于标识要并行加载的表分区、子分区或段的机制。
partitions typepartitions-list 时,这是一个字符串数组,用于指定并行加载的分区的名称。 要并行加载的分区的名称。
subpartitions (仅限 Oracle 终端节点)当 typepartitions-list 时,这是一个字符串数组,用于指定并行加载的子分区的名称。 要并行加载的子分区的名称。
columns typeranges 时,这是设置为列名称的字符串数组,用于标识并行加载的基于范围的表段。 用于标识要并行加载的基于范围的表段的列的名称。
boundaries typeranges 时,这是列值数组的数组。每个列值数组都包含 columns 指定的数量和顺序的列值。列值数组指定表段的上边界。每个附加列值数组都会为一个附加表段添加上边界。所有这些基于范围的表段都是并行加载的。 用于标识要并行加载的基于范围的表分区的列值。
lob-settings 一个带以下参数的对象:
  • mode – 指定 LOB 的迁移处理模式。

  • bulk-max-size – 指定 LOB 的最大大小,具体取决于 mode 设置。

一个值,指定由 object-locator 选项标识的表的 LOB 处理。指定的 LOB 处理仅覆盖此表的任何任务 LOB 设置。有关使用 LOB 设置参数的更多信息,请参阅 为所选表指定 LOB 设置
mode 使用以下值指定所选表中 LOB 的迁移处理:
  • limited –(默认)此值将迁移设置为有限的 LOB 模式,所有 LOB 与表中的所有其他列数据类型一起进行内联迁移。在复制大多数小 LOB(100 MB 或更小)时使用此值。此外,指定一个 bulk-max-size 值(0 无效)。所有大于 bulk-max-size 的已迁移 LOB 都将截断为您设置的大小。

  • unlimited – 此值将迁移设置为完全 LOB 模式。当要复制的所有或大多数 LOB 大于 1 GB 时,请使用此值。如果您指定的 bulk-max-size 值为零,则所有 LOB 都在标准完全 LOB 模式中迁移。在这种形式的 unlimited 模式中,会使用源表中的查找将所有 LOB 与其他列数据类型分开迁移。如果您指定一个大于零的 bulk-max-size 值,则所有 LOB 都在组合完全 LOB 模式中迁移。在这种形式的 unlimited 模式中,会使用源表查找迁移大于 bulk-max-size 的 LOB,类似于标准完全 LOB 模式。否则,小于等于此大小的 LOB 将内联迁移,类似于有限 LOB 模式。无论您使用何种形式,都不会在 unlimited 模式下截断 LOB。

  • none – 所有表 LOB 都会根据任务 LOB 设置迁移。

    有关任务 LOB 设置的更多信息,请参阅目标元数据任务设置

    有关如何迁移 LOB 以及如何指定这些任务 LOB 设置的更多信息,请参阅在 AWS DMS 任务中为源数据库设置 LOB 支持

用于迁移 LOB 的机制。
bulk-max-size 此值的影响取决于 mode LOB 的最大大小(以 KB 为单位)。仅当您需要复制较小 LOB 或目标终端节点不支持无限制的 LOB 大小时,才指定此选项。

对所选表使用并行加载

要加速迁移并提高其效率,可以对选定的表使用并行加载。换言之,您可以并行使用多个线程迁移单个分段表。为此,AWS DMS 将完全加载的任务拆分为线程,每个表段分配给自己的线程。

使用此并行加载过程,您可以首先让多个线程从源终端节点并行卸载多个表。然后,您可以迁移多个线程,并将相同的表并行加载到目标终端节点。对于某些数据库引擎,您可以按现有分区或子分区对表进行分段。否则,您可以按指定的列值范围对任何表进行分段。

以下源终端节点支持并行加载:

  • Oracle

  • Microsoft SQL Server

  • MySQL

  • PostgreSQL

  • IBM Db2

  • SAP Adaptive Server Enterprise (ASE)

以下目标终端节点支持并行加载:

  • Oracle

  • Microsoft SQL Server

  • MySQL

  • PostgreSQL

  • Amazon Redshift

  • SAP Adaptive Server Enterprise (ASE)

  • Amazon DynamoDB

  • Amazon Kinesis Data Streams

  • Amazon Elasticsearch Service

要指定并行加载的表的最大数,请使用 MaxFullLoadSubTasks 任务设置。要为并行加载任务指定各个表的最大线程数,请使用 ParallelLoadThreads 任务设置。要为并行加载任务指定缓冲区大小,请使用 ParallelLoadBufferSize 任务设置。ParallelLoadThreadsParallelLoadBufferSize 的可用性和设置取决于目标终端节点。

有关 ParallelLoadThreadsParallelLoadBufferSize 设置的更多信息,请参阅目标元数据任务设置。有关 MaxFullLoadSubTasks 设置的更多信息,请参阅完全加载任务设置。有关特定于目标终端节点的信息,请参阅相关主题。

要使用并行加载,您可以使用 parallel-load 选项创建一个类型为 table-settings 的表映射规则。在 table-settings 规则中,您可以为要并行加载的单个表指定分段条件。要执行此操作,请将 parallel-load 选项的 type 参数设置为多个选项之一。如何执行此操作取决于您希望如何为并行加载分段表:

  • 按分区 – 使用 partitions-auto 类型加载所有现有表分区。或者使用具有指定 partitions 数组的 partitions-list 类型仅加载选定的分区。

  • (仅限 Oracle 终端节点)按子分区 – 使用 subpartitions-auto 类型加载所有现有的表子分区。或者使用具有指定 subpartitions 数组的 partitions-list 类型仅加载选定的子分区。

  • 按您定义的段 – 加载使用列值边界定义的表段。为此,请使用具有指定 columnsboundaries 数组的 ranges 类型。

要标识要并行加载的其他表,请使用 parallel-load 选项指定其他 table-settings 对象。

在以下过程中,您可以了解如何为每种并行加载类型编写 JSON 代码(从最简单到最复杂)。

指定所有表分区或所有表子分区

  • 使用 partitions-auto 类型或 subpartitions-auto 类型(但不能同时使用二者)指定 parallel-load

    然后,每个表分区或子分区都会自动分配到自己的线程。

    注意

    并行加载仅包括已为表定义的分区或子分区。

指定选定的表分区和/或子分区

  1. 使用 partitions-list 类型指定 parallel-load

  2. (可选)通过将分区名称数组指定为 partitions 的值来包含分区。

    然后,每个指定的分区将分配到自己的线程。

  3. (可选,仅对于 Oracle 终端节点)通过将子分区名称数组指定为 subpartitions 的值来包含子分区。

    然后,每个指定的子分区将分配到自己的线程。

    注意

    并行加载仅包括已为表定义的分区或子分区。

您可以指定表段作为列值范围。执行此操作时,请注意以下列特征:

  • 指定索引列可显著提高性能。

  • 您可以指定最多 10 个列。

  • 您不能使用列来定义具有以下 AWS DMS 数据类型的段边界:DOUBLE、FLOAT、BLOB、CLOB 和 NCLOB

  • 不会复制具有 null 值的记录。

指定表段作为列值范围

  1. 使用 ranges 类型指定 parallel-load

  2. 通过将表列名称数组指定为 columns 的值来定义表段之间的边界。对要为其定义表段之间边界的每个列执行此操作。

    列的顺序很重要。在定义每个边界时,第一列是最重要的,最后一列最不重要,如下所述。

  3. 通过将边界数组指定为 boundaries 值来定义所有表段的数据范围。边界数组是一个列值数组的数组。要实现此目的,请执行以下步骤:

    1. 将列值数组的每个元素指定为与每个列对应的值。列值数组代表您要定义的每个表段的上边界。按照您在 columns 数组中指定该列的顺序指定每个列。

      注意

      以源支持的格式输入 DATE 列的值。

    2. 将每个列值数组按顺序指定为每个段的上边界(从表的底部段到顶部第二个段)。如果您指定的顶部边界上方存在任何表行,则这些行将填充表的顶部段。因此,基于范围的段的数量可能比边界数组中的段边界的数量多一个。每个这样的基于范围的段被分配到自己的线程。

      注意

      将会复制所有非 null 表数据,即使您没有为表中的所有列定义数据范围也是如此。

    例如,假设您为列 COL1、COL2 和 COL3 定义三个列-值数组,如下所示。

    COL1 COL2 COL3
    10 30 105
    20 20 120
    100 12 99

    您就可能为总共四个段定义了三个段边界。

    为了标识要为每个段复制的行范围,复制实例会对以下四个段中的每个段的这三个列应用如下所示的搜索:

    段 1

    复制前两列值小于或等于其对应段 1 上边界值,并且第三列的值小于其段 1 上边界值的所有行。

    段 2

    复制前两列值小于或等于其对应段 2 上边界值,并且第三列的值小于其段 2 上边界值的所有行(除了段 1 行)。

    段 3

    复制前两列的值小于或等于其对应段 3 上边界值,并且第三列的值小于其段 3 上边界值的所有行(除了段 2 行)。

    段 4

    复制所有剩余的行(除了段 1、2 和 3 行)。

    在这种情况下,复制实例会创建一个 WHERE 子句来加载每个段,如下所示:

    段 1

    ((COL1 < 10) OR ((COL1 = 10) AND (COL2 < 30)) OR ((COL1 = 10) AND (COL2 = 30) AND (COL3 < 105)))

    段 2

    NOT ((COL1 < 10) OR ((COL1 = 10) AND (COL2 < 30)) OR ((COL1 = 10) AND (COL2 = 30) AND (COL3 < 105))) AND ((COL1 < 20) OR ((COL1 = 20) AND (COL2 < 20)) OR ((COL1 = 20) AND (COL2 = 20) AND (COL3 < 120)))

    段 3

    NOT ((COL1 < 20) OR ((COL1 = 20) AND (COL2 < 20)) OR ((COL1 = 20) AND (COL2 = 20) AND (COL3 < 120))) AND ((COL1 < 100) OR ((COL1 = 100) AND (COL2 < 12)) OR ((COL1 = 100) AND (COL2 = 12) AND (COL3 < 99)))

    段 4

    NOT ((COL1 < 100) OR ((COL1 = 100) AND (COL2 < 12)) OR ((COL1 = 100) AND (COL2 = 12) AND (COL3 < 99)))

为所选表指定 LOB 设置

您可以通过使用一个或多个 table-settings 对象的 lob-settings 选项创建 table-settings 类型的表映射规则来为一个或多个表设置任务 LOB 设置。

以下源终端节点支持为所选表指定 LOB 设置:

  • Oracle

  • Microsoft SQL Server

  • MySQL

  • PostgreSQL

  • IBM Db2,具体取决于 modebulk-max-size 设置,如下所述

  • SAP Adaptive Server Enterprise (ASE),具体取决于 modebulk-max-size 设置,如下所述

以下目标终端节点支持为所选表指定 LOB 设置:

  • Oracle

  • Microsoft SQL Server

  • MySQL

  • PostgreSQL

  • SAP ASE,具体取决于 modebulk-max-size 设置,如下所述

注意

您只能将 LOB 数据类型用于包含主键的表。

要对选定的表使用 LOB 设置,请使用 lob-settings 选项创建类型为 table-settings 的表映射规则。这样做会指定由 object-locator 选项标识的表的 LOB 处理。在 table-settings 规则中,您可以指定一个具有以下参数的 lob-settings 对象:

  • mode – 指定处理所选表的 LOB 迁移的机制,如下所示:

    • limited – 此默认受限 LOB 模式是最快且最有效的模式。仅当所有 LOB 都较小(大小不超过 100 MB)或目标终端节点不支持无限制 LOB 大小时,才使用此模式。此外,如果使用 limited,则所有 LOB 都必须在为 bulk-max-size 设置的大小范围内。

      在完全加载任务的此模式下,复制实例将所有 LOB 与其他列数据类型一起进行内联迁移,作为主表存储的一部分。但是,实例会将大于您的 bulk-max-size 值的任何迁移 LOB 截断为指定的大小。对于更改数据捕获 (CDC) 加载任务,实例使用源表查找迁移所有 LOB,就像在标准完全 LOB 模式下一样(请参阅下文)。无论 LOB 大小如何,它都会这样做。

    • unlimited – 完全 LOB 模式的迁移机制取决于您为 bulk-max-size 设置的值,如下所示:

      • 标准完全 LOB 模式 – 当 bulk-max-size 设置为零时,复制实例将使用标准完全 LOB 模式迁移所有 LOB。此模式需要在源表中进行查找,以便迁移每个 LOB,无论大小如何都是如此。此方法通常会比对于有限 LOB 模式迁移慢得多。仅当所有或大多数 LOB 都较大(1 GB 或更大)时才使用此模式。

      • 组合完全 LOB 模式 – 将 bulk-max-size 设置为非零值时,此完全 LOB 模式使用有限 LOB 模式和标准完全 LOB 模式的组合。这适用于完全加载任务,如果 LOB 大小在您的 bulk-max-size 值范围内,则实例会在有限 LOB 模式下内联迁移 LOB。如果 LOB 大小大于此值,则实例使用源表查找迁移 LOB,就像在标准完全 LOB 模式下一样。对于更改数据捕获 (CDC) 加载任务,实例使用源表查找迁移所有 LOB,就像在标准完全 LOB 模式下一样(请参阅下文)。无论 LOB 大小如何,它都会这样做。

        此模式导致迁移速度处于更快的有限 LOB 模式和更慢的标准完全 LOB 模式之间。只有当混合使用较小和较大 LOB 并且大多数 LOB 较小时才使用此模式。

        此组合完全 LOB 模式仅适用于以下终端节点:

        • IBM Db2 作为源

        • SAP ASE 作为源或目标

      无论您为 unlimited 模式指定的机制如何,实例都会完全迁移所有 LOB,而不会截断。

    • none – 复制实例使用任务 LOB 设置迁移所选表中的 LOB。使用此选项来帮助比较对于所选表具有和不具有 LOB 设置的迁移结果。

    如果指定的表包含复制中包含的 LOB,则只能在使用 limited LOB 模式时将 BatchApplyEnabled 任务设置指定为 true

    在某些情况下,您可以将 true 设置为 BatchApplyEnabled,将 BatchApplyPreserveTransaction 设置为 false。在这些情况下,如果表具有 LOB 且源和目标终端节点是 Oracle,实例会将 BatchApplyPreserveTransaction 设置为 true

  • bulk-max-size – 将此值设置为零或非零值(以 KB 为单位),具体取决于为前面项目描述的 mode。在 limited 模式中,您必须为此参数设置非零值。

    实例将 LOB 转换为二进制格式。因此,要指定需要复制的最大 LOB,请将其大小乘以 3。例如,如果您的最大 LOB 为 2 MB,请将 bulk-max-size 设置为 6,000 (6 MB)。

表设置示例

下面,您可以找到一些演示如何使用表设置的示例。

例 加载按分区分段的表

以下示例通过基于其所有分区并行加载源中的 SALES 表来更有效地加载它。

{ "rules": [{ "rule-type": "selection", "rule-id": "1", "rule-name": "1", "object-locator": { "schema-name": "%", "table-name": "%" }, "rule-action": "include" }, { "rule-type": "table-settings", "rule-id": "2", "rule-name": "2", "object-locator": { "schema-name": "HR", "table-name": "SALES" }, "parallel-load": { "type": "partitions-auto" } } ] }

例 加载按子分区分段的表

以下示例通过基于其所有子分区并行加载 Oracle 源中的 SALES 表来更有效地加载它。

{ "rules": [{ "rule-type": "selection", "rule-id": "1", "rule-name": "1", "object-locator": { "schema-name": "%", "table-name": "%" }, "rule-action": "include" }, { "rule-type": "table-settings", "rule-id": "2", "rule-name": "2", "object-locator": { "schema-name": "HR", "table-name": "SALES" }, "parallel-load": { "type": "subpartitions-auto" } } ] }

例 加载按分区列表分段的表

以下示例通过按特定分区列表并行加载源中的 SALES 表来加载它。在此,指定的分区以用字母的部分开头的值命名,例如,ABCDEFGH 等等。

{ "rules": [{ "rule-type": "selection", "rule-id": "1", "rule-name": "1", "object-locator": { "schema-name": "%", "table-name": "%" }, "rule-action": "include" }, { "rule-type": "table-settings", "rule-id": "2", "rule-name": "2", "object-locator": { "schema-name": "HR", "table-name": "SALES" }, "parallel-load": { "type": "partitions-list", "partitions": [ "ABCD", "EFGH", "IJKL", "MNOP", "QRST", "UVWXYZ" ] } } ] }

例 加载按选定的分区和子分区列表分段的 Oracle 表

以下示例通过按选定分区和子分区列表并行加载 Oracle 源中的 SALES 表来加载它。在此,指定的分区以用字母的部分开头的值命名,例如,ABCDEFGH 等等。指定的子分区用以数字开头的值命名,例如 0123456789

{ "rules": [{ "rule-type": "selection", "rule-id": "1", "rule-name": "1", "object-locator": { "schema-name": "%", "table-name": "%" }, "rule-action": "include" }, { "rule-type": "table-settings", "rule-id": "2", "rule-name": "2", "object-locator": { "schema-name": "HR", "table-name": "SALES" }, "parallel-load": { "type": "partitions-list", "partitions": [ "ABCD", "EFGH", "IJKL", "MNOP", "QRST", "UVWXYZ" ], "subpartitions": [ "01234", "56789" ] } } ] }

例 加载按列值范围分段的表

以下示例通过按 SALES_NOREGION 列值的范围指定的段并行加载源中的 SALES 表来加载它。

{ "rules": [{ "rule-type": "selection", "rule-id": "1", "rule-name": "1", "object-locator": { "schema-name": "%", "table-name": "%" }, "rule-action": "include" }, { "rule-type": "table-settings", "rule-id": "2", "rule-name": "2", "object-locator": { "schema-name": "HR", "table-name": "SALES" }, "parallel-load": { "type": "ranges", "columns": [ "SALES_NO", "REGION" ], "boundaries": [ [ "1000", "NORTH" ], [ "3000", "WEST" ] ] } } ] }

在此,为具有名称 SALES_NOREGION 的段范围指定了两列。使用两组列值(["1000","NORTH"]["3000","WEST"])指定两个边界。

因此,这两个边界标识要并行加载的以下三个表段:

段 1

SALES_NO 小于或等于 1,000 且 REGION 小于“NORTH”的行。换句话说, EAST 区域最高为 1,000 的销售数量。

段 2

段 1 以外 SALES_NO 小于或等于 3,000 且 REGION 小于“WEST”的行。换句话说,NORTH 和 SOUTH 区域超过 1,000 且不超过 3,000 的销售数量。

段 3

段 1 段 2 以外的所有剩余行。换句话说,WEST 区域超过 3,000 的销售数量。

例 加载两个表:一个按范围分段,另一个按分区分段

以下示例按您标识的段边界并行加载 SALES 表。它还通过所有分区并行加载 ORDERS 表,如前面的示例所示。

{ "rules": [{ "rule-type": "selection", "rule-id": "1", "rule-name": "1", "object-locator": { "schema-name": "%", "table-name": "%" }, "rule-action": "include" }, { "rule-type": "table-settings", "rule-id": "2", "rule-name": "2", "object-locator": { "schema-name": "HR", "table-name": "SALES" }, "parallel-load": { "type": "ranges", "columns": [ "SALES_NO", "REGION" ], "boundaries": [ [ "1000", "NORTH" ], [ "3000", "WEST" ] ] } }, { "rule-type": "table-settings", "rule-id": "3", "rule-name": "3", "object-locator": { "schema-name": "HR", "table-name": "ORDERS" }, "parallel-load": { "type": "partitions-auto" } } ] }

例 使用有限 LOB 模式加载具有 LOB 的表

以下示例使用受限 LOB 模式(默认)加载源中包括 LOB 的 ITEMS 表,最大不截断大小为 100 MB。任何大于此大小的 LOB 都将截断为 100 MB。所有 LOB 都与所有其他列数据类型一起内联加载。

{ "rules": [{ "rule-type": "selection", "rule-id": "1", "rule-name": "1", "object-locator": { "schema-name": "%", "table-name": "%" }, "rule-action": "include" }, { "rule-type": "table-settings", "rule-id": "2", "rule-name": "2", "object-locator": { "schema-name": "INV", "table-name": "ITEMS" }, "lob-settings": { "bulk-max-size": "100000" } } ] }

例 使用标准完全 LOB 模式加载具有 LOB 的表

以下示例使用标准完全 LOB 模式加载源中的 ITEMS 表,包括所有 LOB 而不截断。所有 LOB,无论大小,都通过在源表中对每个 LOB 使用查找与其他数据类型分开加载。

{ "rules": [{ "rule-type": "selection", "rule-id": "1", "rule-name": "1", "object-locator": { "schema-name": "%", "table-name": "%" }, "rule-action": "include" }, { "rule-type": "table-settings", "rule-id": "2", "rule-name": "2", "object-locator": { "schema-name": "INV", "table-name": "ITEMS" }, "lob-settings": { "mode": "unlimited" "bulk-max-size": "0" } } ] }

例 使用组合完全 LOB 模式加载具有 LOB 的表

以下示例使用组合完全 LOB 模式加载源中的 ITEMS 表,包括所有 LOB 而不截断。所有大小为 100 MB 的 LOB 都与其他数据类型一起内联加载,就像在有限 LOB 模式下一样。所有大小超过 100 MB 的 LOB 都通过对源表中的每个此类 LOB 使用查找来与其他数据类型分开加载,就像在标准完全 LOB 模式中一样。

{ "rules": [{ "rule-type": "selection", "rule-id": "1", "rule-name": "1", "object-locator": { "schema-name": "%", "table-name": "%" }, "rule-action": "include" }, { "rule-type": "table-settings", "rule-id": "2", "rule-name": "2", "object-locator": { "schema-name": "INV", "table-name": "ITEMS" }, "lob-settings": { "mode": "unlimited" "bulk-max-size": "100000" } } ] }

例 使用任务 LOB 设置加载具有 LOB 的表

以下示例使用其任务 LOB 设置加载源中的 ITEMS 表,包括所有 LOB。100 MB 的 bulk-max-size 设置会被忽略,仅用于快速重置为 limitedunlimited 模式。

{ "rules": [{ "rule-type": "selection", "rule-id": "1", "rule-name": "1", "object-locator": { "schema-name": "%", "table-name": "%" }, "rule-action": "include" }, { "rule-type": "table-settings", "rule-id": "2", "rule-name": "2", "object-locator": { "schema-name": "INV", "table-name": "ITEMS" }, "lob-settings": { "mode": "none" "bulk-max-size": "100000" } } ] }

使用源筛选器

您可以使用源筛选器来限制从源传输到目标的记录的数量和类型。例如,您可以指定仅将总部员工移动到目标数据库。筛选器是选择规则的一部分。还可以对数据列应用筛选器。

源筛选器必须遵循以下约束:

  • 选择规则可以不包含筛选器,也可以包含一个或多个筛选器。

  • 每个筛选器可具有一个或多个筛选条件。

  • 如果使用多个筛选器,则将合并一系列筛选器,就像在筛选器之间使用 AND 运算符一样。

  • 如果在单个筛选器中使用多个筛选条件,则将合并一系列筛选条件,就像在筛选条件之间使用 OR 运算符一样。

  • 筛选器仅在 rule-action = 'include' 时应用。

  • 筛选器需要一个列名和一系列筛选条件。筛选条件必须具有一个筛选运算符和一个值。

  • 列名、表名和架构名都区分大小写。

使用 JSON 格式创建源筛选器规则

您可以使用选择规则的 JSON filters 参数创建源筛选器。filters 参数指定包含一个或多个 JSON 对象的数组。每个对象都具有用于指定源筛选类型、列名称和筛选条件的参数。这些筛选条件包含一个或多个筛选运算符和筛选值。

下表显示了用于在 filters 对象中指定源筛选的参数。

参数

filter-type

source

column-name

要将筛选器应用于的源列的名称。该名称区分大小写。

filter-conditions

一个包含一个或多个对象的数组,其中包含一个 filter-operator 参数和一个相应的值参数,具体取决于 filter-operator 值。

filter-operator

此参数可能具有下列值之一:

  • ste – 小于或等于

  • gte – 大于或等于

  • eq – 等于

  • between – 等于或在 2 个值之间

value

start-value

end-value

filter-operator参数的值。如果 filter-operator 具有 between 之外的值,请使用 value。如果 filter-operator 设置为 between,则提供两个值,一个用于 start-value,另一个用于 end-value

以下示例说明了几种常见的使用源筛选器的方法。

例 单一筛选器

以下筛选器将 empid >= 100 的所有员工复制到目标数据库中。

{ "rules": [{ "rule-type": "selection", "rule-id": "1", "rule-name": "1", "object-locator": { "schema-name": "test", "table-name": "employee" }, "rule-action": "include", "filters": [{ "filter-type": "source", "column-name": "empid", "filter-conditions": [{ "filter-operator": "gte", "value": "100" }] }] }] }

例 多个筛选运算符

以下筛选器将多个筛选运算符应用于单个数据列。筛选器将 (empid <=10) OR (empid is between 50 and 75) OR (empid >= 100) 的所有员工复制到目标数据库中。

{ "rules": [{ "rule-type": "selection", "rule-id": "1", "rule-name": "1", "object-locator": { "schema-name": "test", "table-name": "employee" }, "rule-action": "include", "filters": [{ "filter-type": "source", "column-name": "empid", "filter-conditions": [{ "filter-operator": "ste", "value": "10" }, { "filter-operator": "between", "start-value": "50", "end-value": "75" }, { "filter-operator": "gte", "value": "100" }] }] }] }

例 多个筛选器

以下筛选器将多个筛选条件应用于表中的两个列。筛选器将 (empid <= 100) AND (dept= tech) 的所有员工复制到目标数据库中。

{ "rules": [{ "rule-type": "selection", "rule-id": "1", "rule-name": "1", "object-locator": { "schema-name": "test", "table-name": "employee" }, "rule-action": "include", "filters": [{ "filter-type": "source", "column-name": "empid", "filter-conditions": [{ "filter-operator": "ste", "value": "100" }] }, { "filter-type": "source", "column-name": "dept", "filter-conditions": [{ "filter-operator": "eq", "value": "tech" }] }] }] }

按时间和日期筛选

在选择要导入的数据时,可以指定一个日期或时间作为筛选条件的一部分。AWS DMS 将日期格式 YYYY-MM-DD 和时间格式 YYYY-MM-DD HH:MM:SS 用于筛选。AWS DMS 比较函数遵循 SQLite 惯例。有关 SQLite 数据类型和日期比较的更多信息,请参阅 SQLite 文档中的 SQLite 版本 3 中的数据类型

以下示例说明如何基于日期进行筛选。它会将所有 empstartdate >= January 1, 2002 的员工复制到目标数据库。

例 单一日期筛选器

{ "rules": [{ "rule-type": "selection", "rule-id": "1", "rule-name": "1", "object-locator": { "schema-name": "test", "table-name": "employee" }, "rule-action": "include", "filters": [{ "filter-type": "source", "column-name": "empstartdate", "filter-conditions": [{ "filter-operator": "gte", "value": "2002-01-01" }] }] }] }