使用 MongoDB 作为来源 Amazon DMS

有关支持作为源的 MongoDB 版本的信息 Amazon DMS ，请参阅。的来源 Amazon DMS

请注意以下有关 MongoDB 版本支持的信息：

如果您是初次使用 MongoDB，请注意以下关于 MongoDB 数据库的重要概念：

Amazon DMS 使用 MongoDB 作为源代码时支持两种迁移模式：文档模式或表格模式。您可以在创建 MongoDB 端点时指定要使用的迁移模式，或者通过从 Amazon DMS 控制台设置元数据模式参数来指定。或者，您可以创建名为 _id 的第二列，通过在端点配置面板中选中将 _id 作为单独的列复选标记，将其作为主键。

您选择的迁移模式将影响目标数据的结果格式，如下所述。

使用 MongoDB 作为源时所需的权限 Amazon DMS

对于使用 MongoDB 源进行 Amazon DMS 迁移，您可以创建一个具有 root 权限的用户帐户，也可以创建仅具有要迁移的数据库权限的用户。

以下代码创建将作为根账户的用户。

use admin
db.createUser(
  {
    user: "root",
    pwd: "password",
    roles: [ { role: "root", db: "admin" } ]
  }
)

对于 MongoDB 3.x 源，以下代码在要迁移的数据库上创建具有最低权限的用户。

use database_to_migrate
db.createUser( 
{ 
    user: "dms-user",
    pwd: "password",
    roles: [ { role: "read", db: "local" }, "read"] 
})

对于 MongoDB 4.x 源，以下代码创建具有最低权限的用户。

{ resource: { db: "", collection: "" }, actions: [ "find", "changeStream" ] }

例如，在“admin”数据库中创建以下角色。

use admin
db.createRole(
{
role: "changestreamrole",
privileges: [
{ resource: { db: "", collection: "" }, actions: [ "find","changeStream" ] }
],
roles: []
}
)

创建角色后，在要迁移的数据库中创建用户。

> use test
> db.createUser( 
{ 
user: "dms-user12345",
pwd: "password",
roles: [ { role: "changestreamrole", db: "admin" }, "read"] 
})

为 CDC 配置 MongoDB 副本集

要将持续复制或 CDC 与 MongoDB 配合使用 Amazon DMS ，需要访问 MongoDB 操作日志 (oplog)。要创建 oplog，您需要部署一个副本集 (如果没有副本集)。有关更多信息，请参阅 MongoDB 文档。

您可以将 CDC 用于作为源终端节点的 MongoDB 副本集的主要或次要节点。

如果您打算执行文档模式迁移，请在创建 MongoDB 终端节点时选择选项 _id as a separate column。通过选择此选项，将创建另一个名为 _id 的列以作为主键。第二列是支持数据操作语言 (DML) 操作所 Amazon DMS 必需的。

使用 MongoDB 作为源时的安全要求 Amazon DMS

Amazon 分布式消息服务支持两种针对 MongoDB 的身份验证方法。这两种身份验证方法用于加密密码，因此它们仅在将 authType 参数设置为 PASSWORD 时使用。

MongoDB 身份验证方法如下：

如果未指定身份验证方法，则 Amazon DMS 将使用 MongoDB 源版本的默认方法。

对 MongoDB 集合进行分段并以并行方式迁移

为了提高迁移任务的性能，MongoDB 源端点支持表映射中的并行完全加载的两个选项。

换句话说，在 JSON 设置中，对于并行完全加载，您可以使用表映射的自动分段或范围分段来迁移集合。通过自动分段，您可以指定标准， Amazon DMS 以便在每个线程中自动对源进行细分以进行迁移。通过范围分割，您可以告知 Amazon DMS DMS 要在每个线程中迁移的每个分段的具体范围。有关这些设置的更多信息，请参阅表和集合设置规则和操作。

使用自动分段范围并行迁移 MongoDB 数据库

您可以并行迁移文档，方法是为 Amazon DMS 指定标准，以便为每个线程自动分区（分段）数据。具体而言，您指定每个线程要迁移的文档数量。使用这种方法， Amazon DMS 尝试优化分段边界，以最大限度地提高每个线程的性能。

您可以在表映射中，使用以下表设置选项来指定分段标准：

以下示例显示了自动分段的表映射。

{
    "rules": [
        {
            "rule-type": "selection",
            "rule-id": "1",
            "rule-name": "1",
            "object-locator": {
                "schema-name": "admin",
                "table-name": "departments"
            },
            "rule-action": "include",
            "filters": []
        },
        {
            "rule-type": "table-settings",
            "rule-id": "2",
            "rule-name": "2",
            "object-locator": {
                "schema-name": "admin",
                "table-name": "departments"
            },
            "parallel-load": {
                "type": "partitions-auto",
                "number-of-partitions": 5,
                "collection-count-from-metadata": "true",
                "max-records-skip-per-page": 1000000,
                "batch-size": 50000
            }
        }
    ]
}

自动分段有以下限制。每个区段的迁移分别提取集合计数和集合的最小 _id。然后，它使用分页跳过来计算该区段的最小边界。

因此，请确保每个集合的最小 _id 值保持不变，直到计算出集合中的所有区段边界。如果在区段边界计算期间更改集合的最小 _id 值，则会导致数据丢失或重复行错误。

使用范围分段并行迁移 MongoDB 数据库

您可以通过为线程中的每个区段指定范围来并行迁移文档。使用这种方法，您可以根据您选择 Amazon DMS 的每个线程的文档范围来告知要在每个线程中迁移的特定文档。

下图显示了包含七个项目并将 _id 作为主键的 MongoDB 集合。

要将集合拆分为三个特定的段 Amazon DMS 以便并行迁移，可以在迁移任务中添加表映射规则。此方法如以下 JSON 示例所示。

{ // Task table mappings:
  "rules": [
    {
      "rule-type": "selection",
      "rule-id": "1",
      "rule-name": "1",
      "object-locator": {
        "schema-name": "testdatabase",
        "table-name": "testtable"
      },
      "rule-action": "include"
    }, // "selection" :"rule-type"
    {
      "rule-type": "table-settings",
      "rule-id": "2",
      "rule-name": "2",
      "object-locator": {
        "schema-name": "testdatabase",
        "table-name": "testtable"
      },
      "parallel-load": {
        "type": "ranges",
        "columns": [
           "_id",
           "num"
        ],
        "boundaries": [
          // First segment selects documents with _id less-than-or-equal-to 5f805c97873173399a278d79
          // and num less-than-or-equal-to 2.
          [
             "5f805c97873173399a278d79",
             "2"
          ],
          // Second segment selects documents with _id > 5f805c97873173399a278d79 and
          // _id less-than-or-equal-to 5f805cc5873173399a278d7c and
          // num > 2 and num less-than-or-equal-to 5.
          [
             "5f805cc5873173399a278d7c",
             "5"
          ]                                   
          // Third segment is implied and selects documents with _id > 5f805cc5873173399a278d7c.
        ] // :"boundaries"
      } // :"parallel-load"
    } // "table-settings" :"rule-type"
  ] // :"rules"
} // :Task table mappings

该表映射定义将源集合拆分为三个区段以并行迁移。以下是分段边界。

Data with _id less-than-or-equal-to "5f805c97873173399a278d79" and num less-than-or-equal-to 2 (2 records)
Data with _id > "5f805c97873173399a278d79" and num > 2 and _id  less-than-or-equal-to "5f805cc5873173399a278d7c" and num less-than-or-equal-to 5 (3 records)
Data with _id > "5f805cc5873173399a278d7c" and num > 5 (2 records)    
            

迁移任务完成后，您可以从任务日志中验证表是否并行加载，如以下示例所示。您还可以验证用于从源表中卸载每个区段的 MongoDB find 子句。

[TASK_MANAGER    ] I:  Start loading segment #1 of 3 of table 'testdatabase'.'testtable' (Id = 1) by subtask 1. Start load timestamp 0005B191D638FE86  (replicationtask_util.c:752)

[SOURCE_UNLOAD   ] I:  Range Segmentation filter for Segment #0 is initialized.   (mongodb_unload.c:157)

[SOURCE_UNLOAD   ] I:  Range Segmentation filter for Segment #0 is: { "_id" : { "$lte" : { "$oid" : "5f805c97873173399a278d79" } }, "num" : { "$lte" : { "$numberInt" : "2" } } }  (mongodb_unload.c:328)

[SOURCE_UNLOAD   ] I: Unload finished for segment #1 of segmented table 'testdatabase'.'testtable' (Id = 1). 2 rows sent.

[TASK_MANAGER    ] I: Start loading segment #1 of 3 of table 'testdatabase'.'testtable' (Id = 1) by subtask 1. Start load timestamp 0005B191D638FE86 (replicationtask_util.c:752)
 
[SOURCE_UNLOAD   ] I: Range Segmentation filter for Segment #0 is initialized. (mongodb_unload.c:157) 

[SOURCE_UNLOAD   ] I: Range Segmentation filter for Segment #0 is: { "_id" : { "$lte" : { "$oid" : "5f805c97873173399a278d79" } }, "num" : { "$lte" : { "$numberInt" : "2" } } } (mongodb_unload.c:328)
 
[SOURCE_UNLOAD   ] I: Unload finished for segment #1 of segmented table 'testdatabase'.'testtable' (Id = 1). 2 rows sent.

[TARGET_LOAD     ] I: Load finished for segment #1 of segmented table 'testdatabase'.'testtable' (Id = 1). 1 rows received. 0 rows skipped. Volume transfered 480.

[TASK_MANAGER    ] I: Load finished for segment #1 of table 'testdatabase'.'testtable' (Id = 1) by subtask 1. 2 records transferred.
            

目前， Amazon DMS 支持以下 MongoDB 数据类型作为分段键列：

使用 MongoDB 作为源时迁移多个数据库 Amazon DMS

Amazon DMS 3.4.5 及更高版本支持在单个任务中为所有支持的 MongoDB 版本迁移多个数据库。如果您要迁移多个数据库，请采取以下步骤：

例如，您可以指定以下 JSON 以迁移三个 MongoDB 数据库。

{
    "rules": [
        {
            "rule-type": "selection",
            "rule-id": "1",
            "rule-name": "1",
            "object-locator": {
                "schema-name": "Customers",
                "table-name": "%"
            },
            "rule-action": "include",
            "filters": []
        },
        {
            "rule-type": "selection",
            "rule-id": "2",
            "rule-name": "2",
            "object-locator": {
                "schema-name": "Orders",
                "table-name": "%"
            },
            "rule-action": "include",
            "filters": []
        },
        {
            "rule-type": "selection",
            "rule-id": "3",
            "rule-name": "3",
            "object-locator": {
                "schema-name": "Inventory",
                "table-name": "%"
            },
            "rule-action": "include",
            "filters": []
        }
    ]
}                

使用 MongoDB 作为源代码时的限制 Amazon DMS

以下是使用 MongoDB 作为源代码时的限制： Amazon DMS

使用 MongoDB 作为源时的端点配置设置 Amazon DMS

设置 MongoDB 源端点时，您可以使用控制台指定多个端点配置设置。 Amazon DMS

下表描述了使用 MongoDB 数据库作为源时可用的配置设置。 Amazon DMS

如果您选择文档作为元数据模式，则可以使用不同的选项。

如果目标端点是 DocumentDB，请确保在文档模式下运行迁移。此外，修改您的源端点并选择选项将 _id 作为单独的列。如果您的源 MongoDB 工作负载涉及事务，则这是必需的先决条件。

MongoDB 的源数据类型

使用 MongoDB 作为源的数据迁移 Amazon DMS 支持大多数 MongoDB 数据类型。在下表中，您可以找到 Amazon DMS 使用时支持的 MongoDB 源数据类型以及数据类型的默认映射 Amazon DMS 。有关 MongoDB 数据类型的更多信息，请参阅 MongoDB 文档中的 BSON 类型。

有关如何查看目标中映射的数据类型的信息，请参阅有关所使用的目标终端节点的部分。

有关 Amazon DMS 数据类型的更多信息，请参见Database Migration Servic Amazon e 的数据类型。