将 Amazon S3 用作目标Amazon Database Migration Service

您可以使用Amazon DMS任何支持的数据库源将数据迁移到 Amazon S3。在Amazon DMS任务中使用 Amazon S3 作为目标时，默认情况下，满负载和变更数据捕获 (CDC) 数据都以逗号分隔值 (.csv) 格式写入。对于更紧凑的存储和更快速的查询选项，您还可以选择将数据写入 Apache Parquet (.parquet) 格式。

Amazon DMS命名在满载期间使用增量十六进制计数器创建的文件，例如，.csv 文件的 LOAD00001.csv、LOAD00002...、LOAD00009、LOAD0000A 等。 Amazon DMS使用时间戳命名 CDC 文件，例如 20141029-1134010000.csv。对于每个包含记录的源表，在指定的目标文件夹下Amazon DMS创建一个文件夹（如果源表不为空）。 Amazon DMS将所有满负载和 CDC 文件写入指定的 Amazon S3 存储桶。

参数 bucketFolder 包含 .csv 或 .parquet 文件在上传到 S3 存储桶之前的存储位置。对于.csv 文件，表数据以以下格式存储在 S3 存储桶中，与满载文件一起显示。

database_schema_name/table_name/LOAD00000001.csv
database_schema_name/table_name/LOAD00000002.csv
...
database_schema_name/table_name/LOAD00000009.csv
database_schema_name/table_name/LOAD0000000A.csv
database_schema_name/table_name/LOAD0000000B.csv
...database_schema_name/table_name/LOAD0000000F.csv
database_schema_name/table_name/LOAD00000010.csv
...

您可以使用额外连接属性指定列分隔符、行分隔符以及其他参数。有关额外连接属性的更多信息，请参阅此部分结尾的使用 Amazon S3 作为目标时的终端节点设置Amazon DMS。

您可以使用ExpectedBucketOwner Amazon S3 终端节点设置指定存储桶所有者并防止监听，如下所示。然后，当您发出测试连接或执行迁移的请求时，S3 根据指定参数检查存储桶拥有者的账户 ID。

--s3-settings='{"ExpectedBucketOwner": "AWS_Account_ID"}'

当您使用Amazon DMS CDC 任务复制数据更改时，.csv 或.parquet 输出文件的第一列指示行数据的更改方式，如以下.csv 文件所示。

I,101,Smith,Bob,4-Jun-14,New York
U,101,Smith,Bob,8-Oct-15,Los Angeles
U,101,Smith,Bob,13-Mar-17,Dallas
D,101,Smith,Bob,13-Mar-17,Dallas
        

对于该示例，假设源数据库中有一个 EMPLOYEE 表。Amazon DMS 将数据写入 .csv 或 .parquet 文件中来响应以下事件：

请注意，默认情况下，CDC 会Amazon DMS存储每个数据库表的行更改，而不考虑事务顺序。如果要根据事务顺序将行更改存储在 CDC 文件中，则需要使用 S3 终端节点设置来指定此路径以及要在 S3 目标上存储 CDC 事务文件的文件夹路径。有关更多信息，请参阅捕获数据更改（CDC），包括 S3 目标上的事务顺序：

要控制在数据复制任务期间写入 Amazon S3 目标的频率，您可以配置cdcMaxBatchInterval和cdcMinFileSize额外的连接属性。这可以在分析数据时提高性能，而无需进行任何额外的开销操作。有关更多信息，请参阅 使用 Amazon S3 作为目标时的终端节点设置Amazon DMS

使用 Amazon S3 作为目标的先决条件

在使用 Amazon S3 作为目标之前，请检查以下条件是否正确：

要设置此账户访问权限，请确保向用于创建迁移任务的用户账户分配的角色具有以下一系列权限。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "s3:PutObject",
                "s3:DeleteObject",
                "s3:PutObjectTagging"
            ],
            "Resource": [
                "arn:aws:s3:::buckettest2/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::buckettest2"
            ]
        }
    ]
}

使用 Amazon S3 作为目标的限制

将 Amazon S3 用作目标时，以下限制适用：

安全性

要使用 Amazon S3 作为目标，用于迁移的账户必须对用作目标的 Amazon S3 存储桶具有写入和删除权限。指定具有访问 Amazon S3 所需权限的 IAM 角色的 Amazon Resource Name (ARN)。

Amazon DMS支持 Amazon S3 的一组预定义的授权，称为标准访问控制列表（ACL）。每个标准 ACL 都有一组被授权者和权限，您可以使用它们来设置 Amazon S3 存储桶的权限。您可以将 cannedAclForObjects 用于 S3 目标终端节点的连接字符串属性以指定标准 ACL。有关使用额外连接属性 cannedAclForObjects 的更多信息，请参阅使用 Amazon S3 作为目标时的终端节点设置Amazon DMS。有关 Amazon S3 标准 ACL 的更多信息，请参阅标准 ACL。

用于迁移的 IAM 角色必须能够执行 s3:PutObjectAcl API 操作。

使用 Apache Parquet 存储Amazon S3 对象

逗号分隔值 (.csv) 格式是 Amazon S3 目标对象的默认存储格式。对于更紧凑的存储和更快速的查询，您可以改用 Apache Parquet (.parquet) 作为存储格式。

Apache Parquet 是一种最初专为 Hadoop 设计的开源文件存储格式。有关 Apache Parquet 的更多信息，请参阅 https://parquet.apache.org/。

要将 .parquet 设置为您的已迁移 S3 目标对象的存储格式，您可以使用以下机制：

Amazon S3 对象标记

您可以通过指定相应的 JSON 对象作为任务表映射规则的一部分来标记复制实例创建的 Amazon S3 对象。有关 S3 对象标记要求和选项的更多信息，包括有效的标签名称，请参阅 Amazon Simple Storage Service 用户指南中的对象标记。有关使用 JSON 的表映射的更多信息，请参阅 使用 JSON 指定表格选择和转换规则。

您可以标记为指定表创建的 S3 对象，方式是使用 selection 规则类型的一个或多个 JSON 对象。然后，您可以使用 add-tag 操作在此 selection 对象后添加 post-processing 规则类型的一个或多个 JSON 对象。这些后处理规则标识要标记的 S3 对象并指定要添加到这些 S3 对象的标签的名称和值。

您可以在下表中找到要在 post-processing 规则类型的 JSON 对象中指定的参数。

在指定多个 post-processing 规则类型来标记一系列 S3 对象时，将仅使用来自一个后处理规则的一个 tag-set 对象来标记每个 S3 对象。用于标记给定 S3 对象的特定标记集是来自后处理规则的标记集，其关联对象定位器与该 S3 对象最匹配。

例如，假设两个后处理规则标识同一 S3 对象。另外，假设一个规则中的对象定位器使用通配符，而另一个规则中的对象定位器使用精确匹配来标识 S3 对象（不带通配符）。在这种情况下，与后处理规则关联的带精确匹配的标签集将用于标记 S3 对象。如果多个后处理规则同样匹配某个给定 S3 对象，则与第一个此类后处理规则关联的标签集将用于标记该对象。

{
    "rules": [
        {
            "rule-type": "selection",
            "rule-id": "5",
            "rule-name": "5",
            "object-locator": {
                "schema-name": "aat2",
                "table-name": "STOCK"
            },
            "rule-action": "include"
        },
        {
            "rule-type": "post-processing",
            "rule-id": "41",
            "rule-name": "41",
            "rule-action": "add-tag",
            "object-locator": {
                "schema-name": "aat2",
                "table-name": "STOCK"
            },
            "tag-set": [
              {
                "key": "tag_1",
                "value": "value_1"
              },
              {
                "key": "tag_2",
                "value": "value_2"
              },
              {
                "key": "tag_3",
                "value": "value_3"
              }                                     
           ]
        }
    ]
}

{
    "rules": [
        {
            "rule-type": "selection",
            "rule-id": "1",
            "rule-name": "1",
            "object-locator": {
                "schema-name": "%",
                "table-name": "%"
            },
            "rule-action": "include"
        },
        {
            "rule-type": "post-processing",
            "rule-id": "21",
            "rule-name": "21",
            "rule-action": "add-tag",
            "object-locator": {
                "schema-name": "%",
                "table-name": "%",
            },
            "tag-set": [
              { 
                "key": "dw-schema-name",
                "value":"${schema-name}"
              },
              {
                "key": "dw-schema-table",
                "value": "my_prefix_${table-name}"
              }
            ]
        },
        {
            "rule-type": "post-processing",
            "rule-id": "41",
            "rule-name": "41",
            "rule-action": "add-tag",
            "object-locator": {
                "schema-name": "aat",
                "table-name": "ITEM",
            },
            "tag-set": [
              {
                "key": "tag_1",
                "value": "value_1"
              },
              {
                "key": "tag_2",
                "value": "value_2"
              }           ]
        }
    ]
}

{
    "rules": [
        {
            "rule-type": "selection",
            "rule-id": "1",
            "rule-name": "1",
            "object-locator": {
                "schema-name": "retail",
                "table-name": "ITEM"
            },
            "rule-action": "include"
        },
        {
            "rule-type": "selection",
            "rule-id": "1",
            "rule-name": "1",
            "object-locator": {
                "schema-name": "wholesale",
                "table-name": "ITEM"
            },
            "rule-action": "include"
        },
        {
            "rule-type": "post-processing",
            "rule-id": "21",
            "rule-name": "21",
            "rule-action": "add-tag",
            "object-locator": {
                "schema-name": "%",
                "table-name": "ITEM",
            },
            "tag-set": [
              { 
                "key": "dw-schema-name",
                "value":"${schema-name}"
              },
              {
                "key": "dw-schema-table",
                "value": "my_prefix_ITEM"
              },
              {
                "key": "${schema-name}_ITEM_tag_1",
                "value": "value_1"
              },
              {
                "key": "${schema-name}_ITEM_tag_2",
                "value": "value_2"
              }
            ]
    ]
}

创建Amazon KMS密钥以加密 Amazon S3 目标对象

您可以创建和使用自定义Amazon KMS密钥对 Amazon S3 目标对象进行加密。创建 KMS 密钥后，您可以在创建 S3 目标终端节点时，使用该密钥通过下列方法之一加密对象：

要使用 KMS 密钥对 Amazon S3 目标对象进行加密，您需要具有访问 Amazon S3 存储桶的访问权限的 IAM 角色。然后，可以在附加到您创建的加密密钥的策略（密钥策略）中访问此 IAM 角色。您可以通过创建以下内容在 IAM 控制台中执行此操作：

以下过程介绍了如何执行此操作。

例如，您现在已经创建了新策略，用于访问 Amazon S3 资源以使用指定名称进行加密DMS-S3-endpoint-access。

现在，您已创建新角色来访问 Amazon S3 资源，使用指定名称进行加密，例如DMS-S3-endpoint-access-role。

现在，您已创建一个具有指定别名（例如，DMS-S3-endpoint-encryption-key）的新 KMS 密钥。此密钥Amazon DMS允许加密 Amazon S3 目标对象。

使用基于日期的文件夹分区

Amazon DMS在您使用 Amazon S3 作为目标终端节点时，支持基于交易提交日期的 S3 文件夹分区。使用基于日期的文件夹分区，您可以将数据从单个源表写入 S3 存储桶中的时间层次结构文件夹结构。通过在创建 S3 目标端点时对文件夹进行分区，您可以执行以下操作：

创建 S3 目标端点时，可以启用基于日期的文件夹分区。您可以在迁移现有数据和复制正在进行的更改（满负载 + CDC）或仅复制数据更改（仅限 CDC）时启用它。使用以下目标端点设置：

以下示例显示如何使用数据分区序列和分隔符的默认值启用基于日期的文件夹分区。它使用了的--s3-settings '{json-settings}'选项Amazon CLI。 create-endpoint命令。

   --s3-settings '{"DatePartitionEnabled": true,"DatePartitionSequence": "YYYYMMDD","DatePartitionDelimiter": "SLASH"}'
            

使用 Amazon S3 作为目标时分区源的并行加载Amazon DMS

您可以为 Amazon S3 目标配置分区数据源的parallel 满负载。这种方法缩短了将分区数据从支持的源数据库引擎迁移到 S3 目标的加载时间。为了缩短分区源数据的加载时间，您可以创建 S3 目标子文件夹，映射到源数据库中每个表的分区。这些分区绑定子文件夹Amazon DMS允许运行parallel 进程来填充目标上的每个子文件夹。

要配置 S3 目标的parallel 满负载，S3 支持表映射table-settings规则的三parallel-load种规则类型：

有关这些并行负载规则类型的更多信息，请参阅表和集合设置规则和操作。

对于partitions-auto和partitions-list规则类型，Amazon DMS使用源端点中的每个分区名称来标识目标子文件夹结构，如下所示。

bucket_name/bucket_folder/database_schema_name/table_name/partition_name/LOADseq_num.csv

在这里，在 S3 目标上迁移和存储数据的partition_name子文件夹路径包括一个与同名源分区相对应的附加子文件夹。然后，该partition_name子文件夹存储一个或多个LOADseq_num.csv文件，其中包含从指定源分区迁移的数据。这里seq_num是.csv 文件名上的序列号后缀，例如名为的.csv 文件00000001中LOAD00000001.csv。

但是，某些数据库引擎，例如 MongoDB 和 DocumentDB，没有分区的概念。对于这些数据库引擎，Amazon DMS将正在运行的源分段索引作为前缀添加到目标.csv 文件名中，如下所示。

.../database_schema_name/table_name/SEGMENT1_LOAD00000001.csv
.../database_schema_name/table_name/SEGMENT1_LOAD00000002.csv
...
.../database_schema_name/table_name/SEGMENT2_LOAD00000009.csv
.../database_schema_name/table_name/SEGMENT3_LOAD0000000A.csv

在这里，文件SEGMENT1_LOAD00000001.csv和SEGMENT1_LOAD00000002.csv使用相同的运行源分段索引前缀命名SEGMENT1。之所以这样命名，是因为这两个.csv 文件的迁移源数据与同一个正在运行的源区段索引相关联。另一方面，存储在每个目标SEGMENT2_LOAD00000009.csv和SEGMENT3_LOAD0000000A.csv文件中的迁移数据与不同的正在运行的源分段索引相关联。每个文件的文件名都以其正在运行的分段索引的名称为前缀，以SEGMENT2及SEGMENT3。

对于ranges并行加载类型，您可以使用table-settings规则的和boundaries设置来定义列名columns和列值。使用这些规则，您可以指定与分段名称对应的分区，如下所示。

"parallel-load": {
    "type": "ranges",
    "columns": [
         "region",
         "sale"
    ],
    "boundaries": [
          [
               "NORTH",
               "1000"
          ],
          [
               "WEST",
               "3000"
          ]
    ],
    "segment-names": [
          "custom_segment1",
          "custom_segment2",
          "custom_segment3"
    ]
}

在这里，该segment-names设置定义了三个分区的名称，以便在 S3 目标上parallel 迁移数据。迁移的数据按顺序并行加载并存储在分区子文件夹下的.csv 文件中，如下所示。

.../database_schema_name/table_name/custom_segment1/LOAD[00000001...].csv
.../database_schema_name/table_name/custom_segment2/LOAD[00000001...].csv
.../database_schema_name/table_name/custom_segment3/LOAD[00000001...].csv

在这里，将一系列.csv 文件Amazon DMS存储在三个分区子文件夹中。每个分区子文件夹中的.csv 文件从迁移所有LOAD00000001.csv数据开始逐渐命名。

在某些情况下，您可能无法使用segment-names设置为ranges并行加载类型明确命名分区子文件夹。在这种情况下，Amazon DMS应用在其table_name子文件夹下创建每个系列的.csv 文件的默认设置。在这里，为每个系列的.csv 文件的文件名加上正在运行的源分段索引的名称作为Amazon DMS前缀，如下所示。

.../database_schema_name/table_name/SEGMENT1_LOAD[00000001...].csv
.../database_schema_name/table_name/SEGMENT2_LOAD[00000001...].csv
.../database_schema_name/table_name/SEGMENT3_LOAD[00000001...].csv
...
.../database_schema_name/table_name/SEGMENTZ_LOAD[00000001...].csv

使用 Amazon S3 作为目标时的终端节点设置Amazon DMS

您可以使用终端节点设置来配置 Amazon S3 目标数据库，类似于使用额外的连接属性。在创建目标终端节点时，您可以使用Amazon DMS控制台或使用中的create-endpoint命令使用--s3-settings '{"EndpointSetting": "value", ...}' JSON 语法指定设置。Amazon CLI

下表显示了您可以将 Amazon S3 用作目标的终端节点设置。

在您的 Amazon S3 目标上使用数据加密、Parquet 文件和 CDC

您可以使用 S3 目标终端节点设置来配置以下内容：

用于数据加密的 Amazon KMS 密钥设置

以下示例说明如何配置自定义 KMS 密钥以加密 S3 目标对象。要开始，您可以运行以下 create-endpoint CLI 命令。

aws dms create-endpoint --endpoint-identifier s3-target-endpoint --engine-name s3 --endpoint-type target 
--s3-settings '{"ServiceAccessRoleArn": "your-service-access-ARN", "CsvRowDelimiter": "\n", 
"CsvDelimiter": ",", "BucketFolder": "your-bucket-folder", 
"BucketName": "your-bucket-name", 
"EncryptionMode": "SSE_KMS", 
"ServerSideEncryptionKmsKeyId": "arn:aws:kms:us-east-1:111122223333:key/72abb6fb-1e49-4ac1-9aed-c803dfcc0480"}'

此处，--s3-settings 选项所指定的 JSON 对象定义了两个参数。一个是带值 SSE_KMS 的 EncryptionMode 参数。另一个是带值 arn:aws:kms:us-east-1:111122223333:key/72abb6fb-1e49-4ac1-9aed-c803dfcc0480 的 ServerSideEncryptionKmsKeyId 参数。此值是自定义 KMS 密钥的 Amazon 资源名称 (ARN)。对于 S3 目标，您还可以指定其他设置。这些设置标识服务器访问角色，为默认 CSV 对象存储格式提供分隔符，并提供存储桶位置和名称来存储 S3 目标对象。

默认情况下，使用 S3 服务器端加密进行 S3 数据加密。对于上一示例中的 S3 目标，这也等同于指定其终端节点设置，如以下示例所示。

aws dms create-endpoint --endpoint-identifier s3-target-endpoint --engine-name s3 --endpoint-type target
--s3-settings '{"ServiceAccessRoleArn": "your-service-access-ARN", "CsvRowDelimiter": "\n", 
"CsvDelimiter": ",", "BucketFolder": "your-bucket-folder", 
"BucketName": "your-bucket-name", 
"EncryptionMode": "SSE_S3"}'

有关使用 S3 服务器端加密的更多信息，请参阅使用服务器端加密保护数据。

使用 .parquet 文件存储 S3 目标对象的设置

用于创建 S3 目标对象的默认格式为 .csv 文件。以下示例显示用于指定 .parquet 文件作为创建 S3 目标对象的格式的某些终端节点设置。您可以指定带所有默认值的 .parquet 文件格式，如以下示例所示。

aws dms create-endpoint --endpoint-identifier s3-target-endpoint --engine-name s3 --endpoint-type target 
--s3-settings '{"ServiceAccessRoleArn": "your-service-access-ARN", "DataFormat": "parquet"}'

在这里，DataFormat 参数设置为 parquet 以启用带所有 S3 默认值的格式。这些默认值包括一个词典编码 ("EncodingType: "rle-dictionary")，该编码使用位压缩和运行长度编码的组合以更高效地存储重复值。

您可以为选项添加默认值之外的其他设置，如以下示例所示。

aws dms create-endpoint --endpoint-identifier s3-target-endpoint --engine-name s3 --endpoint-type target
--s3-settings '{"ServiceAccessRoleArn": "your-service-access-ARN", "BucketFolder": "your-bucket-folder",
"BucketName": "your-bucket-name", "CompressionType": "GZIP", "DataFormat": "parquet", "EncodingType: "plain-dictionary", "DictPageSizeLimit": 3,072,000,
"EnableStatistics": false }'

在这里，除了几个标准 S3 存储桶选项的参数和 DataFormat 参数外，将设置以下额外的 .parquet 文件参数：

捕获数据更改（CDC），包括 S3 目标上的事务顺序

默认情况下，Amazon DMS运行 CDC 任务时，它将记录在源数据库（或数据库）中的所有行更改存储在每个表的一个或多个文件中。包含同一表更改的每组文件都位于与该表关联的单个目标目录中。 Amazon DMS创建的目标目录与迁移到 Amazon S3 目标终端节点的数据库表一样多。这些文件存储在 S3 目标上的这些目录中，不考虑事务顺序。有关文件命名规则、数据内容和格式的更多信息，请参阅将 Amazon S3 用作目标Amazon Database Migration Service。

要以同时捕获事务顺序的方式捕获源数据库更改，您可以指定 S3 终端节点设置，这些设置Amazon DMS将所有数据库表的行更改存储在根据事务大小创建的一个或多个.csv 文件中。这些.csv 事务文件包含每个事务中涉及的所有表的事务顺序按事务顺序列出的所有行更改。这些事务文件一起存在于您在 S3 目标上指定的单个事务目录中。在每个事务文件中，每次更改的事务操作以及数据库和源表的标识存储为行数据的一部分，如下所示。

operation,table_name,database_schema_name,field_value,...

这里，operation是对已更改行的事务操作，table_name是更改该行的数据库表的名称，database_schema_name是该表所在的数据库架构的名称，并且field_value是指定该行数据的一个或多个字段值中的第一个。

以下事务文件示例显示了涉及两个表的一个或多个事务的更改行。

I,Names_03cdcad11a,rdsTempsdb,13,Daniel
U,Names_03cdcad11a,rdsTempsdb,23,Kathy
D,Names_03cdcad11a,rdsTempsdb,13,Cathy
I,Names_6d152ce62d,rdsTempsdb,15,Jane
I,Names_6d152ce62d,rdsTempsdb,24,Chris
I,Names_03cdcad11a,rdsTempsdb,16,Mike

在这里，每行的事务操作由第一列中的I（插入）、U（更新）或D（删除）指示。表名是第二列的值（例如Names_03cdcad11a）。数据库架构的名称是第三列的值（例如rdsTempsdb）。其余列由您自己的行数据填充（例如，13,Daniel）。

此外，根据以下命Amazon DMS名惯例，使用时间戳命名它在 Amazon S3 目标上创建的事务文件。

CDC_TXN-timestamp.csv

这里timestamp是创建事务文件的时间，如以下示例所示。

CDC_TXN-20201117153046033.csv

文件名中的这个时间戳可确保在事务文件在其事务目录中列出事务文件时，事务文件是按事务顺序创建和列出的。

要控制在数据复制任务期间写入 Amazon S3 目标的频率，您可以配置CdcMaxBatchInterval和CdcMinFileSize设置。这可以在分析数据时提高性能，而无需进行任何额外的开销操作。有关更多信息，请参阅 使用 Amazon S3 作为目标时的终端节点设置Amazon DMS

指示迁移的 S3 数据中的源数据库操作

当 Amazon DMS 将记录迁移到 S3 目标时，它会在每条迁移的记录中创建一个额外字段。此额外字段指示应用于源数据库中的记录的操作。如何Amazon DMS创建和设置第一个字段取决于迁移任务类型和includeOpForFullLoadcdcInsertsOnly、和的设置cdcInsertsAndUpdates。

如果为满负载true，includeOpForFullLoad则Amazon DMS始终在每条.csv 记录中创建一个额外的第一个字段。该字段包含字母 I (INSERT)，指示该行已插入源数据库中。对于 CDC 加载时cdcInsertsOnlyfalse（默认），Amazon DMS还始终在每条.csv 或.parquet 记录中创建一个额外的第一个字段。此字段包含字母 I (INSERT)、U (UPDATE) 或 D (DELETE)，指示是否在源数据库中插入、更新或删除行。

在下表中，您可以看到includeOpForFullLoad和cdcInsertsOnly属性的设置如何共同影响迁移记录的设置。

在将 includeOpForFullLoad 和 cdcInsertsOnly 设置为同一值时，将根据控制当前迁移类型的记录设置的属性来设置目标记录。该属性为 includeOpForFullLoad（对于完全加载）和 cdcInsertsOnly（对于 CDC 加载）。

在将 includeOpForFullLoad 和 cdcInsertsOnly 设置为不同的值时，Amazon DMS 使 CDC 加载和完全加载的目标记录设置保持一致。它通过使 CDC 加载的记录设置符合 includeOpForFullLoad 指定的任何早期完全加载的记录设置来实现此目的。

换句话说，假设将完全加载设置为添加第一个字段来指示插入的记录。在此情况下，将以下 CDC 加载设置为添加第一个字段，该字段指示在源中适当插入、更新或删除的记录。相反，假设将完全加载设置为不 添加第一个字段来指示插入的记录。在此情况下，CDC 加载也将设置为不向每条记录添加第一个字段，而不管其在源中的相应记录操作如何。

同样，DMS 如何创建和设置附加的第一个字段取决于 includeOpForFullLoad 和 cdcInsertsAndUpdates 的设置。在下表中，您可以了解 includeOpForFullLoad 和 cdcInsertsAndUpdates 属性的设置如何协作以影响采用此格式的迁移记录的设置。

S3 Parquet 的目标数据类型

下表显示了使用时支持的 Parquet 目标数据类型Amazon DMS以及来自Amazon DMS数据类型的默认映射。

有关 Amazon DMS 数据类型的其他信息，请参阅DatAmazon abase Migration Service 数据类型。