Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

使用亚马逊 S3 作为来源Amazon DMS

您可以使用从 Amazon S3 存储桶迁移数据Amazon DMS。为此，请提供对包含一个或多个数据文件的 Amazon S3 存储桶的访问权限。在该 S3 存储桶中，请包含一个 JSON 文件以描述该数据与这些文件中的数据的数据库表之间的映射。

在全面加载开始之前，源数据文件必须存在于 Amazon S3 存储桶中。您可以使用 bucketName 参数指定存储桶名称。

源数据文件必须采用逗号分隔值 (.csv) 格式。使用以下命名惯例命名它们。在该约定中，schemaName 是源架构，tableName 是该架构中的表的名称。

/schemaName/tableName/LOAD001.csv
/schemaName/tableName/LOAD002.csv
/schemaName/tableName/LOAD003.csv
...

例如，假设你的数据文件在mybucket，位于以下 Amazon S3 路径中。

s3://mybucket/hr/employee

在加载时，Amazon DMS 假定源架构名称是 hr，源表名称是 employee。

除了bucketName（这是必填项），您可以选择提供bucketFolder用于指定位置的参数Amazon DMS应该在 Amazon S3 存储桶中查找数据文件。继续前面的示例，如果你设置了bucketFolder到sourcedata，那么Amazon DMS读取以下路径的数据文件。

s3://mybucket/sourcedata/hr/employee

您可以使用额外连接属性指定列分隔符、行分隔符、null 值指示符以及其他参数。有关更多信息，请参阅作为来源的 Amazon S3 的终端节点设置Amazon DMS：

您可以使用以下方法指定存储桶所有者并防止狙击ExpectedBucketOwnerAmazon S3 终端节点设置，如下所示。然后，当您发出测试连接或执行迁移的请求时，S3 会根据指定参数检查存储桶所有者的账户 ID。

--s3-settings='{"ExpectedBucketOwner": "AWS_Account_ID"}'

将 Amazon S3 的外部表定义为来源Amazon DMS

除了数据文件以外，您还必须提供外部表定义。一个外部表定义是一个 JSON 文档，描述了操作方法Amazon DMS应该解释来自 Amazon S3 的数据。该文档的最大大小为 2 MB。如果使用 Amazon DMS 管理控制台创建源终端节点，则可直接在表映射框中输入 JSON。如果使用 Amazon Command Line Interface (Amazon CLI) 或 Amazon DMS API 执行迁移，您可以创建一个 JSON 文件以指定外部表定义。

假定您具有包含以下内容的数据文件。

101,Smith,Bob,2014-06-04,New York
102,Smith,Bob,2015-10-08,Los Angeles
103,Smith,Bob,2017-03-13,Dallas
104,Smith,Bob,2017-03-13,Dallas

以下是该数据的示例外部表定义。

{
    "TableCount": "1",
    "Tables": [
        {
            "TableName": "employee",
            "TablePath": "hr/employee/",
            "TableOwner": "hr",
            "TableColumns": [
                {
                    "ColumnName": "Id",
                    "ColumnType": "INT8",
                    "ColumnNullable": "false",
                    "ColumnIsPk": "true"
                },
                {
                    "ColumnName": "LastName",
                    "ColumnType": "STRING",
                    "ColumnLength": "20"
                },
                {
                    "ColumnName": "FirstName",
                    "ColumnType": "STRING",
                    "ColumnLength": "30"
                },
                {
                    "ColumnName": "HireDate",
                    "ColumnType": "DATETIME"
                },
                {
                    "ColumnName": "OfficeLocation",
                    "ColumnType": "STRING",
                    "ColumnLength": "20"
                }
            ],
            "TableColumnsTotal": "5"
        }
    ]
}

该 JSON 文档中的元素如下所示：

TableCount— 源表的数量。在该示例中，只有一个表。

Tables— 一个由每个源表一个 JSON 地图组成的数组。在该示例中，只有一个映射。每个映射包含以下元素：

如果未另行指定，Amazon DMS 假定 ColumnLength 为零。

对于 NUMERIC 类型的列，指定精度和小数位数。精度 是数字中的总位数，而小数位数 是小数点右边的位数。为此，您可以使用 ColumnPrecision 和 ColumnScale 元素，如下所示。

...
    {
        "ColumnName": "HourlyRate",
        "ColumnType": "NUMERIC",
        "ColumnPrecision": "5"
        "ColumnScale": "2"
    }
...

对于数据包含小数秒的 DATETIME 类型的列，请指定小数位数。规模是小数秒的位数，范围可以从 0 到 9。你使用ColumnScale这个的元素，如下所示。

...
{
      "ColumnName": "HireDate",
      "ColumnType": "DATETIME",
      "ColumnScale": "3"
}
...

如果你没有另行指定，Amazon DMS假定ColumnScale为零并截断小数秒。

使用以 Amazon S3 为来源的 CDCAmazon DMS

在 Amazon DMS 执行完全数据加载后，它可以选择将数据更改复制到目标终端节点中。为此，您需要将更改数据捕获文件（CDC 文件）上传到您的 Amazon S3 存储桶。Amazon DMS上传这些 CDC 文件时会读取它们，然后在目标端点应用更改。

CDC 文件是按如下方式命名的：

CDC00001.csv
CDC00002.csv
CDC00003.csv
...

指明在哪里Amazon DMS可以找到文件，指定cdcPath参数。对于前面的示例，如果将 cdcPath 设置为 changedata，则 Amazon DMS 读取以下路径中的 CDC 文件。

s3://mybucket/changedata

如果你设置cdcPath到changedata和bucketFolder到myFolder，那么Amazon DMS在以下路径读取 CDC 文件。

s3://mybucket/myFolder/changedata

CDC 文件中的记录格式如下所示：

以下是名为 employee 的表的示例 CDC 文件。

INSERT,employee,hr,101,Smith,Bob,2014-06-04,New York
UPDATE,employee,hr,101,Smith,Bob,2015-10-08,Los Angeles
UPDATE,employee,hr,101,Smith,Bob,2017-03-13,Dallas
DELETE,employee,hr,101,Smith,Bob,2017-03-13,Dallas

使用 Amazon S3 作为源时的先决条件Amazon DMS

使用 Amazon S3 作为来源Amazon DMS，您的源 S3 存储桶必须位于同一存储桶中Amazon区域作为迁移数据的 DMS 复制实例。此外，Amazon您用于迁移的账户必须具有对源存储桶的读取权限。

向用于创建迁移任务的用户账户分配的 Amazon Identity and Access Management (IAM) 角色必须具有以下权限集合。

{
    "Version": "2012-10-17",
    "Statement": [
       {
            "Effect": "Allow",
            "Action": [
                "s3:GetObject"
            ],
            "Resource": [
                "arn:aws:s3:::mybucket*/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::mybucket*"
            ]
        }
    ]
}

这个Amazon Identity and Access Management如果在 Amazon S3 存储桶上启用了版本控制，则分配给用于创建迁移任务的用户账户的 (IAM) 角色必须具有以下一组权限。

{
    "Version": "2012-10-17",
    "Statement": [
       {
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "S3:GetObjectVersion"
            ],
            "Resource": [
                "arn:aws:s3:::mybucket*/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::mybucket*"
            ]
        }
    ]
}

使用 Amazon S3 作为源时的限制Amazon DMS

使用 Amazon S3 作为源时，以下限制适用：

作为来源的 Amazon S3 的终端节点设置Amazon DMS

您可以使用终端节点设置来配置 Amazon S3 源数据库，类似于使用额外的连接属性。当您使用创建源端点时，您可以指定设置Amazon DMS控制台，或者使用create-endpoint中的命令Amazon CLI，和--s3-settings '{"EndpointSetting": "value", ...}'JSON 语法。

下表显示了您可以将 Amazon S3 用作源的终端节点设置。

亚马逊 S3 的源数据类型

使用 Amazon S3 作为数据源的数据迁移Amazon DMS需要将数据从 Amazon S3 映射到Amazon DMS数据类型。有关更多信息，请参阅将 Amazon S3 的外部表定义为来源Amazon DMS：

有关如何查看目标中映射的数据类型的信息，请参阅有关所使用的目标终端节点的部分。

有关 Amazon DMS 数据类型的其他信息，请参阅Database MigratiAmazon on Service 数据类型。

以下Amazon DMS数据类型与 Amazon S3 一起用作来源：