Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

Amazon DMS 数据验证

Amazon DMS 为数据验证提供支持，以确保您的数据从源准确迁移到目标。如果启用，则在对表执行完全加载后立即开始验证。对于启用 CDC 的任务，验证会在发生更改时比较增量更改。

在数据验证期间， Amazon DMS 将源中的每行与目标位置的相应行进行比较，验证这些行是否包含相同的数据，并报告任何不匹配的情况。为此 Amazon DMS ，需要通过适当的查询来检索数据。请注意，这些查询将占用源和目标中的额外资源以及额外的网络资源。

对于启用了验证的仅 CDC 任务，在开始验证新数据之前，将对表中所有已存在的数据进行验证。

数据验证适用于以下源数据库，只要 Amazon DMS 支持它们作为源端点：

数据验证适用于以下目标数据库，只要 Amazon DMS 支持它们作为目标端点：

有关支持的终端节点的更多信息，请参阅使用 Amazon DMS 端点。

除了迁移本身所需的时间以外，数据验证还需要占用额外的时间。所需的额外时间取决于迁移的数据量。

有关这些设置的更多信息，请参阅 数据验证任务设置。

有关 JSON 文件中的 ValidationSettings 任务设置的示例，请参阅任务设置示例。

复制任务统计数据

启用数据验证后，将在表级别 Amazon DMS 提供以下统计信息：

有关 JSON 文件中的 ValidationSettings 任务设置的示例，请参阅任务设置示例。

您可以使用控制台 Amazon CLI、或 Amazon DMS API 查看数据验证信息。

使用 Amazon 进行复制任务的统计数据 CloudWatch

启 CloudWatch 用 Amazon 后，将 Amazon DMS 提供以下复制任务统计信息：

要从 CloudWatch 启用的统计数据中收集数据验证信息，请在使用控制台创建或修改任务时选择启用 CloudWatch 日志。然后，要查看数据验证信息并确保您的数据已准确地从源迁移到目标，请执行以下操作。

在任务期间重新验证表

在任务运行时，您可以请求 Amazon DMS 执行数据验证。

Amazon Web Services Management Console

使用 JSON 编辑器修改验证规则

要使用 Amazon DMS 控制台中的 JSON 编辑器向任务添加验证规则，请执行以下操作：

例如，您可以添加以下验证规则以在源上运行替换函数。在这种情况下，如果验证规则遇到 null 字节，则会将其验证为空格。

{
	"rule-type": "validation",
	"rule-id": "1",
	"rule-name": "1",
	"rule-target": "column",
	"object-locator": {
		"schema-name": "Test-Schema",
		"table-name": "Test-Table",
		"column-name": "Test-Column"
	},
	"rule-action": "override-validation-function",
	"source-function": "REPLACE(${column-name}, chr(0), chr(32))",
	"target-function": "${column-name}"
}           
        

仅验证任务

您可以创建仅验证的任务来预览和验证数据，而无需执行任何迁移或数据复制。要创建仅验证的任务，请将 EnableValidation 和 ValidationOnly 设置设为 true。启用 ValidationOnly 后，还需要满足其他要求。有关更多信息，请参阅 数据验证任务设置。

在报告许多故障时，对于仅完全加载的迁移类型，仅验证任务的完成速度要比其 CDC 的等同验证任务快得多。但是，对源端点或目标端点的更改会被报告为完全加载模式失败，这可能是一个缺点。

CDC 仅验证任务会根据平均延迟来延迟验证，并在报告失败之前多次重试失败的验证。如果大多数数据比较都导致失败，那么 CDC 模式的仅验证任务会非常缓慢，这可能是一个不利之处。

仅验证任务的设置方向必须与复制任务相同，尤其是对于 CDC。这是因为 CDC 仅验证任务会根据源上的更改日志，检测哪些行已更改并需要重新验证。如果目标被指定为源，则它只知道 DMS 发送给目标的更改，不能保证捕获复制错误。

完全加载仅验证

从 3.4.6 及更高 Amazon DMS 版本开始，仅限满载验证的任务一次性快速比较源表和目标表中的所有行，立即报告任何故障，然后关闭。在此模式下针对速度进行了优化，验证永远不会因为失败而暂停。但是，对源端点或目标端点的更改会被报告为失败。

仅 CDC 验证

仅 CDC 验证的任务会在全新开始时，在源表和目标表之间验证所有现有行。此外，仅 CDC 验证的任务会持续运行，重新验证正在进行的复制更改，限制每次验证报告的失败次数，并在失败之前重试不匹配的行。它经过优化，可以防止误报。

如果超过 FailureMaxCount 或 TableFailureMaxCount 的阈值，则会暂停对表（或整个任务）的验证。这也适用于启用了验证的 CDC 或完全加载+CDC 迁移任务。而且，启用了验证的 CDC 任务会根据平均源和目标延迟，来延迟对每行更改的重新验证。

但是，CDC 仅验证任务不会迁移数据，也没有延迟。默认情况下，它将 ValidationQueryCdcDelaySeconds 设置为 180。而且，您可以增加容量以应对高延迟环境，并帮助防止误报。

仅验证的使用案例

在迁移或复制任务中，将数据验证部分拆分为单独的仅验证任务的使用案例包括但不限于以下内容：

有关 JSON 文件中的 ValidationSettings 任务设置的示例，请参阅任务设置示例。

故障排除

验证期间，在目标端点 Amazon DMS 创建一个新表：awsdms_control.awsdms_validation_failures_v1。如果有任何记录进入ValidationSuspended或ValidationFailed状态，则 Amazon DMS 会将诊断信息写入awsdms_control.awsdms_validation_failures_v1。您可以查询该表以帮助纠正验证错误。

有关在目标上更改所创建表的默认架构的信息，请参阅控制表任务设置。

以下是 awsdms_control.awsdms_validation_failures_v1 表描述：

通过查询 awsdms_control.awsdms_validation_failures_v1 表，以下针对 MySQL 目标的示例查询显示任务的所有失败。请注意，架构名称和查询语法因目标引擎版本而异。任务名称应该是任务的外部资源 ID。任务的外部资源 ID 是任务 ARN 中的最后一个值。例如，对于 ARN 值为 arn: aws: dms: us-west-2:5599: task: RYSI 的任务，该任务的外部资源 ID 将是 RYSI。 VFPFKH4 FJR3 FTYKK2 VFPFKH4 FJR3 FTYKK2

select * from awsdms_validation_failures_v1 where TASK_NAME = 'VFPFKH4FJR3FTYKK2RYSI'

TASK_NAME       VFPFKH4FJR3FTYKK2RYSI
TABLE_OWNER     DB2PERF
TABLE_NAME      PERFTEST
FAILURE_TIME    2020-06-11 21:58:44
KEY_TYPE        Row
KEY             {"key":  ["3451491"]}
FAILURE_TYPE    RECORD_DIFF
DETAILS         [[{'MYREAL': '+1.10106036e-01'}, {'MYREAL': '+1.10106044e-01'}],]

                

您可以查看 DETAILS 字段以确定哪些列不匹配。由于您已知失败记录的主键，您可以查询源和目标终端节点以查看记录的哪个部分不匹配。

awsdms_validation_failures_v2控制表

在验证期间，在 3.6.1 及更高 Amazon DMS 版本中，DMS 在 PostgreSQL 目标端点创建了一个新表：。awsdms_validation_failures_v2此表包含所有启用了数据验证的 DMS 任务的失败情况。创建awsdms_validation_failures_v2表时，不应删除或截断该表，因为这可能会导致任何启用了验证和重新同步的任务出错。 awsdms_validation_failures_v2表具有自动增量主键功能。此表由支持数据重新同步功能的新列组成。它们是：

在awsdms_validation_failures_v2表中，将索引添加到TASK_NAME、、TABLE_OWNERTABLE_NAMEFAILURE_TYPE、和FAILURE_TIME列中，以便有效地读取目标数据库中任何给定表的失败。以下是创建awsdms_validation_failures_v2表的 create 语句示例：

CREATE TABLE public.awsdms_validation_failures_v2 (
    "RESYNC_ID" int8 GENERATED BY DEFAULT AS IDENTITY( INCREMENT BY 1 MINVALUE 1 MAXVALUE 9223372036854775807 START 1 CACHE 1 NO CYCLE) NOT NULL,
    "TASK_NAME" varchar(128) NOT NULL,
    "TABLE_OWNER" varchar(128) NOT NULL,
    "TABLE_NAME" varchar(128) NOT NULL,
    "FAILURE_TIME" timestamp NOT NULL,
    "KEY_TYPE" varchar(128) NOT NULL,
    "KEY" varchar(7800) NOT NULL,
    "FAILURE_TYPE" varchar(128) NOT NULL,
    "DETAILS" varchar(7000) NOT NULL,
    "RESYNC_RESULT" varchar(128) NULL,
    "RESYNC_TIME" timestamp NULL,
    "RESYNC_ACTION" varchar(128) NULL,
    CONSTRAINT awsdms_validation_failures_v2_pkey PRIMARY KEY ("RESYNC_ID")
);

Redshift 验证性能

Amazon Redshift 在多个方面与关系数据库不同，包括列式存储、MPP、数据压缩和其他因素。这些差异使 Redshift 具有与关系数据库不同的性能特征。

在完全加载复制阶段，验证使用范围查询，数据大小由 PartitionSize 设置控制。这些基于范围的查询会选择源表中的所有记录。

对于正在进行的复制，查询会在基于范围的提取和单个记录提取之间切换。查询类型是根据多个因素动态确定的，例如：

由于验证查询，您可能会在 Amazon Redshift 集群上看到额外的负载。由于上述因素因用例而异，因此您必须检查验证查询性能，并相应地调整集群和表。一些缓解性能问题的方案包括：

增强的数据验证功能 Amazon Database Migration Service

Amazon Database Migration Service 增强了数据库迁移的数据验证性能，使客户能够以更快的处理时间验证大型数据集。这种增强的数据验证功能现已在 3.5.4 版复制引擎中提供，适用于满负荷和满载的 CDC 迁移任务。目前，此增强功能支持从 Oracle 到 PostgreSQL、SQL Server 到 PostgreSQL、Oracle 到 Oracle 以及 SQL Server 到 SQL Server 的迁移路径，并计划在未来的版本中增加迁移路径。

先决条件

增强的数据验证限制

此增强的数据验证功能具有以下限制：

限制

有关使用 S3 目标验证的限制，请参阅使用 S3 目标验证的限制。