Amazon DMS 数据验证

Oracle

兼容 PostgreSQL 的数据库（PostgreSQL、Aurora PostgreSQL 或 Aurora Serverless for PostgreSQL）

兼容 MySQL 的数据库（MySQL、MariaDB、Aurora MySQL 或 Aurora Serverless for MySQL）

Microsoft SQL Server

IBM Db2 LUW

Oracle

兼容 PostgreSQL 的数据库（PostgreSQL、Aurora PostgreSQL 或 Aurora Serverless for PostgreSQL）

兼容 MySQL 的数据库（MySQL、MariaDB、Aurora MySQL 或 Aurora Serverless for MySQL）

Microsoft SQL Server

IBM Db2 LUW

Amazon Redshift

Amazon S3。有关验证 Amazon S3 目标数据的信息，请参阅 Amazon S3 目标数据验证。

ValidationState – 表的验证状态。参数可能具有以下值：

ValidationPending – 已迁移到目标但尚未验证的记录数。

ValidationSuspended – Amazon DMS 无法比较的记录数。例如，如果持续更新源中的记录，Amazon DMS 将无法比较源和目标。

ValidationFailed – 未通过数据验证阶段的记录数。

在控制台中，您可以选择在创建或修改任务时验证该任务。要使用控制台查看数据验证报告，请在任务页中选择任务，然后在详细信息部分中选择表统计数据选项卡。

在创建或修改任务以开始数据验证时，使用 CLI 将 EnableValidation 参数设置为 true。以下示例创建一个任务并启用数据验证。

create-replication-task  
  --replication-task-settings '{"ValidationSettings":{"EnableValidation":true}}' 
  --replication-instance-arn arn:aws:dms:us-east-1:5731014:
     rep:36KWVMB7Q  
  --source-endpoint-arn arn:aws:dms:us-east-1:5731014:
     endpoint:CSZAEFQURFYMM  
  --target-endpoint-arn arn:aws:dms:us-east-1:5731014:
     endpoint:CGPP7MF6WT4JQ 
  --migration-type full-load-and-cdc 
  --table-mappings '{"rules": [{"rule-type": "selection", "rule-id": "1", 
     "rule-name": "1", "object-locator": {"schema-name": "data_types", "table-name": "%"}, 
     "rule-action": "include"}]}'

可以使用 describe-table-statistics 命令接收 JSON 格式的数据验证报告。以下命令显示数据验证报告。

aws dms  describe-table-statistics --replication-task-arn arn:aws:dms:us-east-1:5731014:
rep:36KWVMB7Q

该报告类似于以下内容。

{
    "ReplicationTaskArn": "arn:aws:dms:us-west-2:5731014:task:VFPFTYKK2RYSI", 
    "TableStatistics": [
        {
            "ValidationPendingRecords": 2, 
            "Inserts": 25, 
            "ValidationState": "Pending records", 
            "ValidationSuspendedRecords": 0, 
            "LastUpdateTime": 1510181065.349, 
            "FullLoadErrorRows": 0, 
            "FullLoadCondtnlChkFailedRows": 0, 
            "Ddls": 0, 
            "TableName": "t_binary", 
            "ValidationFailedRecords": 0, 
            "Updates": 0, 
            "FullLoadRows": 10, 
            "TableState": "Table completed", 
            "SchemaName": "d_types_s_sqlserver", 
            "Deletes": 0
        }
}

使用 Amazon DMS API，使用 CreateReplicationTask 操作创建任务，然后将 EnableValidation 参数设置为 true，以便按任务验证迁移的数据。可以使用 DescribeTableStatistics 操作接收 JSON 格式的数据验证报告。

ValidationSucceededRecordCount – Amazon DMS 每分钟验证的行数。

ValidationAttemptedRecordCount – 每分钟尝试验证的行数。

ValidationFailedOverallCount – 验证失败的行数。

ValidationSuspendedOverallCount – 验证已暂停的行数。

ValidationPendingOverallCount – 验证待处理的行数。

ValidationBulkQuerySourceLatency – Amazon DMS 可以批量验证数据，特别是在完全加载和持续复制期间有许多更改的特定场景中。此指标指示从源终端节点读取批量数据所需的延迟。

ValidationBulkQueryTargetLatency – Amazon DMS 可以批量验证数据，特别是在完全加载和持续复制期间有许多更改的特定场景中。此指标指示从目标终端节点读取批量数据所需的延迟。

ValidationItemQuerySourceLatency – 在持续复制期间，数据验证可以标识持续更改并验证这些更改。此指标指示从源中读取这些更改时的延迟。验证可根据更改数运行比所需数量更多的查询，前提是验证期间出错。

ValidationItemQueryTargetLatency – 在持续复制期间，数据验证可以标识持续更改并逐行验证这些更改。此指标向我们提供从目标读取这些更改时的延迟。验证可根据更改数运行比所需数量更多的查询，前提是验证期间出错。

精确控制何时进行验证 – 验证查询会给源端点和目标端点增加额外的负载。因此，先在一项任务中迁移或复制数据，然后在另一项任务中验证结果会有所帮助。

减少复制实例的负载 – 将数据验证拆分为在自己的实例上运行可能很有好处。

快速获取在给定时刻有多少行不匹配 – 例如在维护时段，进行生产切换到目标端点之前或期间，您可以创建一个完全加载仅验证任务来获取问题的答案。

当使用 CDC 组件的迁移任务预计会出现验证失败时 – 例如，如果将 Oracle varchar2 迁移到 PostgreSQL jsonb，CDC 验证会不断重试这些失败的行，并限制每次报告的失败数量。但是，您可以创建完全加载仅验证任务，并更快地获得答案。

您已经开发了一个数据修复脚本/实用程序，可以读取验证失败表 –（另请参阅故障排除）。完全加载仅验证任务可以快速报告故障，以便数据修复脚本处理。

查询量

源表上的 DML 查询类型

任务延迟

记录总数

验证设置，例如 PartitionSize

减小 PartitionSize 和 ThreadCount 设置以帮助减少完全加载验证期间的工作量。请注意，这将减慢数据验证的速度。

虽然 Redshift 不强制使用主键，但 Amazon DMS 依靠主键来唯一识别目标上的记录以进行数据验证。如果可能，请将主键设置为镜像排序键，以便更快地执行完全加载验证查询。

数据验证要求表具有主键或唯一索引。

不支持验证 NULL PK/UK 值。

如果目标 PostgreSQL 实例中的主键列的排序规则未设置为“C”，则与 Oracle 中的排序顺序相比，PostgreSQL 的主键的排序顺序将不同。如果 PostgreSQL 和 Oracle 的排序顺序不同，数据验证将无法验证记录。

数据验证将针对源和目标数据库生成额外的查询。您必须确保两个数据库具有足够的资源以处理该额外负载。对于 Redshift 目标而言尤其如此。有关更多信息，请参阅下面的Redshift 验证性能。

将几个数据库合并为一个数据库时，不支持数据验证。

对于源或目标 Oracle 终端节点，Amazon DMS 使用 DBMS_CRYPTO 来验证 LOB。如果 Oracle 终端节点使用 LOB，则必须为用于访问 Oracle 终端节点的用户账户授予 dbms_crypto 执行权限。您可以运行以下语句以执行该操作：

grant execute on sys.dbms_crypto to dms_endpoint_user;

如果验证期间在 Amazon DMS 外部修改了目标数据库，则可能不会准确报告差异。如果在 Amazon DMS 对目标表执行验证期间，某个应用程序将数据写入到该表中，则可能会发生这种情况。

如果在验证期间持续修改一行或多行，则 Amazon DMS 无法验证这些行。

如果 Amazon DMS 检测到超过 10000 个失败或无法验证的记录，则会停止验证。在继续之前，先解决数据的任何根本问题。

Amazon DMS 不支持视图的数据验证。

Amazon DMS 在使用了字符替换任务设置时不支持数据验证。

Amazon DMS 不支持验证 Oracle LONG 类型。

Amazon DMS 不支持在异构迁移期间验证 Oracle 空间数据类型。