AmazonDMS 数据验证

Oracle

PostgreSQL 兼容的数据库（PostgreSQL、Aurora PostgreSQL 或适用于 PostgreSQL 的 Aurora 无服务器）

MySQL 兼容的数据库（MySQL、MariaDB、Aurora MySQL 或适用于 MySQL 的 Aurora 无服务器）

Microsoft SQL Server

IBM Db2 LUW

ValidationState— 表的验证状态。该参数可能具有以下值：

ValidationPending – 已迁移到目标但尚未验证的记录数。

ValidationSuspended – Amazon DMS 无法比较的记录数。例如，如果持续更新源中的记录，Amazon DMS 将无法比较源和目标。

ValidationFailed— 未通过数据验证阶段的记录数。

在控制台中，您可以选择在创建或修改任务时验证该任务。要使用控制台查看数据验证报告，请在任务页中选择任务，然后在详细信息部分中选择表统计数据选项卡。

使用 CLI，设置EnableValidation以参数为true在创建或修改任务以开始数据验证时。以下示例创建一个任务并启用数据验证。

create-replication-task  
  --replication-task-settings '{"ValidationSettings":{"EnableValidation":true}}' 
  --replication-instance-arn arn:aws:dms:us-east-1:5731014:
     rep:36KWVMB7Q  
  --source-endpoint-arn arn:aws:dms:us-east-1:5731014:
     endpoint:CSZAEFQURFYMM  
  --target-endpoint-arn arn:aws:dms:us-east-1:5731014:
     endpoint:CGPP7MF6WT4JQ 
  --migration-type full-load-and-cdc 
  --table-mappings '{"rules": [{"rule-type": "selection", "rule-id": "1", 
     "rule-name": "1", "object-locator": {"schema-name": "data_types", "table-name": "%"}, 
     "rule-action": "include"}]}'

可以使用 describe-table-statistics 命令接收 JSON 格式的数据验证报告。以下命令显示数据验证报告。

aws dms  describe-table-statistics --replication-task-arn arn:aws:dms:us-east-1:5731014:
rep:36KWVMB7Q

该报告类似于以下内容。

{
    "ReplicationTaskArn": "arn:aws:dms:us-west-2:5731014:task:VFPFTYKK2RYSI", 
    "TableStatistics": [
        {
            "ValidationPendingRecords": 2, 
            "Inserts": 25, 
            "ValidationState": "Pending records", 
            "ValidationSuspendedRecords": 0, 
            "LastUpdateTime": 1510181065.349, 
            "FullLoadErrorRows": 0, 
            "FullLoadCondtnlChkFailedRows": 0, 
            "Ddls": 0, 
            "TableName": "t_binary", 
            "ValidationFailedRecords": 0, 
            "Updates": 0, 
            "FullLoadRows": 10, 
            "TableState": "Table completed", 
            "SchemaName": "d_types_s_sqlserver", 
            "Deletes": 0
        }
}

使用Amazon DMSAPI，使用CreateReplicationTask操作然后设置EnableValidation以参数为真的以验证任务迁移的数据。可以使用 DescribeTableStatistics 操作接收 JSON 格式的数据验证报告。

ValidationSucceededRecordCount— 哪些行数Amazon DMS已验证，每分钟。

ValidationAttemptedRecordCount – 每分钟尝试验证的行数。

ValidationFailedOverallCount – 验证失败的行数。

ValidationSuspendedOverallCount – 验证已暂停的行数。

ValidationPendingOverallCount – 验证待处理的行数。

ValidationBulkQuerySourceLatency 码—Amazon DMS您可以批量验证数据，特别是在有许多更改时进行完全加载和持续复制期间的特定场景中。此指标指示从源终端节点读取批量数据所需的延迟。

ValidationBulkQueryTargetLatency—Amazon DMS您可以批量验证数据，特别是在有许多更改时进行完全加载和持续复制期间的特定场景中。此指标指示从目标终端节点读取批量数据所需的延迟。

ValidationItemQuerySourceLatency— 在持续复制期间，数据验证可以标识持续更改并验证这些更改。此指标指示从源中读取这些更改时的延迟。验证可根据更改数运行比所需数量更多的查询，前提是验证期间出错。

ValidationItemQueryTargetLatency— 在持续复制期间，数据验证可以标识持续更改并逐行验证这些更改。此指标向我们提供从目标读取这些更改时的延迟。验证可根据更改数运行比所需数量更多的查询，前提是验证期间出错。

准确控制验证的发生时间— 验证查询为源端点和目标终端节点增加了额外的负载。因此，首先迁移或复制一个任务中的数据，然后验证另一个任务的结果可能会有所帮助。

减少复制实例的负载— 拆分数据验证以在自己的实例上运行可能是有利的。

快速获取在给定时刻有多少行不匹配— 例如，就在维护窗口生产切换之前或期间 — 切换到目标终端节点，您可以创建一个仅限满载验证任务来获得问题的答案。

使用 CDC 组件的迁移任务预计会出现验证失败时— 例如，如果迁移 Oraclevarchar2到 PostgreSQLjsonb，CDC 验证会继续重试这些失败的行，并限制每次报告的故障次数。但是，您可以创建一个仅限满载验证任务并获得更快的答案。

您已开发了读取验证失败表的数据修复脚本/实用程序—（另请参阅，问题排查)。仅限满载验证的任务可快速报告失败，以便数据修复脚本采取行动。

数据验证要求表具有主键或唯一索引。

如果目标 PostgreSQL 实例中的主键列的排序规则未设置为“C”，则与 Oracle 中的排序顺序相比，PostgreSQL 的主键的排序顺序将不同。如果 PostgreSQL 和 Oracle 的排序顺序不同，数据验证将无法验证记录。

数据验证将针对源和目标数据库生成额外的查询。您必须确保两个数据库具有足够的资源以处理该额外负载。

如果迁移使用自定义筛选或将几个数据库合并为一个数据库，则不支持数据验证。

对于源或目标 Oracle 终端节点，Amazon DMS 使用 DBMS_CRYPTO 来验证 LOB。如果 Oracle 终端节点使用 LOB，则必须为用于访问 Oracle 终端节点的用户账户授予 dbms_crypto 执行权限。您可以运行以下语句以执行该操作：

grant execute on sys.dbms_crypto to dms_endpoint_user;

如果验证期间在 Amazon DMS 外部修改了目标数据库，则可能不会准确报告差异。如果在 Amazon DMS 对目标表执行验证期间，某个应用程序将数据写入到该表中，则可能会发生这种情况。

如果在验证期间持续修改一个或多个行，Amazon DMS无法验证那些行。

如果 Amazon DMS 检测到超过 10000 个失败或无法验证的记录，则会停止验证。在继续之前，先解决数据的任何根本问题。

Amazon DMS不支持对视图进行数据验证。