AmazonDMS 数据验证

Oracle

与 PostgreSQL 兼容的数据库（适用于 PostgreSQL、Aurora PostgreSQL 或 Aurora Serverless）

与 mySQL 兼容的数据库（MySQL、MariaDB、Aurora MySQL 或 Aurora Serverles

Microsoft SQL Server

IBM Db2 LUW

Oracle

与 PostgreSQL 兼容的数据库（适用于 PostgreSQL、Aurora PostgreSQL 或 Aurora Serverless）

与 mySQL 兼容的数据库（MySQL、MariaDB、Aurora MySQL 或 Aurora Serverles

Microsoft SQL Server

IBM Db2 LUW

Amazon S3。有关验证 Amazon S3 目标数据的信息，请参阅亚马逊 S3 目标数据验证。

ValidationState—表的验证状态。该参数可能具有以下值：

ValidationPending— 已迁移到目标但尚未经过验证的记录数量。

ValidationSuspended— Amazon DMS 无法比较的记录数量。例如，如果持续更新源中的记录，Amazon DMS 将无法比较源和目标。

ValidationFailed— 未通过数据验证阶段的记录数量。

在控制台中，您可以选择在创建或修改任务时验证该任务。要使用控制台查看数据验证报告，请在任务页中选择任务，然后在详细信息部分中选择表统计数据选项卡。

在创建或修改任务以开始数据验证true时，使用 CLI 将EnableValidation参数设置为。以下示例创建一个任务并启用数据验证。

create-replication-task  
  --replication-task-settings '{"ValidationSettings":{"EnableValidation":true}}' 
  --replication-instance-arn arn:aws:dms:us-east-1:5731014:
     rep:36KWVMB7Q  
  --source-endpoint-arn arn:aws:dms:us-east-1:5731014:
     endpoint:CSZAEFQURFYMM  
  --target-endpoint-arn arn:aws:dms:us-east-1:5731014:
     endpoint:CGPP7MF6WT4JQ 
  --migration-type full-load-and-cdc 
  --table-mappings '{"rules": [{"rule-type": "selection", "rule-id": "1", 
     "rule-name": "1", "object-locator": {"schema-name": "data_types", "table-name": "%"}, 
     "rule-action": "include"}]}'

可以使用 describe-table-statistics 命令接收 JSON 格式的数据验证报告。以下命令显示数据验证报告。

aws dms  describe-table-statistics --replication-task-arn arn:aws:dms:us-east-1:5731014:
rep:36KWVMB7Q

该报告类似于以下内容。

{
    "ReplicationTaskArn": "arn:aws:dms:us-west-2:5731014:task:VFPFTYKK2RYSI", 
    "TableStatistics": [
        {
            "ValidationPendingRecords": 2, 
            "Inserts": 25, 
            "ValidationState": "Pending records", 
            "ValidationSuspendedRecords": 0, 
            "LastUpdateTime": 1510181065.349, 
            "FullLoadErrorRows": 0, 
            "FullLoadCondtnlChkFailedRows": 0, 
            "Ddls": 0, 
            "TableName": "t_binary", 
            "ValidationFailedRecords": 0, 
            "Updates": 0, 
            "FullLoadRows": 10, 
            "TableState": "Table completed", 
            "SchemaName": "d_types_s_sqlserver", 
            "Deletes": 0
        }
}

使用 Amazon DMS API 使用CreateReplicationTask操作创建任务，并将EnableValidation参数设置为 true 以验证任务迁移的数据。使用DescribeTableStatistics操作接收 JSON 格式的数据验证报告。

ValidationSucceededRecordCount— 每分钟Amazon DMS验证的行数。

ValidationAttemptedRecordCount— 每分钟尝试验证的行数。

ValidationFailedOverallCount— 验证失败的行数。

ValidationSuspendedOverallCount— 暂停验证的行数。

ValidationPendingOverallCount— 验证仍处于待处理状态的行数。

ValidationBulkQuerySourceLatency— Amazon DMS 可以批量进行数据验证，尤其是在某些情况下，在满载或持续复制期间有许多更改。此指标指示从源终端节点读取批量数据所需的延迟。

ValidationBulkQueryTargetLatency— Amazon DMS 可以批量进行数据验证，尤其是在某些情况下，在满载或持续复制期间有许多更改。此指标指示从目标终端节点读取批量数据所需的延迟。

ValidationItemQuerySourceLatency— 在持续复制期间，数据验证可以识别正在进行的更改并验证这些更改。此指标指示从源中读取这些更改时的延迟。验证可根据更改数运行比所需数量更多的查询，前提是验证期间出错。

ValidationItemQueryTargetLatency— 在持续复制期间，数据验证可以识别正在进行的更改并逐行验证更改。此指标向我们提供从目标读取这些更改时的延迟。验证可根据更改数运行比所需数量更多的查询，前提是验证期间出错。

精确控制验证发生的时间-验证查询会给源端点和目标端点增加额外负载。因此，先在一项任务中迁移或复制数据，然后在另一项任务中验证结果可能会有所帮助。

减少复制实例的负载-将数据验证拆分到自己的实例上运行可能很有好处。

快速获取在给定时刻（例如，在维护窗口生产削减之前或期间）有多少行不匹配到目标端点，您可以创建仅限满载验证的任务来获得问题的答案。

当使用 CDC 组件的迁移任务预计会出现验证失败时，例如，如果将 Oracle varchar2 迁移到 PostgreSQLjsonb，CDC 验证会继续重试这些失败的行并限制每次报告的失败次数。但是，您可以创建仅限满载验证的任务并更快地获得答案。

你已经开发了一个读取验证失败表的数据修复脚本/实用程序 ——（另请参阅）。问题排查仅限满载验证的任务会快速报告故障，以供数据修复脚本处理。

数据验证要求表具有主键或唯一索引。

不支持验证 NULL PK/UK 值。

如果目标 PostgreSQL 实例中的主键列的排序规则未设置为“C”，则与 Oracle 中的排序顺序相比，PostgreSQL 的主键的排序顺序将不同。如果 PostgreSQL 和 Oracle 的排序顺序不同，数据验证将无法验证记录。

数据验证将针对源和目标数据库生成额外的查询。您必须确保两个数据库具有足够的资源以处理该额外负载。

将多个数据库合并为一个时，不支持数据验证。

对于源或目标 Oracle 终端节点，Amazon DMS 使用 DBMS_CRYPTO 来验证 LOB。如果 Oracle 终端节点使用 LOB，则必须为用于访问 Oracle 终端节点的用户账户授予 dbms_crypto 执行权限。您可以运行以下语句以执行该操作：

grant execute on sys.dbms_crypto to dms_endpoint_user;

如果验证期间在 Amazon DMS 外部修改了目标数据库，则可能不会准确报告差异。如果在 Amazon DMS 对目标表执行验证期间，某个应用程序将数据写入到该表中，则可能会发生这种情况。

如果在验证期间不断修改一行或多行，则Amazon DMS无法验证这些行。

如果 Amazon DMS 检测到超过 10000 个失败或无法验证的记录，则会停止验证。在继续之前，先解决数据的任何根本问题。

Amazon DMS不支持视图的数据验证。

Amazon DMS使用字符替换任务设置时不支持数据验证。

Amazon DMS不支持验证 Oracle 长整型。

Amazon DMS不支持在异构迁移期间验证 Oracle Spatial 类型。