AmazonDMS 数据验证

Oracle

PostgreSQL 兼容的数据库（PostgreSQL、Aurora PostgreSQL 或 Aurora 无服务器用于 PostgreSQL）

与 MySQL 兼容的数据库（MySQL、MariaDB、Aurora MySQL 或 Aurora 无服务器适用于 MySQL）

Microsoft SQL Server

IBM Db2 LUW

EnableValidation— 启用或禁用数据验证。

FailureMaxCount— 指定在暂停任务的验证之前可验证失败的记录的最大数目。

HandleCollationDiff— 对于 PostgreSQL 和 SQL Server 数据库，在识别要比较的源记录和目标记录时，此设置考虑终端节点中的列排序规则差异。

RecordFailureDelayLimitInMinutes— 指定报告任何验证失败详细信息之前的延迟。

TableFailureMaxCount— 指定在暂停任务的验证之前可验证失败的表的最大数目。

ThreadCount— 调整执行线程数Amazon DMS在验证过程中使用。

ValidationOnly— 预览任务的验证，而不执行任何数据迁移或复制。要使用此选项，请将任务迁移类型设置为仅复制数据更改中的Amazon DMS控制台中，或将迁移类型设置为cdc中的Amazon DMSAPI。此外，将目标表任务设置 TargetTablePrepMode 设置为 DO_NOTHING。

PartitionSize— 指定要从源和目标中读取以进行比较的记录的批处理大小。默认值为 10,000。

SkipLobColumns— 当此选项设置为true、Amazon DMS跳过任务验证的表部分中所有 LOB 列的数据验证。默认值为 false。

ValidationPartialLobSize— 指定是否希望对 LOB 列执行部分验证，而不是验证列中存储的所有数据。该值以 KB 为单位。默认值是 0，意味着Amazon DMS验证所有 LOB 列数据。

ValidationQueryCdcDelaySeconds— 每个 CDC 更新的源和目标上的第一个验证查询延迟的时间量。这可能有助于减少迁移延迟较高时的资源争用。仅验证任务会自动将此选项设置为 180 秒。默认值为 0。

ValidationState-表的验证状态。该参数可能具有以下值：

ValidationPending – 已迁移到目标但尚未验证的记录数。

ValidationSuspended – Amazon DMS 无法比较的记录数。例如，如果持续更新源中的记录，Amazon DMS 将无法比较源和目标。有关更多信息，请参阅 。错误处理任务设置

ValidationFailed— 未通过数据验证阶段的记录数。有关更多信息，请参阅错误处理任务设置。

在控制台中，您可以选择在创建或修改任务时验证该任务。要使用控制台查看数据验证报告，请在任务页中选择任务，然后在详细信息部分中选择表统计数据选项卡。

在使用 CLI 时，请在创建或修改任务时将 EnableValidation 参数设置为 true 以开始数据验证。以下示例创建一个任务并启用数据验证。

create-replication-task  
  --replication-task-settings '{"ValidationSettings":{"EnableValidation":true}}' 
  --replication-instance-arn arn:aws:dms:us-east-1:5731014:
     rep:36KWVMB7Q  
  --source-endpoint-arn arn:aws:dms:us-east-1:5731014:
     endpoint:CSZAEFQURFYMM  
  --target-endpoint-arn arn:aws:dms:us-east-1:5731014:
     endpoint:CGPP7MF6WT4JQ 
  --migration-type full-load-and-cdc 
  --table-mappings '{"rules": [{"rule-type": "selection", "rule-id": "1", 
     "rule-name": "1", "object-locator": {"schema-name": "data_types", "table-name": "%"}, 
     "rule-action": "include"}]}'

可以使用 describe-table-statistics 命令接收 JSON 格式的数据验证报告。以下命令显示数据验证报告。

aws dms  describe-table-statistics --replication-task-arn arn:aws:dms:us-east-1:5731014:
rep:36KWVMB7Q

该报告类似于以下内容。

{
    "ReplicationTaskArn": "arn:aws:dms:us-west-2:5731014:task:VFPFTYKK2RYSI", 
    "TableStatistics": [
        {
            "ValidationPendingRecords": 2, 
            "Inserts": 25, 
            "ValidationState": "Pending records", 
            "ValidationSuspendedRecords": 0, 
            "LastUpdateTime": 1510181065.349, 
            "FullLoadErrorRows": 0, 
            "FullLoadCondtnlChkFailedRows": 0, 
            "Ddls": 0, 
            "TableName": "t_binary", 
            "ValidationFailedRecords": 0, 
            "Updates": 0, 
            "FullLoadRows": 10, 
            "TableState": "Table completed", 
            "SchemaName": "d_types_s_sqlserver", 
            "Deletes": 0
        }
}

使用Amazon DMSAPI 中，使用CreateReplicationTask操作并设置EnableValidation参数设置为true来验证任务迁移的数据。可以使用 DescribeTableStatistics 操作接收 JSON 格式的数据验证报告。

ValidationSucceededRecordCount— 以下行数为单位Amazon DMS验证，每分钟。

ValidationAttemptedRecordCount – 每分钟尝试验证的行数。

ValidationFailedOverallCount – 验证失败的行数。

ValidationSuspendedOverallCount – 验证已暂停的行数。

ValidationPendingOverallCount – 验证待处理的行数。

ValidationBulkQuerySourceLatency 储—Amazon DMS可以批量验证数据，特别是在有许多更改时进行完全加载和持续复制期间的特定场景中。此指标指示从源终端节点读取批量数据所需的延迟。

ValidationBulkQueryTargetLatency—Amazon DMS可以批量验证数据，特别是在有许多更改时进行完全加载和持续复制期间的特定场景中。此指标指示从目标终端节点读取批量数据所需的延迟。

ValidationItemQuerySourceLatency 储— 在持续复制期间，数据验证可以标识持续更改并验证这些更改。此指标指示从源中读取这些更改时的延迟。验证可根据更改数运行比所需数量更多的查询，前提是验证期间出错。

ValidationItemQueryTargetLatency— 在持续复制期间，数据验证可以标识持续更改并逐行验证这些更改。此指标向我们提供从目标读取这些更改时的延迟。验证可根据更改数运行比所需数量更多的查询，前提是验证期间出错。

数据验证要求表具有主键或唯一索引。

如果目标 PostgreSQL 实例中的主键列的排序规则未设置为“C”，则与 Oracle 中的排序顺序相比，PostgreSQL 的主键的排序顺序将不同。如果 PostgreSQL 和 Oracle 的排序顺序不同，数据验证将无法验证记录。

数据验证将针对源和目标数据库生成额外的查询。您必须确保两个数据库具有足够的资源以处理该额外负载。

如果迁移使用自定义筛选或将几个数据库合并为一个数据库，则不支持数据验证。

对于源或目标 Oracle 终端节点，Amazon DMS 使用 DBMS_CRYPTO 来验证 LOB。如果 Oracle 终端节点使用 LOB，则必须为用于访问 Oracle 终端节点的用户账户授予 dbms_crypto 执行权限。您可以运行以下语句以执行该操作：

grant execute on sys.dbms_crypto to dms_endpoint_user;

如果验证期间在 Amazon DMS 外部修改了目标数据库，则可能不会准确报告差异。如果在 Amazon DMS 对目标表执行验证期间，某个应用程序将数据写入到该表中，则可能会发生这种情况。

如果在验证期间持续修改一个或多个行，则 Amazon DMS 无法验证这些行。不过，您可以在任务完成后手动验证这些行。

如果 Amazon DMS 检测到超过 10000 个失败或无法验证的记录，则会停止验证。在继续之前，先解决数据的任何根本问题。

Amazon DMS不支持视图的数据验证。