为 Amazon DMS Fleet Advisor 收集数据 - Amazon 数据库迁移服务
收集指标DMS 数据收集器的工作方式
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

为 Amazon DMS Fleet Advisor 收集数据

要开始收集数据，请在受监控对象页面上选择对象，然后选择运行数据收集。DMS 数据收集器一次最多可从 100 个数据库收集数据。此外，DMS 数据收集器最多可使用八个并行线程来连接环境中的数据库。在这八个线程中，DMS 数据收集器最多可使用五个并行线程连接到单个数据库实例。

重要

在开始收集数据之前，请查看 DMS 数据收集器主页上的软件检查部分。确认要监控的所有数据库引擎的状态均为已通过。如果某些数据库引擎的状态为失败，并且受监控对象列表中包含具有相应引擎的数据库服务器，请在继续操作之前修复此问题。您可以在软件检查部分列出的失败状态旁边找到提示。

DMS 数据收集器可以在两种模式下工作：单次运行或持续监控。开始数据收集后，将打开运行数据收集对话框。接下来，请选择以下两个选项中的一个。

元数据和数据库容量

DMS 数据收集器从数据库或操作系统服务器收集信息。包括架构、版本、发行版、CPU、内存和磁盘容量。DMS 数据收集器还收集和提供 IOPS、I/O 吞吐量和数据库服务器活动连接等指标。您可以根据这些信息，在 DMS Fleet Advisor 中计算目标建议。如果源数据库的预置过度或不足，那么目标建议也将预置过度或不足。

这是默认选项。

元数据、数据库容量和资源利用率

除了元数据和数据库容量信息之外，DMS 数据收集器还收集数据库或操作系统服务器的 CPU、内存和磁盘容量的实际利用率指标。DMS 数据收集器还收集和提供 IOPS、I/O 吞吐量和数据库服务器活动连接等指标。提供的目标建议将更加准确，因为它们基于实际的数据库工作负载。

如果选择此选项，则可设置数据收集周期。您可以在接下来的 7 天内收集数据，也可以设置自定义范围（1-60 天）。

数据收集开始后，您将被重定向到数据收集页面，您可以在其中查看收集查询的运行方式并监控实时进度。您可以在该页面或 DMS 数据收集器主页上，查看收集的总体运行状况。如果数据收集的总体运行状况低于 100%，则可能需要修复与收集有关的问题。

如果您在元数据和数据库容量模式下运行 DMS 数据收集器，那么可以在数据收集页面上看到已完成的查询数量。

如果您在元数据、数据库容量和资源利用率模式下运行 DMS 数据收集器，那么可以看到 DMS 数据收集器完成监控之前的剩余时间。

在数据收集页面上，可以看到每个对象的收集状态。如果某些方面无法正常工作，则会出现一条消息，显示发生了多少问题。您可以查看详细信息，以协助确定问题的解决方法。以下选项卡列出了潜在的问题：

  • 按查询汇总 – 显示某些测试（如 Ping）的状态。可以在状态列中筛选结果。状态列中提供了消息，指示在数据收集过程中发生了多少故障。

  • 按受监控对象汇总 – 显示每个对象的总体状态。

  • 按查询类型汇总 – 显示收集器查询类型的状态，例如 SQL、Secure Shell (SSH) 或 Windows Management Instrumentation (WMI) 调用。

  • 按问题汇总 – 显示发生的所有独特的问题，包括问题名称和每个问题发生的次数。

“数据收集”页面

要导出收集结果，请选择导出为 CSV。

确定并解决问题后，选择开始收集，然后重新运行数据收集过程。执行数据收集后，数据收集器使用安全连接将收集的数据上传至 DMS Fleet Advisor 清单。DMS Fleet Advisor 将信息存储在 Amazon S3 存储桶中。有关配置数据转发凭证的信息，请参阅配置数据转发凭证。

使用 Amazon DMS Fleet Advisor 收集容量和资源利用率指标

您可以通过两种模式收集元数据和性能指标：单次运行或持续监控。DMS 数据收集器根据您选择的选项，跟踪数据环境中的不同指标。在单次运行期间，DMS 数据收集器仅跟踪来自数据库和操作系统服务器的元数据指标。在持续监控期间，DMS 数据收集器会跟踪资源的实际利用率。

Amazon DMS在单次运行 DMS 数据收集器期间收集以下元数据和指标。

  • 操作系统服务器上的可用内存

  • 操作系统服务器上的可用存储

  • 数据库版本和发行版

  • 操作系统服务器上的 CPU 数量

  • 架构的数量

  • 已存储程序的数量

  • 表的数量

  • 触发器的数量

  • 视图的数量

  • 架构结构

DMS Fleet Advisor 使用上述指标来构建数据库和操作系统服务器的清单。此外，DMS Fleet Advisor 还使用这些元数据和指标来分析您的源数据库架构。

DMS Fleet Advisor 可以使用在一次数据收集器运行期间收集的指标来生成目标建议。但是，在这种情况下，对于过度配置的源数据库，目标建议也被过度置备。因此，在维护资源方面会产生额外的费用。Amazon Web Services 云对于预置不足的源数据库，目标建议也预置不足，这可能会导致性能问题。我们建议使用持续监控来收集数据，方法是为 DMS 数据收集器选择元数据、数据库容量和资源利用模式。

在持续监控期间，Amazon DMS 收集以下指标。您可以运行为期 1 到 60 天的 DMS 数据收集器。

  • 数据库服务器上的 I/O 吞吐量

  • 数据库服务器上每秒进行输入/输出操作的次数 (IOPS)

  • 操作系统服务器使用的 CPU 数量

  • 操作系统服务器上的内存使用情况

  • 活跃的数据库和 OS 服务器连接数

DMS Fleet Advisor 使用上述指标来生成准确的目标建议，因此目标数据库可以满足性能需求。这样可以防止在维护资源时产生额外费用Amazon Web Services 云。

Amazon DMS Fleet Advisor 如何收集容量和资源利用率指标？

DMS Fleet Advisor 每分钟收集一次性能指标。

对于 Oracle 和 SQL Server，DMS Fleet Advisor 运行 SQL 查询以捕获每个数据库指标的值。

对于 MySQL 和 PostgreSQL，DMS Fleet Advisor 从运行数据库的操作系统服务器收集性能指标。在 Windows 中，DMS Fleet Advisor 运行 WMI Query Language (WQL) 脚本并接收 WMI 数据。在 Linux 中，DMS Fleet Advisor 运行捕获操作系统服务器指标的命令。

重要

运行远程 SQL 脚本可能会影响生产数据库的性能。但是，数据收集查询不包含任何计算逻辑。因此，数据收集进程消耗的数据库资源不太可能超过 1%。

您可以查看数据收集器为收集指标而运行的所有查询。为此，请打开 DMSCollector.Collections.json 文件。您可以在 etc 文件夹中找到此文件，该文件夹位于数据收集器的安装文件夹中。默认路径为 C:\ProgramData\Amazon\Amazon DMS Collector\etc\DMSCollector.Collections.json。

DMS 数据收集器使用本地文件系统作为收集的所有数据的临时存储空间。DMS 数据收集器以 JSON 格式存储收集的数据。您可以在离线模式下使用本地收集器，并在配置数据转发之前手动检查或验证收集的文件。您可以在 out 文件夹中看到收集的所有文件，该文件夹位于 DMS 数据收集器的安装文件夹中。默认路径为 C:\ProgramData\Amazon\Amazon DMS Collector\out。

重要

如果您在离线模式下运行 DMS 数据收集器，并将收集的数据存储在服务器上超过 14 天，则无法使用 Amazon CloudWatch 来显示这些指标。但是，DMS Fleet Advisor 仍使用这些数据来生成建议。有关 CloudWatch 图表的更多信息，请参阅建议详细信息。

您还可以在在线模式下检查或验证收集的数据文件。DMS 数据收集器会将所有数据转发到您在 DMS 数据收集器设置中指定的 Amazon S3 存储桶。

您可以使用 DMS 数据收集器从本地数据库收集数据。此外，还可以从 Amazon RDS 和 Aurora 数据库收集数据。但是，由于 Amazon RDS 或 Aurora 与本地数据库实例之间的差异，无法在云中成功运行所有 DMS 数据收集器查询。由于 DMS 数据收集器从主机操作系统收集 MySQL 和 PostgreSQL 数据库的利用率指标，因此这种方法不适用于 Amazon RDS 和 Aurora。