为 Amazon DMS 舰队顾问收集数据 - Amazon 数据库迁移服务
收集指标DMS数据采集器是如何工作的？
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

为 Amazon DMS 舰队顾问收集数据

要开始收集数据，请在受监控对象页面上选择对象，然后选择运行数据收集。DMS数据收集器一次最多可以从 100 个数据库中收集数据。此外，DMS数据收集器最多可以使用八个 parallel 线程来连接到环境中的数据库。在这八个线程中，DMS数据收集器最多可以使用五个 parallel 线程连接到单个数据库实例。

重要

在开始收集数据之前，请查看DMS数据收集器主页上的 “软件检查” 部分。确认要监控的所有数据库引擎的状态均为已通过。如果某些数据库引擎的状态为失败，并且受监控对象列表中包含具有相应引擎的数据库服务器，请在继续操作之前修复此问题。您可以在软件检查部分列出的失败状态旁边找到提示。

DMS数据收集器可以在两种模式下工作：单次运行或持续监控。开始数据收集后，将打开运行数据收集对话框。接下来，请选择以下两个选项中的一个。

元数据和数据库容量

DMS数据收集器从数据库或操作系统服务器收集信息。它包括架构、版本、版本CPU、内存和磁盘容量。DMS数据收集器还收集并提供诸如 IOPS I/O 吞吐量和数据库服务器活动连接等指标。您可以根据这些信息在 DMS Fleet Advisor 中计算目标建议。如果源数据库的预置过度或不足，那么目标建议也将预置过度或不足。

这是默认选项。

元数据、数据库容量和资源利用率

除了元数据和数据库容量信息外，DMS数据收集器还收集数据库或操作系统服务器的实际利用率指标CPU、内存和磁盘容量。DMS数据收集器还收集并提供诸如 IOPS I/O 吞吐量和数据库服务器活动连接等指标。提供的目标建议将更加准确，因为它们基于实际的数据库工作负载。

如果选择此选项，则可设置数据收集周期。您可以在接下来的 7 天内收集数据，也可以设置自定义范围（1-60 天）。

数据收集开始后，您将被重定向到数据收集页面，您可以在其中查看收集查询的运行方式并监控实时进度。在这里，您可以查看集合的整体运行状况，也可以在DMS数据收集器主页上查看。如果数据收集的总体运行状况低于 100%，则可能需要修复与收集有关的问题。

如果您在元DMS数据和数据库容量模式下运行数据收集器，则可以在数据收集页面上看到已完成的查询数量。

如果您在元DMS数据、数据库容量和资源利用率模式下运行数据收集器，则可以看到DMS数据收集器完成监控之前的剩余时间。

在数据收集页面上，可以看到每个对象的收集状态。如果某些方面无法正常工作，则会出现一条消息，显示发生了多少问题。您可以查看详细信息，以协助确定问题的解决方法。以下选项卡列出了潜在的问题：

  • 按查询汇总 – 显示某些测试（如 Ping）的状态。可以在状态列中筛选结果。状态列中提供了消息，指示在数据收集过程中发生了多少故障。

  • 按受监控对象汇总 – 显示每个对象的总体状态。

  • 按查询类型列出的摘要-显示收集器查询类型的状态SQL，例如安全外壳 (SSH) 或 Windows 管理工具 (WMI) 调用。

  • 按问题汇总 – 显示发生的所有独特的问题，包括问题名称和每个问题发生的次数。

“数据收集”页面

要导出收集结果，请选择导出至CSV。

确定并解决问题后，选择开始收集，然后重新运行数据收集过程。执行数据收集后，数据收集器使用安全连接将收集的数据上传到 DMS Fleet Advisor 清单。DMSFleet Advisor 将信息存储在您的 Amazon S3 存储桶中。有关配置数据转发凭证的信息，请参阅配置数据转发凭证。

使用 Amazon DMS Fleet Advisor 收集容量和资源利用率指标

您可以通过两种模式收集元数据和性能指标：单次运行或持续监控。根据您选择的选项，您的DMS数据收集器会跟踪数据环境中的不同指标。在单次运行期间，您的DMS数据收集器仅跟踪来自数据库和操作系统服务器的元数据指标。在持续监控期间，您的DMS数据收集器会跟踪资源的实际利用率。

Amazon DMS 在数据收集器的单次运行期间收集以下元DMS数据和指标。

  • 操作系统服务器上的可用内存

  • 操作系统服务器上的可用存储

  • 数据库版本和发行版

  • 您的操作系统服务器CPUs上的数量

  • 架构的数量

  • 已存储程序的数量

  • 表的数量

  • 触发器的数量

  • 视图的数量

  • 架构结构

DMSFleet Advisor 使用这些指标来建立数据库和操作系统服务器的清单。此外，DMSFleet Advisor 还使用这些元数据和指标来分析您的源数据库架构。

DMSFleet Advisor 可以使用在一次数据收集器运行期间收集的指标来生成目标建议。但是，在这种情况下，对于过度配置的源数据库，目标建议也被过度置备。因此，在维护资源方面会产生额外的费用。 Amazon Web Services 云对于预置不足的源数据库，目标建议也预置不足，这可能会导致性能问题。我们建议通过持续监控来收集数据，方法是为数据收集器选择元数据、数据库容量和资源利用模式。DMS

Amazon DMS 在持续监控期间收集以下指标。您可以运行DMS数据收集器 1 到 60 天。

  • 数据库服务器上的 I/O 吞吐量

  • 数据库服务器上的每秒输入/输出操作数 (IOPS)

  • 您的操作系统服务器使用的数量 CPUs

  • 操作系统服务器上的内存使用情况

  • 活跃的数据库和 OS 服务器连接数

DMSFleet Advisor 使用这些指标来生成准确的目标建议，因此您的目标数据库可以满足您的性能需求。这样可以防止在维护资源时产生额外费用 Amazon Web Services 云。

Amazon DMS 舰队顾问如何收集容量和资源利用率指标？

DMSFleet Advisor 每分钟收集一次性能指标。

对于 Oracle 和 SQL Server，DMSFleet Advisor 会运行SQL查询以捕获每个数据库指标的值。

对于 My SQL 和 PostgreSQL，DMSFleet Advisor 会从运行数据库的操作系统服务器收集性能指标。在 Windows 中，DMS舰队顾问运行WMI查询语言 (WQL) 脚本并接收WMI数据。在 Linux 中，DMS舰队顾问运行捕获操作系统服务器指标的命令。

重要

运行远程SQL脚本可能会影响生产数据库的性能。但是，数据收集查询不包含任何计算逻辑。因此，数据收集进程消耗的数据库资源不太可能超过 1%。

您可以查看数据收集器为收集指标而运行的所有查询。为此，请打开 DMSCollector.Collections.json 文件。您可以在 etc 文件夹中找到此文件，该文件夹位于数据收集器的安装文件夹中。默认路径为 C:\ProgramData\Amazon\Amazon DMS Collector\etc\DMSCollector.Collections.json。

DMS数据收集器使用本地文件系统作为所有收集数据的临时存储空间。DMS数据收集器以JSON格式存储收集的数据。您可以在离线模式下使用本地收集器，并在配置数据转发之前手动检查或验证收集的文件。您可以在安装数据收集器的同一out文件夹中的文件夹中看到所有DMS收集的文件。默认路径为 C:\ProgramData\Amazon\Amazon DMS Collector\out。

重要

如果您在离线模式下运行DMS数据收集器，并将收集的数据存储在服务器上超过 14 天，则无法使用 Amazon CloudWatch 来显示这些指标。但是，DMSFleet Advisor 仍使用这些数据来生成建议。有关 CloudWatch 图表的更多信息，请参阅建议详细信息。

您还可以在在线模式下检查或验证收集的数据文件。DMS数据收集器会将所有数据转发到您在DMS数据收集器设置中指定的 Amazon S3 存储桶。

您可以使用DMS数据收集器从本地数据库收集数据。此外，您还可以从亚马逊RDS和Aurora数据库收集数据。但是，由于 Amazon RDS 或 Aurora 与本地数据库实例之间的差异，您无法在云中成功运行所有DMS数据收集器查询。由于DMS数据收集器会从主机操作系统收集 My SQL 和 Postgre SQL 数据库的利用率指标，因此这种方法不适用于亚马逊和A RDS urora。