Amazon Elasticsearch Service 的异常检测 - Amazon Elasticsearch Service
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

Amazon Elasticsearch Service 的异常检测

Amazon Elasticsearch Service (Amazon ES) 中的异常检测功能使用随机森林砍伐 (RCF) 算法,可以近乎实时地自动检测 Elasticsearch 数据中的异常。RCF 是一种无监督的机器学习算法,可对传入数据流的草图进行建模。它计算每个传入数据点的 anomaly gradeconfidence score 值。异常检测功能使用这些值来区分数据中的异常与正常变化。

您可以将异常检测插件与 Amazon Elasticsearch Service 警报 插件配对使用,以便在检测到异常后立即通知您。

异常检测需要 Elasticsearch 7.4 或更高版本。Open Distro for Elasticsearch 文档中提供了该功能的完整文档,包括详细步骤和 API 说明。

注意

要使用异常检测插件,必须将您的用户角色映射到可赋予您域的完全访问权限的主角色。要了解更多信息,请参阅“修改主用户”。

异常检测入门

要开始使用该功能,请在 Kibana 中选择 Anomaly Detection (异常检测)

步骤 1:创建检测器

检测器即单个异常检测任务。您可以创建多个检测器,并且所有检测器可以同时运行,每个检测器分析来自不同来源的数据。

步骤 2:向检测器添加特征

在这种情况下,特征就是检查是否存在异常的索引中的字段。检测器可以发现跨一个或多个特征的异常。必须为每个特征选择聚合:average()sum()count()min()max()。聚合方法决定了是什么构成异常。

例如,如果选择 min(),则检测器将着重根据特征的最小值查找异常。如果选择 average(),则检测器将根据特征的平均值查找异常。

每个检测器最多可以添加五个特征。

步骤 3:观察结果


                    异常检测控制面板示例。
  • Live anomalies (实时异常) 图表显示了过去 60 个间隔的实时异常结果。例如,如果间隔设置为 10,则显示过去 600 分钟的结果。此图表每 30 秒刷新一次。

  • Anomaly history (异常历史记录) 图表采用相应的置信度绘制异常等级。

  • Feature breakdown (特征细分) 图根据聚合方法绘制特征。您可以更改检测器的日期和时间范围。

  • Anomaly occurrence (异常发生) 表显示了检测到的每个异常的 Start timeEnd timeData confidenceAnomaly grade

步骤 4:设置警报

要创建监视器以便在检测到任何异常情况时向您发送通知,请选择 Set up alerts (设置警报)。插件将您重定向到 Add monitor (添加监视器) 页面,您可以在其中设置警报。