Amazon Elasticsearch Service 的异常检测 - Amazon Elasticsearch Service
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Amazon Elasticsearch Service 的异常检测

异常检测 () 中的 Amazon Elasticsearch Service 功能使用随机森林森林森林剪辑 (RCF) 算法近乎实时地自动检测 Amazon ES 数据中的异常。ElasticsearchRCF 是一种自主型机器学习算法,可对传入数据流的草图进行建模。它计算每个传入数据点的 和 anomaly grade 值。confidence score异常检测功能使用详细值来区分数据中的异常与正常变化。

您可以将异常检测插件与 插件配对使用,以便在检测到异常后立即通知您。 警报Amazon Elasticsearch Service

异常检测需要 Elasticsearch 7.4 或更高版本。Open Distro for Elasticsearch 文档中提供了该功能的完整文档,包括详细步骤和 API 说明。

异常检测入门

要开始使用该功能,请在 Kibana 中选择 Anomaly Detection (异常检测)

步骤 1:创建探测器

检测器即单个异常检测任务。您可以创建多个检测器,并且所有检测器可以同时运行,每个检测器分析来自不同来源的数据。

步骤 2:向探测器添加功能

在这种情况下,特征就是检查是否存在异常的索引中的字段。检测器可以发现跨一个或多个特征的异常。您必须为每个特征选择聚合:average()sum()count()min()max()。 聚合方法确定是什么构成异常。

例如,如果选择 min(),则检测器将着重根据特征的最小值查找异常。如果选择 average(),则检测器将根据特征的平均值查找异常。

每个检测器最多可以添加五个特征。

您可以选择设置类别字段,以便使用 IP 地址、产品 ID、国家/地区代码等维度对数据进行分类或切片。

使用窗口大小,您可以设置要在检测窗口中考虑的数据流中的聚合间隔数。

预览示例异常并根据需要调整特征设置。

步骤 3:观察 Results


                    异常检测控制面板示例。
  • Live anomalies (实时异常) 图表显示了过去 60 个间隔的实时异常结果。例如,如果间隔设置为 10,则显示过去 600 分钟的结果。此图表每 30 秒刷新一次。

  • Anomaly history (异常历史记录) 图表采用相应的置信度绘制异常等级。

  • Feature breakdown (特征细分) 图根据聚合方法绘制特征。您可以更改检测器的日期和时间范围。

  • Anomaly occurrence (异常发生) 表显示了检测到的每个异常的 Start timeEnd timeData confidenceAnomaly grade

  • 如果您设置类别字段,将看到一个额外的 Heat map (热图) 图表,该图表关联异常实体的结果。您可以选择填充的矩形以查看异常的更详细视图。

步骤 4:设置警报

要创建监视器以便在检测到任何异常情况时向您发送通知,请选择 Set up alerts (设置警报)。插件将您重定向到 Add monitor (添加监视器) 页面,您可以在其中设置警报。