了解 Amazon S3 Storage Lens 存储统计管理工具 - Amazon Simple Storage Service
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

了解 Amazon S3 Storage Lens 存储统计管理工具

重要

Amazon S3 现在将具有 Amazon S3 托管式密钥的服务器端加密(SSE-S3)作为 Amazon S3 中每个桶的基本加密级别。从 2023 年 1 月 5 日起,上传到 Amazon S3 的所有新对象都将自动加密,不会产生额外费用,也不会影响性能。S3 桶默认加密配置和上传的新对象的自动加密状态可在 Amazon CloudTrail 日志、S3 清单、S3 Storage Lens 存储统计管理工具、Amazon S3 控制台中获得,并可用作 Amazon Command Line Interface 和 Amazon SDK 中的附加 Amazon S3 API 响应标头。有关更多信息,请参阅默认加密常见问题解答

Amazon S3 Storage Lens 存储统计管理工具是一项云存储分析功能,您可以使用它在整个组织范围内了解对象存储的使用情况和活动。您可以使用 S3 Storage Lens 存储统计管理工具指标生成摘要见解,例如,了解整个组织中有多少存储空间,或增长最快的桶和前缀是哪些。您还可以使用 S3 Storage Lens 存储统计管理工具指标来识别成本优化机会,实施数据保护和安全最佳实践,并提高应用程序工作负载的性能。例如,您可以识别没有 S3 生命周期规则的桶,使超过 7 天的未完成分段上传过期。您还可以识别未遵循数据保护最佳实践(例如使用 S3 复制或 S3 版本控制)的桶。S3 Storage Lens 存储统计管理工具还分析指标以提供上下文建议,您可以使用这些建议来优化存储成本并应用最佳实践来保护数据。

S3 Storage Lens 存储统计管理工具聚合您的指标,并在 Amazon S3 控制台的 Buckets(桶)页上的 Account snapshot(账户快照)部分中显示此信息。S3 Storage Lens 存储统计管理工具还提供了一个交互式控制面板,您可以使用它来可视化见解和趋势,标记异常值,并接收有关优化存储成本和应用数据保护最佳实践的建议。控制面板提供深入分析选项,用于在组织、账户、Amazon Web Services 区域、存储类、桶、前缀或 Storage Lens 组级别生成和可视化见解。您还可以将采用 CSV 或 Parquet 格式的每日指标导出发送到 S3 桶。您可以使用 Amazon S3 控制台、Amazon Command Line Interface(Amazon CLI)、Amazon SDK 或 Amazon S3 REST API 创建和管理 S3 Storage Lens 存储统计管理工具控制面板。

S3 Storage Lens 存储统计管理工具的概念和术语

本部分包含成功了解和使用 Amazon S3 Storage Lens 存储统计管理工具所必需的术语和概念。

控制面板配置

S3 Storage Lens 存储统计管理工具需要控制面板配置,其中包含代表您聚合指标所需的属性,以供单个控制面板或导出使用。创建配置时,您可以选择控制面板名称和主区域,创建控制面板后无法对其进行更改。您可以选择添加标签并配置以 CSV 或 Parquet 格式导出指标。

在控制面板配置中,您还可以定义控制面板范围和指标选择。范围可以包括您的组织账户或按区域、桶和账户筛选的分区的所有存储。配置指标选择时,您可以在免费指标与高级指标和建议之间进行选择,您可以额外付费升级到高级指标和建议。借助高级指标和建议,您可以访问其他指标和功能。这些功能包括高级指标类别、前缀级聚合、上下文建议和 Amazon CloudWatch 发布。有关 S3 Storage Lens 存储统计管理工具定价的信息,请参阅 Amazon S3 定价

默认控制面板

控制台上的 S3 Storage Lens 存储统计管理工具默认控制面板命名为 default-account-dashboard。S3 预配置此控制面板,以直观显示整个账户的见解和趋势,并在 S3 控制台中每天更新这些信息。您无法修改原定设置控制面板的配置范围,但可以将指标选择从免费指标升级到高级指标和建议。您可以配置可选指标导出,甚至可以禁用控制面板。但是,您无法删除默认控制面板。

注意

如果您禁用原定设置控制面板,则它将不再更新。您将不会再在 S3 Storage Lens 存储统计管理工具控制面板、指标导出或 S3 页面上的账户快照中收到任何新的每日指标。如果控制面板使用高级指标和建议,则不再向您收费。在数据查询的 14 天期限到期之前,您仍然可以在控制面板中查看历史数据。如果您启用了高级指标和建议,则此期限为 15 个月。要访问历史数据,您可以在到期期限内重新启用控制面板。

控制面板

您可以创建其他 S3 Storage Lens 存储统计管理工具控制面板,并按 Amazon Web Services 区域、S3 桶或账户(对于 Amazon Organizations)限定其范围。创建或编辑 S3 Storage Lens 存储统计管理工具控制面板时,定义控制面板范围和指标选择。S3 Storage Lens 存储统计管理工具提供免费指标、高级指标和建议,您可以支付额外费用升级到高级指标和建议。借助高级指标和建议,您可以访问其他指标和功能,以深入了解您的存储。这些功能包括高级指标类别、前缀级聚合、上下文建议和 Amazon CloudWatch 发布。有关 S3 Storage Lens 存储统计管理工具定价的信息,请参阅 Amazon S3 定价

您还可以禁用或删除控制面板。如果禁用控制面板,它将不再更新,并且您将不再收到任何新的每日指标。在 14 天到期之前,您仍然可以查看历史数据。如果您为该控制面板启用了高级指标和建议,则此期限为 15 个月。要访问历史数据,您可以在到期期限内重新启用控制面板。

如果删除控制面板,将丢失所有控制面板的配置设置。您将不再收到任何新的每日指标,而且您也无法访问与该控制面板关联的历史数据。如果要访问已删除控制面板的历史数据,则必须在同一主区域中创建另一个具有相同名称的控制面板。

注意
  • 您可以使用 S3 Storage Lens 存储统计管理工具为每个主区域创建多达 50 个控制面板。

  • 组织级控制面板只能限于区域范围。

账户快照

S3 Storage Lens 存储统计管理工具的 Account snapshot(账户快照)汇总了原定设置控制面板中的指标,并在 S3 控制台的 Buckets(桶)页面上显示总存储空间、对象计数和平均对象大小。账户快照让您可以快速获取有关存储的见解,而不必离开 Buckets(桶)页面。账户快照还允许您一键访问您的交互式 S3 Storage Lens 存储统计管理工具控制面板。

您可以使用控制面板可视化见解和趋势,标记异常值,并接收有关优化存储成本和应用数据保护最佳实践的建议。控制面板提供深入分析选项,用于在组织、账户、桶、对象或前缀级别生成见解。您还可以按 CSV 或 Parquet 格式将每天一次的指标导出发送到 S3 桶。

因为 default-account dashboard(原定设置账户控制面板)已链接到 Account snapshot(账户快照),所以您无法修改其控制面板范围。但是,在 default-account-dashboard(原定设置账户控制面板)中,您可以将指标选择从免费指标升级到付费的高级指标和建议。升级后,您可以在 S3 Storage Lens 存储统计管理工具 Account snapshot(账户快照)中显示所有请求、上载的字节数和下载的字节数。

注意

如果禁用原定设置控制面板,将不再更新您的 Account snapshot(账户快照)。要在 Account snapshot(账户快照)中继续显示指标,您可以重新启用 default-account-dashboard(原定设置账户控制面板)。

指标导出

S3 Storage Lens 存储统计管理工具指标导出是一个包含 S3 Storage Lens 存储统计管理工具配置中标识的所有指标的文件。此信息每天以 CSV 或 Parquet 格式生成,并发送到 S3 桶。您可以通过所选的指标工具使用指标导出进行进一步分析。用于指标导出的 S3 桶必须与 S3 Storage Lens 存储统计管理工具配置位于同一区域。您可以通过编辑控制面板配置,从 S3 控制台生成 S3 Storage Lens 存储统计管理工具指标导出。您也可以使用 Amazon CLI 和 Amazon SDK 配置指标导出。

主区域

主区域是在其中存储给定控制面板配置的所有 Amazon S3 Storage Lens 存储统计管理工具指标的 Amazon Web Services 区域。创建 S3 Storage Lens 存储统计管理工具控制面板配置时,必须选择主区域。选择主区域后,无法对其进行更改。此外,如果您要创建 Storage Lens 组,我们建议您选择与 Storage Lens 存储统计管理工具控制面板相同的主区域。

注意

您可以选择以下一个区域作为主区域:

  • 美国东部(弗吉尼亚北部)– us-east-1

  • 美国东部(俄亥俄)– us-east-2

  • 美国西部(加利福尼亚北部)– us-west-1

  • 美国西部(俄勒冈)– us-west-2

  • 亚太地区(孟买)– (ap-south-1)

  • 亚太地区(首尔)– (ap-northeast-2)

  • 亚太地区(新加坡)– (ap-southeast-1)

  • 亚太地区(悉尼)– ap-southeast-2

  • 亚太地区(东京)– (ap-northeast-1)

  • 加拿大(中部)– ca-central-1

  • 中国(北京)– cn-north-1

  • 中国(宁夏)– cn-northwest-1

  • 欧洲(法兰克福)– eu-central-1

  • 欧洲(爱尔兰)– eu-west-1

  • 欧洲(伦敦)– eu-west-2

  • 欧洲(巴黎)– eu-west-3

  • 欧洲(斯德哥尔摩)– eu-north-1

  • 南美洲(圣保罗)– (sa-east-1)

保留期

S3 Storage Lens 存储统计管理工具指标将保留,以便您可以查看历史趋势并比较存储和活动随时间推移的差异。您可以使用 Amazon S3 Storage Lens 存储统计管理工具指标以进行查询,因此您可以查看历史趋势并比较存储使用情况和活动随时间推移的差异。

所有 S3 Storage Lens 存储统计管理工具指标将保留 15 个月。但是,指标仅适用于特定持续时间的查询,这取决于您的指标选择。无法修改此持续时间。免费指标可用于 14 天的查询,高级指标可用于 15 个月的查询。

指标类别

在免费和高级套餐中,S3 Storage Lens 存储统计管理工具指标划分为与关键使用案例一致的类别,例如成本优化和数据保护。免费指标包括摘要、成本优化、数据保护、访问管理、性能和事件指标。升级到高级指标和建议时,您可以启用额外的成本优化和数据保护指标,这些指标可用于进一步降低 S3 存储成本和确保数据受到保护。您还可以启用活动指标和详细的状态代码指标,这些指标可用于提高应用程序工作流的性能。

以下列表显示了所有免费和高级指标类别。有关每个类别中包含的各个指标的完整列表,请参阅指标词汇表

汇总指标

摘要指标提供有关您的 S3 存储的一般见解,包括您的总存储字节数和对象计数。

成本优化指标

成本优化指标提供见解,您可以使用这些见解来管理和优化存储成本。例如,您可以识别具有超过 7 天的未完成分段上传的桶。

借助高级指标和建议,您可以启用高级成本优化指标。这些指标包括 S3 生命周期规则计数指标,您可以使用这些指标来获取每个桶的到期时间和转换 S3 生命周期规则计数。

数据保护指标

数据保护指标提供对于加密和 S3 版本控制等数据保护功能的见解。您可以使用这些指标来识别未遵循数据保护最佳实践的桶。例如,您可以识别未使用具有 Amazon Key Management Service 密钥的原定设置加密(SSE-KMS)或 S3 版本控制的桶。

借助高级指标和建议,您可以启用高级数据保护指标。这些指标包括每个桶的复制规则计数指标。

访问管理指标

访问管理指标提供 S3 对象所有权的见解。您可以使用这些指标来查看您的桶使用了哪些对象所有权设置。

事件指标

事件指标提供 S3 事件通知的见解。通过事件指标,您可以查看哪些桶配置了 S3 事件通知。

性能指标

性能指标提供 S3 Transfer Acceleration 的见解。通过性能指标,您可以查看哪些桶启用了 Transfer Acceleration。

活动指标(高级)

如果您将控制面板升级到高级指标和建议,则可以启用活动指标。活动指标提供有关如何请求存储(例如,All 请求、Get 请求、Put 请求)、上传或下载的字节数以及错误的详细信息。

前缀级别的活动指标可用于帮助您确定哪些前缀不经常使用,以便您可以使用 S3 生命周期过渡到更适合的存储类

详细状态代码指标(高级)

如果您将控制面板升级到高级指标和建议,则可以启用详细状态代码指标。详细状态代码指标提供有关 HTTP 状态代码的见解,例如“403 禁止”和“503 服务不可用”,您可以使用这些信息来排查访问或性能问题。例如,您可以查看 403 Forbidden error count(403 禁止错误计数)指标,以确定在未应用正确权限的情况下访问桶的工作负载。

前缀级别的详细状态代码指标可用于更好地了解按前缀划分的 HTTP 状态代码出现次数。例如,“503 错误计数”指标使您能够识别在数据摄取期间收到节流请求的前缀。

建议

S3 Storage Lens 存储统计管理工具提供自动建议来帮助您优化存储。在 S3 Storage Lens 存储统计管理工具控制面板中,建议与相关指标一起放置在上下文中。历史数据不符合建议的条件,因为建议与最近一段时期的情况相关。仅在建议相关时才会显示它们。

S3 Storage Lens 存储统计管理工具建议有以下形式:

  • 建议

    建议会提醒您注意存储和活动中的趋势,这些趋势可能表明存储成本优化机会或可采用某种数据保护最佳实践。您可以使用《Amazon S3 用户指南》和 S3 Storage Lens 存储统计管理工具控制面板中的建议主题,深入了解有关特定区域、桶或前缀的更多详细信息。

  • 标注

    标注是一些建议,可提醒您注意在一段时间内存储和活动中存在的值得留意的异常,您可能需要进一步关注或监控这些异常。

    • 异常标注

      S3 Storage Lens 存储统计管理工具根据您最近 30 天的趋势,为异常的指标提供了标注。异常是使用标准分数(也称为 z 得分)计算的。在这个分数中,将从该指标过去 30 天的平均值中减去当天的指标。然后用当天的指标除以该指标在过去 30 天内的标准差。得出的分数通常在 -3 到 +3 之间。此数字代表当天的指标与平均值相比的标准差。

      S3 Storage Lens 存储统计管理工具将分数 > 2 或 <-2 的指标视为异常,因为它们高于或低于正态分布数据的 95%。

    • 重大更改标注

      重大更改标注适用于预计更改频率较低的指标。因此,重大更改标注的灵敏度设置为高于异常值计算(异常值计算的浮动相对于前一天、前一周或前个月通常介于 +/-20% 的范围内)。

      解决存储和活动中的标注问题 – 如果您收到重大更改标注,这不一定意味着出现问题。该标注可能是由于您的存储中发生预期变化所致。例如,您最近可能添加了大量新对象、删除了大量对象或进行了类似的计划更改。

      如果您在控制面板上看到重大更改标注,请记下它并确定是否可以根据最近的情况来解释。如果没有,请使用 S3 Storage Lens 存储统计管理工具控制面板深入了解更多详细信息,以了解导致波动的特定区域、桶或前缀。

  • 提醒

    提醒可以深入了解 Amazon S3 的工作原理。它们可以帮助您详细了解如何使用 S3 功能来降低存储成本或应用数据保护最佳实践。

指标选择

S3 Storage Lens 存储统计管理工具提供了两个指标选择,您可以为控制面板和导出进行选择:免费指标高级指标和建议

  • 免费指标

    S3 Storage Lens 存储统计管理工具为所有控制面板和配置提供免费指标。免费指标包含与存储相关的指标,例如桶数量和账户中的对象数。免费指标还包括基于使用案例的指标(例如,成本优化和数据保护指标),您可以使用这些指标来调查您的存储配置是否符合 S3 最佳实践。所有免费指标每天收集。数据可用于查询达 14 天。有关免费指标可提供哪些指标的更多信息,请参阅Amazon S3 Storage Lens 存储统计管理工具指标词汇表

  • 高级指标和建议

    S3 Storage Lens 存储统计管理工具为所有控制面板和配置提供免费指标以及升级到高级指标和建议选项的选择。将收取额外费用。有关更多信息,请参阅 Amazon S3 定价

    高级指标和建议包括免费指标中的所有指标以及其他指标,例如高级数据保护和成本优化指标、活动指标和详细的状态代码指标。高级指标和建议还提供了帮助您优化存储的建议。建议与控制面板中的相关指标一起放置在上下文中。

    高级指标和建议包括以下功能:

    • 高级指标 - 生成其他指标。有关高级指标类别的完整列表,请参阅指标类别。要获得指标的完整列表,请参阅Amazon S3 Storage Lens 存储统计管理工具指标词汇表

    • Amazon CloudWatch 发布 – 将 S3 Storage Lens 存储统计管理工具指标发布到 CloudWatch,以便在 CloudWatch 控制面板中创建运营状况的统一视图。您还可以使用 CloudWatch 操作和功能(如告警和触发操作、指标数学和异常检测)来监控 S3 Storage Lens 存储统计管理工具指标并采取措施。有关更多信息,请参阅在 CloudWatch 中监控 S3 Storage Lens 存储统计管理工具指标

    • 前缀聚合 – 收集前缀级别的指标。启用前缀聚合可在前缀级别扩展控制面板配置中包含的所有指标。仅为满足所配置阈值的前缀生成指标。请注意,适用于前缀级别的指标可用于前缀聚合,但桶级别的设置和规则计数指标除外。前缀级别的指标不会发布到 CloudWatch。

    • Storage Lens 组聚合 – 收集 Storage Lens 组级别的指标。启用高级指标和建议以及 Storage Lens 组聚合后,您可以指定要在 Storage Lens 控制面板中包括或排除哪些 Storage Lens 组。必须至少指定一个 Storage Lens 组。指定的 Storage Lens 组还必须位于控制面板账户中指定的主区域内。Storage Lens 组级别的指标不会发布到 CloudWatch。

    所有高级指标每天收集。数据最长在 15 个月内可供查询。有关 S3 Storage Lens 存储统计管理工具聚合的存储指标的更多信息,请参阅Amazon S3 Storage Lens 存储统计管理工具指标词汇表

    注意

    仅当在 Amazon S3 控制台上使用 S3 Storage Lens 存储统计管理工具控制面板时建议才可用。

S3 Storage Lens 存储统计管理工具和 Amazon Organizations

Amazon Organizations 是一项 Amazon Web Service,可帮助您将所有 Amazon Web Services 账户聚合在一个组织层次结构下。Amazon S3 Storage Lens 存储统计管理工具与 Amazon Organizations 配合使用,可提供整个 Amazon S3 存储范围内对象存储和活动的单一视图。

有关更多信息,请参阅将 Amazon S3 Storage Lens 存储统计管理工具与 Amazon Organizations 结合使用

  • 可信访问权限

    使用组织的管理账户,您必须为 S3 Storage Lens 存储统计管理工具启用可信访问权限,以聚合组织中所有成员账户的存储指标和使用情况数据。然后,您可以使用管理账户或向组织中其他账户授予委托管理员访问权限,为组织创建控制面板或导出。

    您可以随时为 S3 Storage Lens 存储统计管理工具禁用可信访问权限,这将阻止 S3 Storage Lens 存储统计管理工具聚合组织的指标。

  • 委托管理员

    您可以使用 Amazon Organizations 管理账户或向组织中其他账户授予委托管理员访问权限,为您的组织创建 S3 Storage Lens 存储统计管理工具的控制面板和指标。您可以随时取消注册委托管理员。取消注册委托管理员还会自动阻止该委托管理员创建的所有组织级控制面板聚合新的存储指标。

有关更多信息,请参阅《Amazon Organizations 用户指南》中的 Amazon S3 Storage Lens 存储统计管理工具和 Amazon Organizations

Amazon S3 Storage Lens 存储统计管理工具服务相关角色

除了 Amazon Organizations 可信访问权限外,Amazon S3 Storage Lens 存储统计管理工具还使用 Amazon Identity and Access Management(IAM)服务相关角色。服务相关角色是一种与 S3 Storage Lens 存储统计管理工具直接关联的独特类型的 IAM 角色。S3 Storage Lens 存储统计管理工具预定义了服务相关角色,并包括从组织中的成员账户收集每日存储和活动指标所需的所有权限。

有关更多信息,请参阅使用面向 Amazon S3 Storage Lens 存储统计管理工具的服务相关角色