使用 Amazon S3 Storage Lens 优化您的存储成本 - Amazon Simple Storage Service
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

使用 Amazon S3 Storage Lens 优化您的存储成本

Amazon S3 Storage Lens 聚合您的使用情况和活动指标,并在 Amazon S3 控制台 Buckets (存储桶) 主页上的账户快照中显示此信息。您可以使用 S3 Storage Lens 控制面板可视化见解和趋势,标记异常,并接收优化存储成本和应用数据保护最佳实践的建议。

以下使用案例提供了使用 S3 Storage Lens 控制面板更有效地优化存储的策略。

识别您最大的 S3 存储桶

您要为在 S3 存储桶中存储对象付费。您需支付的费率取决于对象的大小、对象的存储时长及其存储类。利用 Amazon S3 Storage Lens,您可以集中查看账户中的所有存储桶。要查看组织的所有账户中的所有存储桶,您可以配置 Amazon Organizations 级 S3 Storage Lens 控制面板。在此控制面板视图中,您可以识别最大的存储桶。

识别最大的存储桶

  1. 登录到 Amazon Web Services Management Console,然后通过以下网址打开 Amazon S3 控制台:https://console.aws.amazon.com/s3/

  2. 在导航窗格中,选择 Storage Lens控制面板

  3. 控制面板列表中,选择要查看的控制面板。

  4. 在右上角,您会看到 S3 Storage Lens 收集存储指标的最新日期。您的控制面板始终加载指标可用的最新日期。

    • 要调整查看的控制面板数据范围,请选择 Filters (筛选条件) 以应用临时筛选条件。

    • 要删除所有筛选条件,请选择 Reset (重置),然后选择 Apply (应用)

  5. 在控制面板的 Overview (概览) 选项卡上,向下滚动到 Top N overview for date (日期的前 N 个概览) 部分,查看所选日期范围内按 Total storage (总存储) 指标排列的最大存储区的排名。

    您可以切换排列顺序以显示最小存储桶,并调整指标,按 30 多个可用指标中的任何一个对存储桶进行排名。此视图还显示与前一天或前一周相比的百分比变化,以及呈现 14 天趋势的迷你图(如果您升级到了高级指标和建议,则呈现 30 天趋势)。

  6. 有关存储桶的更多详细见解,请选择此控制面板的 Buckets (存储桶) 选项卡。在 Buckets (存储桶) 选项卡上,您可以看到诸如近期增长率、平均对象大小、最大前缀和对象数等详细信息。

  7. 对于最大的存储桶,您可以导航到 S3 控制台中的每个存储桶,了解其对象和关联的工作负载,或识别存储桶的内部拥有者。从存储桶拥有者处,您可以了解此增长是否为预期增长,或者此增长是否需要进一步的监控和控制。

查找未完成的分段上传

您可以使用分段上传功能将非常大的对象(最大 5TB)分成多个部分上传,以提高吞吐量并更快地从网络问题中恢复。如果分段上传过程未完成,则未完成的部分将保留在存储桶中(处于不可用状态),并产生存储成本,直到上传过程完成或删除未完成的部分。有关更多信息,请参阅使用分段上传来上传和复制对象

借助 S3 Storage Lens,您可以确定账户中或整个组织中未完成的分段上传字节数。

识别未完成的分段上传字节

  1. 登录到 Amazon Web Services Management Console,然后通过以下网址打开 Amazon S3 控制台:https://console.aws.amazon.com/s3/

  2. 在导航窗格中,选择 Storage Lens控制面板

  3. 控制面板列表中,选择要查看的控制面板。

  4. Snapshot (快照) 部分,在 Overview (概览) 选项卡的顶部,选择 Cost efficiency (成本效益) 以查看 % incomplete MPU bytes (未完成分段上传的字节百分比) 指标。

您还可以在 S3 Storage Lens 控制面板的任意图表中选择 Incomplete multipart upload bytes (未完成的分段上传字节) 作为指标。然后,您可以进一步评估未完成的分段上传字节对存储的影响,包括对总体增长趋势的影响,也可以识别累积未完成分段上传的特定存储桶。

要自动管理未完成的分段上传,请创建生命周期策略,使存储桶的未完成分段上传字节在指定天数后过期

减少保留的非当前版本的数量

启用后,S3 版本控制功能会保留同一对象的多个版本,当对象被意外删除或覆盖时,可以使用这些版本快速恢复数据。如果累积了大量以前的非当前版本,S3 版本控制可能会产生存储成本。有关更多信息,请参阅在 S3 存储桶中使用版本控制

识别非当前版本控制对象的累积

  1. 登录到 Amazon Web Services Management Console,然后通过以下网址打开 Amazon S3 控制台:https://console.aws.amazon.com/s3/

  2. 在导航窗格中,选择 Storage Lens控制面板

  3. 控制面板列表中,选择要查看的控制面板。

  4. Snapshot (快照) 部分,在 Overview (概览) 选项卡的顶部,选择 Cost efficiency (成本效益)% noncurrent version bytes (非当前版本字节百分比) 指标表示所选日期内归属于非当前版本的总存储字节(在控制面板范围内)的比例。

    注意

    如果 % noncurrent version bytes (非当前版本字节百分比) 大于账户级别存储的 10%,则可能表明您存储的版本太多。

  5. 要识别累积大量非当前版本的特定存储桶,请向下滚动到 Top N overview for date (日期的前 N 个概览) 部分,然后选择 % noncurrent version bytes (非当前版本字节百分比) 指标。

确定哪些存储桶需要进一步调查后,您可以导航到 S3 控制台中的存储桶,并启用生命周期策略,使非当前版本在指定天数后过期。或者,为了降低成本,同时仍然保留非当前版本,您可以配置生命周期策略,将非当前版本迁移到 Amazon S3 Glacier。有关更多信息,请参阅示例 6:为启用了版本控制的存储桶指定生命周期规则

发现冷的 Amazon S3 存储桶

如果启用了 S3 Storage Lens 高级指标,您可以使用活动指标了解 S3 存储桶的活跃度。“冷”存储桶是指不再访问(或极少访问)其存储的存储桶。这种活跃程度缺乏通常表示存储桶的对象不经常访问。

活动指标,例如 GET Requests (Get 请求)Download Bytes (下载字节数),指明每天访问存储桶的频率。要了解访问模式的一致性并发现根本不再访问的存储桶,您可以对这些数据进行几个月的趋势分析。Retrieval rate (检索率) 指标(计算方法为下载字节数/总存储),表示存储桶中每天访问的存储比例。

注意

如果同一对象在一天中多次下载,则下载字节数会加倍。

查看存储桶的活跃程度

  1. 登录到 Amazon Web Services Management Console,然后通过以下网址打开 Amazon S3 控制台:https://console.aws.amazon.com/s3/

  2. 在导航窗格中,选择 Storage Lens控制面板

  3. 控制面板列表中,选择要查看的控制面板。

  4. 选择控制面板的 Bucket (存储桶) 选项卡,然后向下滚动到 Bubble analysis by buckets for date (日期的存储桶气泡分析) 图表。

  5. Bubble analysis (气泡分析) 部分中,您可以使用任意三个指标在多个维度上绘制存储桶,以表示气泡的 x 轴y 轴大小。选择 % retrieval rate (检索率百分比) 作为指标之一。

  6. 要查找已经冷的存储桶,请使用 Total storage (总存储)% retrieval rate (检索率百分比)Average object size (平均对象大小) 指标执行气泡分析。查找检索率为零(或接近零)且相对存储大小较大的任何存储桶。

在此处,您可以识别您账户或组织中的存储桶拥有者,并了解是否仍然需要该存储。然后,您可以通过为存储桶配置生命周期过期策略或将数据归档到 Amazon S3 Glacier 来优化成本。

为了避免冷存储桶继续发展的问题,您可以使用 S3 生命周期策略为存储桶自动转换数据,也可以启用使用 S3 Intelligent-Tiering 自动归档

反之,使用前面的示例,您可以识别热存储桶,并确保对这些存储桶使用正确的 S3 存储类,查看它们是否已经过优化,能够最有效地处理其请求。