配置和凭证文件设置 - Amazon Command Line Interface
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

配置和凭证文件设置

您可以将常用的配置设置和凭证保存在由 Amazon CLI 维护的文件中。

这些文件将分成 profiles。预设情况下,Amazon CLI 将使用在名为 default 的配置文件中找到的设置。要使用备用设置,您可以创建和引用其他配置文件。有关命名配置文件的更多信息,请参阅Amazon CLI 的命名配置文件

您可以通过设置某个支持的环境变量或使用命令行参数来覆盖个别设置。有关配置设置优先顺序的更多信息,请参阅配置设置和优先顺序

配置设置存储在何处?

Amazon CLI 将使用 aws configure 指定的敏感凭证信息存储在主目录中名为 credentials 的文件夹中名为 .aws 的本地文件中。使用 aws configure 指定的较不敏感的配置选项存储在名为 config 的本地文件中,该文件也存储在主目录的 .aws 文件夹中。

在 config 文件中存储凭证

您可以将所有配置文件设置保留在一个文件中,因为 Amazon CLI 可以从 config 文件中读取凭证。如果两个文件中都有共享相同名称的配置文件的凭证,则凭证文件中的密钥优先。

这些文件也被各种语言软件开发工具包 (SDK) 使用。如果除了 Amazon CLI 之外,您还使用某个开发工具包,请确认凭证是否应存储在其自己的文件中。

主目录位置因操作系统而异,但在 Windows 中使用环境变量 %UserProfile% 引用,在基于 Unix 的系统中使用 $HOME~(波形符)引用。通过将 AWS_CONFIG_FILEAWS_SHARED_CREDENTIALS_FILE 环境变量设置为另一个本地路径,可以为文件指定非原定设置位置。有关详细信息,请参阅 用于配置 Amazon CLI 的环境变量

例如,Amazon CLI 为使用 aws configure 配置的默认配置文件生成的文件看起来类似于以下内容。

~/.aws/credentials

[default] aws_access_key_id=AKIAIOSFODNN7EXAMPLE aws_secret_access_key=wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY

~/.aws/config

[default] region=us-west-2 output=json

有关具有多个命名配置文件的文件示例,请参阅Amazon CLI 的命名配置文件

当您使用共享配置文件指定 Amazon Identity and Access Management (IAM) 角色时,Amazon CLI 将调用 Amazon STS AssumeRole 操作来检索临时凭证。随后,这些凭证将存储起来(存储在 ~/.aws/cli/cache 中)。后续 Amazon CLI 命令将使用缓存的临时凭证,直到它们过期,这时 Amazon CLI 将自动刷新这些凭证。

设置和查看配置设置

可通过多种方法查看和设置文件中的配置设置。

Credentialsconfig 文件

通过直接在文本编辑器中编辑 configcredentials 文件来查看和编辑您的设置。有关更多信息,请参阅 配置设置存储在何处?

要删除设置,请从 configcredentials 文件中删除相应设置。

aws configure

运行此命令可快速设置和查看凭证、区域和输出格式。以下示例显示了示例值。

$ aws configure AWS Access Key ID [None]: AKIAIOSFODNN7EXAMPLE AWS Secret Access Key [None]: wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY Default region name [None]: us-west-2 Default output format [None]: json

有关更多信息,请参阅 使用 aws configure 快速配置

aws configure set

您可以使用 aws configure set 设置任何凭证或配置设置。使用 --profile 设置指定要查看或修改的配置文件。

例如,以下命令设置名为 region 的配置文件中的 integ

$ aws configure set region us-west-2 --profile integ

要删除某个设置,请使用空字符串作为值,或在文本编辑器中手动从 configcredentials 文件中删除该设置。

$ aws configure set cli_pager "" --profile integ
aws configure get

您可以检索已使用 aws configure get 设置的任何凭证或配置设置。使用 --profile 设置指定要查看或修改的配置文件。

例如,以下命令检索名为 region 的配置文件中的 integ 设置。

$ aws configure get region --profile integ us-west-2

如果输出为空,不会显式设置该设置,并将使用默认值。

aws configure import

导入从 Amazon Web 控制台生成的 CSV 凭证。将导入一个配置文件名称与用户名匹配的 CSV 文件。CSV 文件必须包含以下标头。

  • 用户名称

  • 访问密钥 ID

  • 秘密访问密钥

注意

在创建初始密钥对期间,一旦您关闭 Download .csv file(下载 .csv 文件)对话框,在关闭该对话框之后就无法访问秘密访问密钥了。如果您需要 .csv 文件,则需要自己创建一个包含所需标头和存储的密钥对信息的文件。如果您无法访问密钥对信息,则需要创建新的密钥对。

$ aws configure import --csv file://credentials.csv

有关密钥对的更多信息,请参阅访问密钥 ID 和秘密访问密钥

aws configure list

要列出所有配置数据,请使用 aws configure list 命令。此命令显示已配置的所有设置的 Amazon CLI 名称、它们的值以及已从中检索配置的位置。

$ aws configure list Name Value Type Location ---- ----- ---- -------- profile <not set> None None access_key ****************ABCD shared-credentials-file secret_key ****************ABCD shared-credentials-file region us-west-2 env AWS_DEFAULT_REGION
aws configure list-profiles

要列出所有配置文件名称,请使用 aws configure list-profiles 命令。

$ aws configure list-profiles default test

支持的 config 文件设置

config 文件支持以下设置。将使用指定(或默认)配置文件中列出的值,除非它们被具有相同名称的环境变量或具有相同名称的命令行选项覆盖。有关哪些顺序设置优先的更多信息,请参阅配置设置和优先顺序

全局设置

aws_access_key_id

指定用作凭证一部分的对命令请求进行身份验证的 Amazon 访问密钥。虽然它可以存储在 config 文件中,但我们建议您将其存储在 credentials 文件中。

可以被 AWS_ACCESS_KEY_ID 环境变量覆盖。您不能将访问密钥 ID 指定为命令行选项。

aws_access_key_id = AKIAIOSFODNN7EXAMPLE

有关密钥对的更多信息,请参阅访问密钥 ID 和秘密访问密钥

aws_secret_access_key

指定用作凭证一部分的对命令请求进行身份验证的 Amazon 私有密钥。虽然它可以存储在 config 文件中,但我们建议您将其存储在 credentials 文件中。

可以被 AWS_SECRET_ACCESS_KEY 环境变量覆盖。您不能将私有访问密钥指定为命令行选项。

aws_secret_access_key = wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY

有关密钥对的更多信息,请参阅访问密钥 ID 和秘密访问密钥

aws_session_token

指定 Amazon 会话令牌。只有在手动指定临时安全凭证时才需要会话令牌。虽然它可以存储在 config 文件中,但我们建议您将其存储在 credentials 文件中。

可以被 AWS_SESSION_TOKEN 环境变量覆盖。您不能将会话令牌指定为命令行选项。

aws_session_token = AQoEXAMPLEH4aoAH0gNCAPyJxz4BlCFFxWNE1OPTgk5TthT+FvwqnKwRcOIfrRh3c/LTo6UDdyJwOOvEVPvLXCrrrUtdnniCEXAMPLE/IvU1dYUg2RVAJBanLiHb4IgRmpRV3zrkuWJOgQs8IZZaIv2BXIa2R4Olgk
ca_bundle

指定用于验证 SSL 证书的 CA 证书捆绑包(具有 .pem 扩展名的文件)。

可以被 AWS_CA_BUNDLE 环境变量或 --ca-bundle 命令行选项覆盖。

ca_bundle = dev/apps/ca-certs/cabundle-2019mar05.pem
cli_auto_prompt

为 Amazon CLI 版本 2 启用自动提示。可以使用两种设置:

  • on 每次尝试运行 aws 命令时都会使用完整的自动提示模式。这包括在完整或不完整的命令之后按 ENTER 键。

    cli_auto_prompt = on
  • on-partial 使用部分自动提示模式。如果命令不完整或由于客户端验证错误而无法运行,则使用自动提示。如果您已有现有脚本、运行手册,或者如果您希望只对于不熟悉的命令收到自动提示,而不是每个命令都收到提示,则此模式将非常有帮助。

    cli_auto_prompt = on-partial

您可以使用 aws_cli_auto_prompt 环境变量或 --cli-auto-prompt--no-cli-auto-prompt 命令行参数覆盖此设置。

有关 Amazon CLI 版本 2 自动提示功能的信息,请参阅 让 Amazon CLI 提示您输入命令

cli_binary_format

指定 Amazon CLI 版本 2 如何解释二进制输入参数。它可能为下列值之一:

  • base64 – 这是默认值。作为二进制大型对象 (BLOB) 键入的输入参数接受 base64 编码字符串。要传递真实的二进制内容,请将内容放在文件中,并提供文件的路径和名称,将 fileb:// 前缀作为参数值。要传递文件中包含的 base64 编码文本,请提供文件的路径和名称,并将 file:// 前缀作为参数值。

  • raw-in-base64-out – Amazon CLI 版本 1 的默认值。如果设置的值为 raw-in-base64-out,则使用 file:// 前缀引用的文件会作为文本进行读取,然后 Amazon CLI 尝试将其编码为二进制。

此条目没有等效的环境变量。您可以使用 --cli-binary-format raw-in-base64-out 参数在单个命令上指定此值。

cli_binary_format = raw-in-base64-out

如果使用 fileb:// 前缀表示法引用文件中的二进制值,Amazon CLI 始终希望文件中包含原始二进制内容,并且不会尝试转换该值。

如果使用 file:// 前缀表示法引用文件中的二进制值,Amazon CLI 会根据当前 cli_binary_format 设置来处理此文件。如果该设置的值为 base64(未明确设置时的原定设置值),Amazon CLI 希望该文件中包含 base64 编码文本。如果该设置的值为 raw-in-base64-out,Amazon CLI 希望文件中包含原始二进制内容。

cli_history

默认情况下禁用。此设置启用 Amazon CLI 的命令历史记录。启用此设置后,Amazon CLI 记录 aws 命令的历史记录。

cli_history = enabled

您可以使用 aws history list 命令列出您的历史记录,然后使用 aws history show 命令中生成的 command_ids 获取详细信息。有关更多信息,请参阅《Amazon CLI 参考指南》中的 aws history

cli_pager

指定用于处理输出的分页程序。预设情况下,Amazon CLI 版本 2 会通过操作系统的原定设置分页程序返回所有输出。

可以被 AWS_PAGER 环境变量覆盖。

cli_pager=less

要完全禁用外部分页程序,请将该变量设置为空字符串,如以下示例所示。

cli_pager=
cli_timestamp_format

指定输出中包含的时间戳值的格式。可以指定以下任一值:

  • iso8601 – Amazon CLI 版本 2 的原定设置值。如果指定,Amazon CLI 根据 ISO 8601 对所有时间戳进行重新格式化。

    ISO 8601 格式的时间戳与以下示例类似。第一个示例通过在时间之后加入 Z,显示以协调世界时 (UTC) 表示的时间。日期和时间由 T 分隔。

    2019-10-31T22:21:41Z

    要指定不同的时区,不是使用 Z,而是指定 +- 以及所需时区在 UTC 之前或之后的小时数作为两位数值。以下示例显示的时间与上一个示例相同,但调整为太平洋标准时间(比 UTC 晚 8 小时):

    2019-10-31T14:21:41-08
  • wire – Amazon CLI 版本 1 的原定设置值。如果指定,Amazon CLI 按原样显示在 HTTP 查询响应中收到的所有时间戳值。

该条目没有等效的环境变量或命令行选项。

cli_timestamp_format = iso8601
credential_process

指定 Amazon CLI 运行的外部命令,以生成或检索用于该命令的身份验证凭证。命令必须以特定格式返回凭证。有关如何使用该设置的更多信息,请参阅使用外部进程获取凭证

该条目没有等效的环境变量或命令行选项。

credential_process = /opt/bin/awscreds-retriever --username susan
credential_source

在 Amazon EC2 实例或容器中使用,指定 Amazon CLI 在何处可以找到要用于代入通过 role_arn 参数指定的角色的凭证。不能在同一配置文件中同时指定 source_profilecredential_source

此参数具有三个值:

  • Environment – 指定 Amazon CLI 从环境变量检索源凭证。

  • Ec2InstanceMetadata – 指定 Amazon CLI 将使用附加到 EC2 实例配置文件的 IAM 角色以获取源凭证。

  • EcsContainer – 指定 Amazon CLI 将附加到 ECS 容器的 IAM 角色用作源凭证。

credential_source = Ec2InstanceMetadata
duration_seconds

指定角色会话的最大持续时间(以秒为单位)。该值的范围在 900 秒(15 分钟)到角色的最大会话持续时间设置之间。此参数为可选参数,默认情况下,该值设置为 3600 秒。

external_id

指定第三方用于在其客户账户中代入角色的唯一标识符。这将映射到 AssumeRole 操作中的 ExternalId 参数。仅当角色的信任策略为 ExternalId 指定值时,才需要此参数。有关更多信息,请参阅《IAM 用户指南》中的如何在向第三方授予对 Amazon 资源的访问权限时使用外部 ID

max_attempts

指定 Amazon CLI 重试处理程序使用的最大重试次数值,其中初始调用计入您提供的 max_attempts 值。

您可以使用 AWS_MAX_ATTEMPTS 环境变量覆盖此值。

max_attempts = 3
mfa_serial

代入角色时要使用的 MFA 设备的标识号。仅当代入角色的信任策略包含需要 MFA 身份验证的条件,此值才是必需的。该值可以是硬件设备(例如 GAHT12345678)的序列号,也可以是虚拟 MFA 设备(例如 arn:aws:iam::123456789012:mfa/user)的 Amazon Resource Name (ARN)。

output

指定使用该配置文件请求的命令的原定设置输出格式。您可以指定以下任意值:

  • json – 输出采用 JSON 字符串的格式。

  • yaml – 输出采用 YAML 字符串的格式。

  • yaml-stream – 输出被流式处理并采用 YAML 字符串的格式。串流支持更快地处理大型数据类型。

  • text – 输出采用多个制表符分隔字符串值行的格式。这对于将输出传递到文本处理器(如 grepsedawk)很有用。

  • table – 输出采用表格形式,使用字符 +|- 以形成单元格边框。它通常以“人性化”格式呈现信息,这种格式比其他格式更容易阅读,但从编程方面来讲不是那么有用。

可以被 AWS_DEFAULT_OUTPUT 环境变量或 --output 命令行选项覆盖。

output = table
parameter_validation

指定 Amazon CLI 客户端在将参数发送到 Amazon 服务终端节点之前是否尝试验证参数。

  • true – 这是默认值。指定后,Amazon CLI 将执行命令行参数的本地验证。

  • false – 如果指定,Amazon CLI 在将命令行参数发送到Amazon服务终端节点前不对其进行验证。

该条目没有等效的环境变量或命令行选项。

parameter_validation = false
region

对于使用该配置文件请求的命令,指定要将请求发送到的 Amazon Web Services 区域。

  • 您可以指定可用于所选服务的任何区域代码,有关列表,请参阅《Amazon Web Services 一般参考》中的 Amazon 区域和终端节点

  • 通过 aws_global,您可以为不仅支持区域端点,还支持全局端点的服务指定全局端点,例如 Amazon Security Token Service (Amazon STS) 和 Amazon Simple Storage Service (Amazon S3)。

您可以使用 AWS_REGION 环境变量AWS_DEFAULT_REGION 环境变量或 --region 命令行选项覆盖此值。

region = us-west-2
retry_mode

指定 Amazon CLI 使用哪种重试模式。有三种重试模式可用:旧模式(默认模式)、标准模式和自适应模式。有关重试的更多信息,请参阅Amazon CLI 重试次数

您可以使用 AWS_RETRY_MODE 环境变量覆盖此值。

retry_mode = standard
role_arn

指定要用于运行 Amazon CLI 命令的 IAM 角色的 Amazon Resource Name (ARN)。此外,还必须指定以下参数之一以标识有权代入此角色的凭证:

  • source_profile

  • credential_source

role_arn = arn:aws:iam::123456789012:role/role-name

环境变量 AWS_ROLE_ARN 将覆盖此设置。

有关使用 Web 身份的更多信息,请参阅 通过 Web 身份代入角色

role_session_name

指定要附加到角色会话的名称。此值在 RoleSessionName 调用 Amazon CLI 操作时将提供给 AssumeRole 参数,并成为代入角色用户 ARN 的一部分: arn:aws:sts::123456789012:assumed-role/role_name/role_session_name。此参数为可选参数。如果未提供此值,则将自动生成会话名称。此名称显示在与此会话关联的条目的 Amazon CloudTrail 日志中。

role_session_name = maria_garcia_role

环境变量 AWS_ROLE_SESSION_NAME 将覆盖此设置。

有关使用 Web 身份的更多信息,请参阅 通过 Web 身份代入角色

source_profile

指定包含长期凭证的命名配置文件,Amazon CLI 可使用这些凭证代入通过 role_arn 参数指定的角色。不能在同一配置文件中同时指定 source_profilecredential_source

source_profile = production-profile
sso_account_id

指定 Amazon 账户 ID,其中包含的 IAM 角色具有您希望授予关联 IAM Identity Center 用户的权限。

此设置没有环境变量或命令行选项。

sso_account_id = 123456789012
sso_region

指定包含 Amazon 访问门户主机的 Amazon 区域。它与默认的 CLI region 参数是分开的,并且可以是不同的区域。

此设置没有环境变量或命令行选项。

sso_region = us_west-2
sso_registration_scopes

要为 sso-session 授权的范围的逗号分隔列表。范围授权对 IAM Identity Center 持有者令牌授权终端节点的访问。有效范围是字符串,例如 sso:account:access。此设置不适用于遗留的不可刷新配置。

sso_registration_scopes = sso:account:access
sso_role_name

指定使用此配置文件时定义用户权限的 IAM 角色的友好名称。

此设置没有环境变量或命令行选项。

sso_role_name = ReadAccess
sso_start_url

指定指向企业的 Amazon 访问门户的 URL。Amazon CLI 使用此 URL 与 IAM Identity Center 服务建立会话以验证其用户的身份。要查找 Amazon 访问门户 URL,请使用下列操作之一:

  • 打开邀请电子邮件,其中列出了 Amazon 访问门户 URL。

  • 打开 Amazon IAM Identity Center (successor to Amazon Single Sign-On) 控制台,网址为 https://console.aws.amazon.com/singlesignon/。您的设置中将列出 Amazon 访问门户 URL。

此设置没有环境变量或命令行选项。

sso_start_url = https://my-sso-portal.awsapps.com/start
use_fips_endpoint

在某些地区,一些 Amazon 服务提供支持美国联邦信息处理标准 (FIPS) 140-2 的端点。当 Amazon 服务支持 FIPS 时,此设置指定 Amazon CLI 应使用哪个 FIPS 端点。与标准 Amazon 端点不同,FIPS 端点使用符合 FIPS 140-2 的 TLS 软件库。与美国政府有业务来往的企业可能需要使用这些终端节点。

如果已定义,则此环境变量将被 AWS_USE_FIPS_ENDPOINT 环境变量和 --endpoint-url 命令行选项覆盖。

web_identity_token_file

指定一个文件的路径,该文件包含由身份提供商提供的 OAuth 2.0 访问令牌或 OpenID Connect ID 令牌。Amazon CLI 加载此文件的内容,并将其作为 WebIdentityToken 参数传递给 AssumeRoleWithWebIdentity 操作。

环境变量 AWS_WEB_IDENTITY_TOKEN_FILE 将覆盖此设置。

有关使用 Web 身份的更多信息,请参阅 通过 Web 身份代入角色

tcp_keepalive

指定 Amazon CLI 客户端是否使用 TCP keep-alive 数据包。

该条目没有等效的环境变量或命令行选项。

tcp_keepalive = false

S3 自定义命令设置

Amazon S3 支持多项配置 Amazon CLI 如何执行 Amazon S3 操作的设置。一些设置适用于 s3apis3 命名空间中的所有 S3 命令。其他的则专门用于抽象常见操作的 S3“自定义”命令,而不仅仅是对 API 操作的一对一映射。aws s3 传输命令 cpsyncmvrm 具有可用于控制 S3 传输的其他设置。

可以通过在 config 文件中指定 s3 嵌套设置来配置所有这些选项。每个设置在其自己的行上缩进。

注意

这些设置完全是可选的。即使不配置这些设置中的任何一个,您也应该能够成功使用 aws s3 传输命令。提供这些设置是为了让您能够调整性能或匹配运行这些 aws s3 命令的特定环境。

这些设置都在 config 文件中的顶层 s3 键下设置,如以下 development 配置文件示例所示。

[profile development] s3 = max_concurrent_requests = 20 max_queue_size = 10000 multipart_threshold = 64MB multipart_chunksize = 16MB max_bandwidth = 50MB/s use_accelerate_endpoint = true addressing_style = path

以下设置适用于 s3s3api 命名空间中的任何 S3 命令。

addressing_style

指定要使用的寻址样式。这将控制存储桶名称是位于主机名还是 URL 中。有效值包括 pathvirtualauto。默认值为 auto

构造 Amazon S3 终端节点的样式有两种。第一种称为 virtual,它将存储桶名称包含为主机名的一部分。例如:https://bucketname.s3.amazonaws.com。另一种为 path 样式,您将存储桶名称视为 URI 中的路径,例如 https://s3.amazonaws.com/bucketname。CLI 中的默认值是使用 auto,它尝试尽可能使用 virtual 样式,但在需要时回退到 path 样式。例如,如果您的存储桶名称与 DNS 不兼容,则存储桶名称不能是主机名的一部分,而必须位于路径中。使用 auto 时,CLI 将检测这种情况并自动切换到 path 样式。如果将寻址方式设置为 path,您必须确保在 Amazon CLI 中配置的 Amazon 区域与存储桶的区域匹配。

payload_signing_enabled

指定是否对 sigv4 负载进行 SHA256 签名。默认情况下,使用 HTTPS 时,将对流式上传(UploadPartPutObject)禁用该设置。默认情况下,对于流式上传(UploadPartPutObject),此设置为 false,但仅限存在 ContentMD5(默认生成)并且终端节点使用 HTTPS 时。

如果设置为 true,则 S3 请求接收 SHA256 校验和形式的额外内容验证(替您计算并包含在请求签名中)。如果设置为 false,则不计算校验和。禁用该设置可减少校验和计算产生的性能开销。

use_dualstack_endpoint

为所有 s3s3api 命令使用 Amazon S3 双 IPv4 / IPv6 终端节点。原定设置值为 False。该设置与 use_accelerate_endpoint 设置互斥。

如果设置为 true,Amazon CLI 会将所有 Amazon S3 请求定向到配置的区域的双 IPv4/IPv6 终端节点。

use_accelerate_endpoint

为所有 s3s3api 命令使用 Amazon S3 加速终端节点。原定设置值为 False。该设置与 use_dualstack_endpoint 设置互斥。

如果设置为 true,Amazon CLI 会将所有 Amazon S3 请求定向到 s3-accelerate.amazonaws.comS3 Accelerate 终端节点。要使用该终端节点,您必须让您的存储桶使用 S3 Accelerate。使用存储桶寻址的虚拟样式发送所有请求:my-bucket.s3-accelerate.amazonaws.com。不会将任何 ListBucketsCreateBucketDeleteBucket 请求发送到 S3 加速终端节点,因为该终端节点不支持这些操作。如果将任何 --endpoint-urlhttps://s3-accelerate.amazonaws.com 命令的 http://s3-accelerate.amazonaws.com 参数设置为 s3s3api,也可以设置该行为。

以下设置仅适用于 s3 命名空间命令集中的命令。

max_bandwidth

指定向 Amazon S3 上传数据和从其下载数据可使用的最大带宽。默认为无限制。

这限制了 S3 命令可用于向 Amazon S3 传输数据和从 Amazon S3 传输数据的最大带宽。该值仅适用于上传和下载;它不适用于复制或删除。值以每秒字节数表示。该值可以指定为:

  • 一个整数。例如,1048576 将最大带宽使用率设置为每秒 1 兆字节。

  • 一个整数,后跟速率后缀。可以使用以下格式指定速率后缀:KB/sMB/sGB/s。例如,300KB/s10MB/s

通常,我们建议您先尝试通过降低 max_concurrent_requests 来降低带宽使用率。如果这样做没有充分地将带宽使用率限制到所需速率,您可以使用 max_bandwidth 设置进一步限制带宽使用率。这是因为 max_concurrent_requests 控制当前运行的线程数。如果您先降低 max_bandwidth 但保持较高的 max_concurrent_requests 设置,则可能导致线程不得不进行不必要的等待。这可能造成过多的资源消耗和连接超时。

max_concurrent_requests

指定最大并发请求数。默认值是 10。

aws s3 传输命令是多线程的。在任意给定时间,都可以运行多个 Amazon S3 请求。例如,当您使用命令 aws s3 cp localdir s3://bucket/ --recursive 将文件上传到 S3 存储桶时,Amazon CLI 可以并行上传文件 localdir/file1localdir/file2localdir/file3。设置 max_concurrent_requests 指定可同时运行的最大传输操作数。

您可能由于以下原因而需要更改该值:

  • 减小该值 – 在某些环境中,默认的 10 个并发请求可能会占用过多的系统资源。这可能导致连接超时或系统响应速度变慢。减小该值可减少 S3 传输命令消耗的资源。但不利后果是 S3 传输可能需要更长时间才能完成。如果使用了限制带宽的工具,则可能需要减小该值。

  • 增大该值 – 在某些情况下,您可能希望 Amazon S3 传输根据需要使用尽可能多的网络带宽,以尽可能快地完成任务。在这种情况下,默认的并发请求数可能不足以使用所有可用的网络带宽。增大该值可缩短完成 Amazon S3 传输所需的时间。

max_queue_size

指定任务队列中的最大任务数。默认值是 1000。

Amazon CLI 在内部使用这样一种模型:将 Amazon S3 任务排队,然后由数量受 max_concurrent_requests 限制的使用者执行。任务通常映射到单个 Amazon S3 操作。例如,任务可以是 PutObjectTaskGetObjectTaskUploadPartTask。任务添加到队列的速度可能比使用者完成任务的速度快得多。为避免无限制增长,任务队列大小设置了特定大小的上限。该设置用于更改该最大数量的值。

您通常不需要更改该设置。该设置还对应于 Amazon CLI 知道需要运行的任务数。这意味着,原定设置情况下 Amazon CLI 只能查看前 1000 个任务。增大该值意味着 Amazon CLI 可更快得知所需任务的总数(假设排队速度快于任务完成速度)。但不利后果是更大的 max_queue_size 需要更多的内存。

multipart_chunksize

指定 Amazon CLI 用于单个文件的分段传输的块大小。原定设置值为 8 MB,最少为 5 MB。

当文件传输超出 multipart_threshold 时,Amazon CLI 将文件分成该大小的块。可以使用与 multipart_threshold 相同的语法指定该值,即整数形式的字节数,或使用大小和后缀。

multipart_threshold

指定 Amazon CLI 用于单个文件的分段传输的大小阈值。原定设置值为 8 MB。

上传、下载或复制文件时,如果文件超出该大小,Amazon S3 命令将切换到分段操作。您可以通过以下两种方式之一指定该值:

  • 文件大小(以字节为单位)。例如,1048576

  • 文件大小及大小后缀。您可以使用 KBMBGBTB。例如,10MB1GB

    注意

    S3 可能会对可用于分段操作的有效值施加约束。有关更多信息,请参阅 Amazon Simple Storage Service 用户指南中的 S3 分段上传文档