本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。
# 使用将日志数据导出到 Amazon S3 Amazon CLI
在以下示例中，您使用导出任务将名为的 CloudWatch 日志日志组中的所有数据导出`my-log-group`到名为的 Amazon S3 存储桶`amzn-s3-demo-bucket`。此示例假定您已创建了一个名为 `my-log-group` 的日志组。
支持将日志数据导出到由 Amazon KMS 加密的 S3 存储桶。不支持导出到由 DSSE-KMS 加密的存储桶。
有关如何设置导出的详细信息取决于您要导出到的 Amazon S3 存储桶与要导出的日志是位于同一个账户中，还是不同的账户中。
**Topics**
+ [同账户导出 (CLI)](#ExportSingleAccount-CLI)
+ [跨账户导出 (CLI)](#ExportCrossAccount-CLI)
## 同账户导出 (CLI)
如果 Amazon S3 存储桶与要导出的日志位于同一个账户中，请参阅本节中的说明。
**Topics**
+ [创建 S3 存储桶 (CLI)](#CreateS3Bucket)
+ [设置访问权限 (CLI)](#CreateIAMUser-With-S3-Access-CLI)
+ [在 S3 存储桶上设置权限 (CLI)](#S3Permissions)
+ [（可选）将使用 SSE-KMS (CLI) 加密的 Amazon S3 存储桶导出到目标](#S3-Export-KMSEncrypted-CLI)
+ [创建导出任务 (CLI)](#CreateExportTask)
### 创建 S3 存储桶 (CLI)
我们建议您使用专为 Logs 创建的存储 CloudWatch 桶。但是，如果您想使用现有的存储桶，则可以跳过此过程。
**注意**
S3 桶必须与要导出的日志数据位于同一区域。 CloudWatch 日志不支持将数据导出到其他区域的 S3 存储桶。
**要创建 S3 存储桶，请使用 Amazon CLI**
在命令提示符处，运行以下 [create-bucket](https://docs.amazonaws.cn/cli/latest/reference/s3api/create-bucket.html) 命令，其中 `LocationConstraint` 是您要将日志数据导出到的区域。
```
aws s3api create-bucket --bucket {{amzn-s3-demo-bucket}} --create-bucket-configuration LocationConstraint={{us-east-2}}
```
下面是示例输出。
```
{
"Location": "/{{amzn-s3-demo-bucket}}"
}
```
### 设置访问权限 (CLI)
要稍后创建导出任务，您需要使用 `AmazonS3ReadOnlyAccess` IAM 角色和以下权限登录：
+ `logs:CreateExportTask`
+ `logs:CancelExportTask`
+ `logs:DescribeExportTasks`
+ `logs:DescribeLogStreams`
+ `logs:DescribeLogGroups`
要提供访问权限，请为您的用户、组或角色添加权限：
+ 通过身份提供者在 IAM 中托管的用户：
创建适用于身份联合验证的角色。按照《IAM 用户指南》**中[针对第三方身份提供者创建角色（联合身份验证）](https://docs.amazonaws.cn//IAM/latest/UserGuide/id_roles_create_for-idp.html)的说明进行操作。
+ IAM 用户：
+ 创建您的用户可以担任的角色。按照《IAM 用户指南》**中[为 IAM 用户创建角色](https://docs.amazonaws.cn//IAM/latest/UserGuide/id_roles_create_for-user.html)的说明进行操作。
+ （不推荐使用）将策略直接附加到用户或将用户添加到用户组。按照《IAM 用户指南》**中[向用户添加权限（控制台）](https://docs.amazonaws.cn//IAM/latest/UserGuide/id_users_change-permissions.html#users_change_permissions-add-console)中的说明进行操作。
### 在 S3 存储桶上设置权限 (CLI)
默认情况下，所有 S3 桶和对象都是私有的。仅资源所有者（创建了存储桶的账户）能够访问存储桶及其包含的任何对象。不过，资源所有者可以选择通过编写访问策略来向其他资源和用户授予访问权限。
**重要**
为了使导出到 S3 桶更加安全，我们现在要求您指定允许将日志数据导出到 S3 桶的源账户列表。
在以下示例中，`aws:SourceAccount`密钥 IDs 中的账户列表将是用户可以从中将日志数据导出到您的 S3 存储桶的账户。`aws:SourceArn` 密钥是正在进行的操作的资源。如本示例所示，您可以将其限制为特定的日志组，也可以使用通配符。
建议您还包括创建 S3 桶的账户的账户 ID，以允许在同一账户内导出。
**在 S3 桶上设置权限**
1. 创建一个名为 `policy.json` 的文件并添加以下访问策略，将 `amzn-s3-demo-bucket` 更改为您的 S3 存储桶的名称，并将 `Principal` 更改为您要将日志数据导出到的区域的端点，例如 `us-east-1`。使用文本编辑器以创建此策略文件。请勿使用 IAM 控制台。
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "AllowGetBucketAcl",
"Action": "s3:GetBucketAcl",
"Effect": "Allow",
"Resource": "arn:aws:s3:::{{amzn-s3-demo-bucket}}",
"Principal": { "Service": "logs.{{us-east-1}}.amazonaws.com" },
"Condition": {
"StringEquals": {
"aws:SourceAccount": [
"{{123456789012}}",
"{{111122223333}}"
]
},
"ArnLike": {
"aws:SourceArn": [
"arn:aws:logs:{{us-east-1}}:{{123456789012}}:log-group:*",
"arn:aws:logs:{{us-east-1}}:{{111122223333}}:log-group:*"
]
}
}
},
{
"Sid": "AllowPutObject",
"Action": "s3:PutObject",
"Effect": "Allow",
"Resource": "arn:aws:s3:::{{amzn-s3-demo-bucket}}/*",
"Principal": { "Service": "logs.{{us-east-1}}.amazonaws.com" },
"Condition": {
"StringEquals": {
"s3:x-amz-acl": "bucket-owner-full-control",
"aws:SourceAccount": [
"{{123456789012}}",
"{{111122223333}}"
]
},
"ArnLike": {
"aws:SourceArn": [
"arn:aws:logs:{{us-east-1}}:{{123456789012}}:log-group:*",
"arn:aws:logs:{{us-east-1}}:{{111122223333}}:log-group:*"
]
}
}
}
]
}
```
------
1. 使用[put-bucket-policy](https://docs.amazonaws.cn/cli/latest/reference/s3api/put-bucket-policy.html)命令将您刚刚添加的策略设置为存储桶的访问策略。此策略允许 CloudWatch 日志将日志数据导出到您的 S3 存储桶。存储桶拥有者将对所有导出的对象拥有完全权限。
```
aws s3api put-bucket-policy --bucket amzn-s3-demo-bucket --policy file://policy.json
```
**警告**
如果现有存储桶已附加了一个或多个策略，请添加该策略的 CloudWatch 日志访问权限声明。我们建议您评估生成的权限集，确保它们适合访问存储桶的用户。
### （可选）将使用 SSE-KMS (CLI) 加密的 Amazon S3 存储桶导出到目标
仅当您要导出到使用服务器端加密的 S3 存储桶时，才需要执行此过程。 Amazon KMS keys这种加密称为 SSE-KMS。
**导出到使用 SSE-KMS 加密的桶**
1. 使用文本编辑器创建名为 `key_policy.json` 的文件，并添加以下访问策略。添加策略时，进行以下更改：
+ {{Region}}替换为日志所在区域。
+ {{account-ARN}}替换为拥有 KMS 密钥的账户的 ARN。
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "Allow CWL Service Principal usage",
"Effect": "Allow",
"Principal": {
"Service": "logs.{{Region}}.amazonaws.com"
},
"Action": [
"kms:GenerateDataKey",
"kms:Decrypt"
],
"Resource": "*"
},
{
"Sid": "Enable IAM User Permissions",
"Effect": "Allow",
"Principal": {
"AWS": "{{account-ARN}}"
},
"Action": [
"kms:GetKeyPolicy*",
"kms:PutKeyPolicy*",
"kms:DescribeKey*",
"kms:CreateAlias*",
"kms:ScheduleKeyDeletion*",
"kms:Decrypt"
],
"Resource": "*"
}
]
}
```
------
1. 输入以下命令：
```
aws kms create-key --policy file://key_policy.json
```
下面是此命令的示例输出：
```
{
"KeyMetadata": {
"AWSAccountId": "{{account_id}}",
"KeyId": "{{key_id}}",
"Arn": "arn:aws:kms:us-east-2:{{account-ARN}}:key/{{key_id}}",
"CreationDate": "{{time}}",
"Enabled": true,
"Description": "",
"KeyUsage": "ENCRYPT_DECRYPT",
"KeyState": "Enabled",
"Origin": "AWS_KMS",
"KeyManager": "CUSTOMER",
"CustomerMasterKeySpec": "SYMMETRIC_DEFAULT",
"KeySpec": "SYMMETRIC_DEFAULT",
"EncryptionAlgorithms": [
"SYMMETRIC_DEFAULT"
],
"MultiRegion": false
}
```
1. 使用文本编辑器创建名为 `bucketencryption.json` 的文件，其中包含以下内容。
```
{
"Rules": [
{
"ApplyServerSideEncryptionByDefault": {
"SSEAlgorithm": "aws:kms",
"KMSMasterKeyID": "{KMS Key ARN}"
},
"BucketKeyEnabled": true
}
]
}
```
1. 输入以下命令，{{amzn-s3-demo-bucket}}替换为要将日志导出到的存储桶的名称。
```
aws s3api put-bucket-encryption --bucket {{amzn-s3-demo-bucket}} --server-side-encryption-configuration file://bucketencryption.json
```
如果该命令没有返回错误，则该过程成功。
### 创建导出任务 (CLI)
使用以下命令创建导出任务。创建后，导出任务可能需要几秒到几小时的时间才能完成，具体取决于要导出的数据大小。
**要使用将数据导出到 Amazon S3 Amazon CLI**
1. 如 [设置访问权限 (CLI)](#CreateIAMUser-With-S3-Access-CLI) 中所述，使用足够的权限登录。
1. 在命令提示符处，使用以下[create-export-task](https://docs.amazonaws.cn/cli/latest/reference/logs/create-export-task.html)命令创建导出任务。
```
aws logs create-export-task --profile CWLExportUser --task-name "{{my-log-group-09-10-2015}}" --log-group-name "{{my-log-group}}" --from {{1441490400000}} --to {{1441494000000}} --destination "{{amzn-s3-demo-bucket}}" --destination-prefix "{{export-task-output}}"
```
下面是示例输出。
```
{
"taskId": "{{cda45419-90ea-4db5-9833-aade86253e66}}"
}
```
## 跨账户导出 (CLI)
如果 Amazon S3 存储桶与要导出的日志位于不同账户中，请参阅本节中的说明。
**Topics**
+ [创建用于跨账户导出的 S3 存储桶 (CLI)](#CreateS3Bucket-CLI-crossaccount)
+ [设置跨账户导出 (CLI) 的访问权限](#CreateIAMUser-With-S3-Access-CLI-crossaccount)
+ [在 S3 存储桶上设置跨账户导出权限 (CLI)](#S3Permissions-CLI-crossaccount)
+ [（可选）导出到目标使用 SSE-KMS 加密的 Amazon S3 存储桶进行跨账户导出 (CLI)](#S3-Export-KMSEncrypted-CLI-crossaccount)
+ [为跨账户导出 (CLI) 创建导出任务](#CreateExportTask-CLI-crossaccount)
### 创建用于跨账户导出的 S3 存储桶 (CLI)
我们建议您使用专为 Logs 创建的存储 CloudWatch 桶。但是，如果要使用现有存储桶，请跳至第 2 步。
**注意**
S3 桶必须与要导出的日志数据位于同一区域。 CloudWatch 日志不支持将数据导出到其他区域的 S3 存储桶。
**要创建 S3 存储桶，请使用 Amazon CLI**
在命令提示符处，运行以下 [create-bucket](https://docs.amazonaws.cn/cli/latest/reference/s3api/create-bucket.html) 命令，其中 `LocationConstraint` 是您要将日志数据导出到的区域。
```
aws s3api create-bucket --bucket {{amzn-s3-demo-bucket}} --create-bucket-configuration LocationConstraint={{us-east-2}}
```
下面是示例输出。
```
{
"Location": "/{{amzn-s3-demo-bucket}}"
}
```
### 设置跨账户导出 (CLI) 的访问权限
首先，您必须创建新的 IAM 策略，以使 CloudWatch Logs 能够在目标账户中对目标 Amazon S3 存储桶`s3:PutObject`执行操作。
除了`s3:PutObject`操作外，策略中包含的其他操作还取决于目标存储桶是使用 Amazon KMS 加密还是已使用 [S3 对象所有权](https://docs.amazonaws.cn/AmazonS3/latest/userguide/about-object-ownership.html)设置 ACLs启用。
+ 如果使用 KMS 加密，请为密钥资源添加 `kms:GenerateDataKey` 和 `kms:Decrypt` 操作
+ 如果 ACLs 在存储桶上启用，请为存储桶资源添加`s3:PutObjectAcl`操作
在以下策略中更改`amzn-s3-demo-bucket`目标 S3 存储桶的名称。
您创建的策略取决于目标存储桶是否使用 Amazon KMS 加密。如果它不使用 Amazon KMS 加密，请创建包含以下内容的策略。
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": "s3:PutObject",
"Resource": "arn:aws:s3:::{{amzn-s3-demo-bucket}}/*"
}
]
}
```
------
如果目标存储桶使用 Amazon KMS 加密，请创建包含以下内容的策略。
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [{
"Effect": "Allow",
"Action": "s3:PutObject",
"Resource": "arn:aws:s3:::{{amzn-s3-demo-bucket}}/*"
},
{
"Effect": "Allow",
"Action": [
"kms:GenerateDataKey",
"kms:Decrypt"
],
"Resource": "arn:aws:kms:{{us-east-1}}:{{123456789012}}:key/{{1234abcd-12ab-34cd-56ef-1234567890ab}}"
}
]
}
```
------
如果 ACLs 在目标存储桶上启用了，则在上述策略中PutObjectAcl将 s3: 添加到 s3: PutObject 操作块。
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"s3:PutObject",
"s3:PutObjectAcl"
],
"Resource": "arn:aws:s3:::{{amzn-s3-demo-bucket}}/*"
}
]
}
```
------
要创建导出任务，您必须使用附加了`AmazonS3ReadOnlyAccess`托管策略、上面创建的 IAM 策略的 IAM 角色以及以下权限登录：
+ `logs:CreateExportTask`
+ `logs:CancelExportTask`
+ `logs:DescribeExportTasks`
+ `logs:DescribeLogStreams`
+ `logs:DescribeLogGroups`
要提供访问权限，请为您的用户、组或角色添加权限：
+ 通过身份提供者在 IAM 中托管的用户：
创建适用于身份联合验证的角色。按照《IAM 用户指南》**中[针对第三方身份提供者创建角色（联合身份验证）](https://docs.amazonaws.cn//IAM/latest/UserGuide/id_roles_create_for-idp.html)的说明进行操作。
+ IAM 用户：
+ 创建您的用户可以担任的角色。按照《IAM 用户指南》**中[为 IAM 用户创建角色](https://docs.amazonaws.cn//IAM/latest/UserGuide/id_roles_create_for-user.html)的说明进行操作。
+ （不推荐使用）将策略直接附加到用户或将用户添加到用户组。按照《IAM 用户指南》**中[向用户添加权限（控制台）](https://docs.amazonaws.cn//IAM/latest/UserGuide/id_users_change-permissions.html#users_change_permissions-add-console)中的说明进行操作。
### 在 S3 存储桶上设置跨账户导出权限 (CLI)
默认情况下，所有 S3 桶和对象都是私有的。仅资源所有者（创建了存储桶的账户）能够访问存储桶及其包含的任何对象。不过，资源所有者可以选择通过编写访问策略来向其他资源和用户授予访问权限。
**重要**
为了使导出到 S3 桶更加安全，我们现在要求您指定允许将日志数据导出到 S3 桶的源账户列表。
在以下示例中，`aws:SourceAccount`密钥 IDs 中的账户列表将是用户可以从中将日志数据导出到您的 S3 存储桶的账户。`aws:SourceArn` 密钥是正在进行的操作的资源。如本示例所示，您可以将其限制为特定的日志组，也可以使用通配符。
建议您还包括创建 S3 桶的账户的账户 ID，以允许在同一账户内导出。
**在 S3 桶上设置权限**
1. 创建名为的文件，`policy.json`并将以下访问策略（更改`amzn-s3-demo-bucket`为目标 S3 存储桶的名称）添加到`Principal`要导出日志数据的区域的终端节点，例如`us-west-1`。使用文本编辑器以创建此策略文件。请勿使用 IAM 控制台。
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Action": "s3:GetBucketAcl",
"Effect": "Allow",
"Resource": "arn:aws:s3:::{{amzn-s3-demo-bucket}}",
"Principal": { "Service": "logs.{{us-east-1}}.amazonaws.com" },
"Condition": {
"StringEquals": {
"aws:SourceAccount": [
"{{123456789012}}",
"{{111122223333}}"
]
},
"ArnLike": {
"aws:SourceArn": [
"arn:aws:logs:{{us-east-1}}:{{123456789012}}:log-group:*",
"arn:aws:logs:{{us-east-1}}:{{111122223333}}:log-group:*"
]
}
}
},
{
"Action": "s3:PutObject" ,
"Effect": "Allow",
"Resource": "arn:aws:s3:::{{amzn-s3-demo-bucket}}/*",
"Principal": { "Service": "logs.{{us-east-1}}.amazonaws.com" },
"Condition": {
"StringEquals": {
"s3:x-amz-acl": "bucket-owner-full-control",
"aws:SourceAccount": [
"{{123456789012}}",
"{{111122223333}}"
]
},
"ArnLike": {
"aws:SourceArn": [
"arn:aws:logs:{{us-east-1}}:{{123456789012}}:log-group:*",
"arn:aws:logs:{{us-east-1}}:{{111122223333}}:log-group:*"
]
}
}
},
{
"Effect": "Allow",
"Principal": {
"AWS": "arn:aws:iam::{{111122223333}}:role/{{role_name}}"
},
"Action": "s3:PutObject",
"Resource": "arn:aws:s3:::>amzn-s3-demo-bucket/*",
"Condition": {
"StringEquals": {
"s3:x-amz-acl": "bucket-owner-full-control"
}
}
}
]
}
```
------
1. 使用[put-bucket-policy](https://docs.amazonaws.cn/cli/latest/reference/s3api/put-bucket-policy.html)命令将您刚刚添加的策略设置为存储桶的访问策略。此策略允许 CloudWatch 日志将日志数据导出到您的 S3 存储桶。存储桶拥有者将对所有导出的对象拥有完全权限。
```
aws s3api put-bucket-policy --bucket amzn-s3-demo-bucket --policy file://policy.json
```
**警告**
如果现有存储桶已附加了一个或多个策略，请添加该策略的 CloudWatch 日志访问权限声明。我们建议您评估生成的权限集，确保它们适合访问存储桶的用户。
### （可选）导出到目标使用 SSE-KMS 加密的 Amazon S3 存储桶进行跨账户导出 (CLI)
仅当您要导出到使用服务器端加密的 S3 存储桶时，才需要执行此过程。 Amazon KMS keys这种加密称为 SSE-KMS。
**导出到使用 SSE-KMS 加密的桶**
1. 使用文本编辑器创建名为 `key_policy.json` 的文件，并添加以下访问策略。添加策略时，进行以下更改：
+ {{us-east-1}}替换为日志所在区域。
+ {{account-ARN}}替换为拥有 KMS 密钥的账户的 ARN。
+ {{123456789012}}替换为拥有 KMS 密钥的账号。
+ {{key\_id}}使用 kms-key ID。
+ {{role\_name}}使用用于创建导出任务的角色。
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "AllowCWLServicePrincipalUsage",
"Effect": "Allow",
"Principal": {
"Service": "logs.{{us-east-1}}.amazonaws.com"
},
"Action": [
"kms:GenerateDataKey",
"kms:Decrypt"
],
"Resource": "*"
},
{
"Sid": "EnableIAMUserPermissions",
"Effect": "Allow",
"Principal": {
"AWS": "{{account-ARN}}"
},
"Action": [
"kms:GetKeyPolicy*",
"kms:PutKeyPolicy*",
"kms:DescribeKey*",
"kms:CreateAlias*",
"kms:ScheduleKeyDeletion*",
"kms:Decrypt"
],
"Resource": "*"
},
{
"Sid": "EnableIAMRolePermissions",
"Effect": "Allow",
"Principal": {
"AWS": "arn:aws:iam::{{111122223333}}:role/{{role_name}}"
},
"Action": [
"kms:GenerateDataKey",
"kms:Decrypt"
],
"Resource": "arn:aws:kms:{{us-east-1}}:{{123456789012}}:key/{{1234abcd-12ab-34cd-56ef-1234567890ab}}"
}
]
}
```
------
1. 输入以下命令：
```
aws kms create-key --policy file://key_policy.json
```
下面是此命令的示例输出：
```
{
"KeyMetadata": {
"AWSAccountId": "{{account_id}}",
"KeyId": "{{key_id}}",
"Arn": "arn:aws:kms:us-east-1:{{123456789012}}:key/{{key_id}}",
"CreationDate": "{{time}}",
"Enabled": true,
"Description": "",
"KeyUsage": "ENCRYPT_DECRYPT",
"KeyState": "Enabled",
"Origin": "AWS_KMS",
"KeyManager": "CUSTOMER",
"CustomerMasterKeySpec": "SYMMETRIC_DEFAULT",
"KeySpec": "SYMMETRIC_DEFAULT",
"EncryptionAlgorithms": [
"SYMMETRIC_DEFAULT"
],
"MultiRegion": false
}
```
1. 使用文本编辑器创建名为 `bucketencryption.json` 的文件，其中包含以下内容。
```
{
"Rules": [
{
"ApplyServerSideEncryptionByDefault": {
"SSEAlgorithm": "aws:kms",
"KMSMasterKeyID": "{KMS Key ARN}"
},
"BucketKeyEnabled": true
}
]
}
```
1. 输入以下命令，{{amzn-s3-demo-bucket}}替换为要将日志导出到的存储桶的名称。
```
aws s3api put-bucket-encryption --bucket {{amzn-s3-demo-bucket}} --server-side-encryption-configuration file://bucketencryption.json
```
如果该命令没有返回错误，则该过程成功。
### 为跨账户导出 (CLI) 创建导出任务
使用以下命令创建导出任务。创建后，导出任务可能需要几秒到几小时的时间才能完成，具体取决于要导出的数据大小。
**要使用将数据导出到 Amazon S3 Amazon CLI**
1. 如 [设置访问权限 (CLI)](#CreateIAMUser-With-S3-Access-CLI) 中所述，使用足够的权限登录。
1. 在命令提示符处，使用以下[create-export-task](https://docs.amazonaws.cn/cli/latest/reference/logs/create-export-task.html)命令创建导出任务。
```
aws logs create-export-task --profile CWLExportUser --task-name "{{my-log-group-09-10-2015}}" --log-group-name "{{my-log-group}}" --from {{1441490400000}} --to {{1441494000000}} --destination "{{amzn-s3-demo-bucket}}" --destination-prefix "{{export-task-output}}"
```
下面是示例输出。
```
{
"taskId": "{{cda45419-90ea-4db5-9833-aade86253e66}}"
}
```