Amazon Redshift
集群管理指南 (API 版本 2012-12-01)
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 Amazon AWS 入门

数据库审计日志记录

概览

Amazon Redshift 记录您的数据库中的连接和用户活动相关信息。这些日志有助于您监控数据库以确保安全并进行故障排除,该流程通常称为数据库审计。这些日志存储在 Amazon Simple Storage Service (Amazon S3) 存储桶中,使负责监控数据库中活动的用户可以很方便地访问数据安全功能。

Amazon Redshift 日志

Amazon Redshift 在下列日志文件中记录信息:

  • 连接日志 – 记录身份验证尝试以及连接与断开连接。—

  • 用户日志 – 记录与数据库用户定义更改相关的信息。—

  • 用户活动日志 – 记录在数据库中运行之前的每个查询。—

连接日志和用户日志主要用于实现安全性。您可以使用连接日志来监控连接到数据库的用户相关信息以及相关的连接信息,如用户的 IP 地址、发出请求的时间以及使用的身份验证类型等。您可以使用用户日志来监控数据库用户定义更改。

用户活动日志主要用于进行故障排除。它会跟踪用户及系统在数据库中执行的查询类型的相关信息。

连接日志和用户日志均对应于数据库的系统表中存储的信息。您可以使用系统表获取相同的信息,但日志文件这种机制更易于检索和查看。日志文件依赖 Amazon S3 权限(而非数据库权限)针对表执行查询。此外,通过查看日志文件中的信息(而非查询系统表),您可以减少与数据库互动产生的任何影响。

注意

日志文件没有基本系统日志表 STL_USERLOGSTL_CONNECTION_LOG 那么新。早于 (但不包括) 最新记录的记录将被复制到日志文件。

连接日志

记录身份验证尝试以及连接与断开连接。下表介绍了连接日志中的信息。

列名称 描述
事件 连接或身份验证事件。
recordtime 事件发生的时间。
remotehost 远程主机的名称或 IP 地址。
remoteport 远程主机的端口号。
pid 与语句关联的进程 ID。
dbname 数据库名称。
username 用户名。
authmethod 身份验证方法。
duration 连接的持续时间(单位为微秒)。
sslversion 安全套接字层 (SSL) 版本。
sslcipher SSL 密码。
mtu 最大传输单元 (MTU)。
sslcompression SSL 压缩类型。
sslexpansion SSL 扩展类型。

用户日志

记录数据库用户的以下更改的详细信息。

  • 创建用户

  • 删除用户

  • 更改用户(重命名)

  • 更改用户(更改属性)

列名称 描述
userid 受更改影响的用户的 ID。
username 受更改影响的用户的用户名称。
oldusername 对于重命名操作,这指的是原始用户名称。对于任何其他操作,此字段为空。
操作 发生的操作。有效值:
  • 更改

  • 创建

  • 删除

  • 重命名

usecreatedb 如果为 true (1),则表示用户具有创建数据库的权限。
usesuper 如果为 true (1),则表示用户为超级用户。
usecatupd 如果为 true (1),则表示用户可更新系统目录。
valuntil 密码到期日期。
pid 进程 ID。
xid 事务 ID。
recordtime 查询开始的时间(采用 UTC 表示)。

用户活动日志

记录在数据库中运行之前的每个查询。

列名称 描述
recordtime 事件发生的时间。
db 数据库名称。
用户 用户名。
pid 与语句关联的进程 ID。
userid 用户 ID。
xid 事务 ID。
query 日志前缀:后跟查询的文字,包括换行符。

启用日志记录

在 Amazon Redshift 中,审计日志记录在默认情况下未启用。当您针对集群启用日志记录时,Amazon Redshift 会创建日志并将其上传到 Amazon S3 中,以捕获从集群创建起到当前的数据。每个日志记录更新是已记录信息的延续。

注意

在 Amazon S3 中存储审计日志记录是一个可选的手动流程。当您针对集群启用日志记录时,则是将相应日志仅存储到 Amazon S3 中。记录到数据表则并非可选流程,系统针对集群自动执行该流程。有关记录到数据表的更多信息,请参阅 Amazon Redshift Database Developer Guide 中的系统表参考

您可以通过使用 AWS 管理控制台、Amazon Redshift API 参考或 AWS Command Line Interface (AWS CLI) 一起启用连接日志、用户日志以及用户活动日志。对于用户活动日志,您还必须启用 enable_user_activity_logging 数据库参数。如果您仅启用审计日志记录功能,但不启用相关参数,则数据库审计日志将仅为连接日志和用户日志记录信息,而不为用户活动日志记录信息。enable_user_activity_logging 参数默认处于禁用状态 (false),但您可以将其设置为 true 以启用用户活动日志。有关更多信息,请参阅Amazon Redshift 参数组

管理日志文件

Amazon S3 中的 Amazon Redshift 日志文件的数量和大小在很大程度上取决于您集群中的活动。如果您有一个活动的集群生成了大量日志,则 Amazon Redshift 可能会更频繁地生成日志文件。对于同一类活动,您可能有一系列日志文件,例如同一个小时有多个连接日志。

由于 Amazon Redshift 使用 Amazon S3 来存储日志,因此您需要为在 Amazon S3 中使用的存储支付相应费用。在配置日志记录之前,您应计划需存储日志文件多长时间,并确定何时可根据审计需求删除这些日志文件或将其存档。您制定的计划在很大程度上取决于您存储的数据类型,例如需满足合规性或法规要求的数据。有关 Amazon S3 定价的更多信息,请转到 Amazon Simple Storage Service (S3) 定价

Amazon Redshift 审计日志记录的存储桶权限

当您启用日志记录时,Amazon Redshift 会收集日志记录信息并将其上传到 Amazon S3 中存储的日志文件。您可以使用现有存储桶,也可以新建一个。Amazon Redshift 要求对存储桶具备以下 IAM 权限:

  • s3:GetBucketAcl:该服务要求对 Amazon S3 存储桶具备读取权限,以便可以识别存储桶拥有者。

  • s3:PutObject:该服务要求具备放置对象权限,以便上传日志。每次上传日志时,该服务就会确定当前存储桶拥有者与启用日志记录时的存储桶拥有者是否一致。如果不一致,则日志记录仍处于启用状态,但在您选择其他存储桶之前,该服务不会上传任何日志文件。

如果您想要使用新的存储桶,并且 Amazon Redshift 在配置过程中为您创建了该存储桶,则该存储桶将应用相应权限。不过,如果您在 Amazon S3 中创建自己的存储桶或使用现有存储桶,则需要添加存储桶策略,其中包含存储桶名称以及与下表中您所在区域对应的 Amazon Redshift 账户 ID:

区域名称 区域 账户 ID
美国东部(弗吉尼亚北部)地区 us-east-1 193672423079
美国东部(俄亥俄)区域 us-east-2 391106570357
美国西部(加利福利亚北部)区域 us-west-1 262260360010
美国西部(俄勒冈)区域 us-west-2 902366379725
亚太地区(孟买)区域 ap-south-1 865932855811
亚太区域(首尔) ap-northeast-2 760740231472
亚太区域(新加坡) ap-southeast-1 361669875840
亚太区域(悉尼) ap-southeast-2 762762565011
亚太区域(东京) ap-northeast-1 404641285394
中国 (宁夏) 区域 cn-northwest-1 660998842044
加拿大 (中部) 区域 ca-central-1 907379612154
中国(北京)区域 cn-north-1 111890595117
欧洲(法兰克福)区域 eu-central-1 053454850223
欧洲(爱尔兰)区域 eu-west-1 210876761215
欧洲 (伦敦) 区域 eu-west-2 307160386991
欧洲 (巴黎) 区域 eu-west-3 915173422425
南美洲(圣保罗)区域 sa-east-1 075028567923

注意

中国(北京) 区域的 ARN 格式使用 aws-cn 标识符,而不是 aws 标识符,如以下策略示例所示:

{ "Version": "2012-10-17", "Statement": [ { "Sid": "Put bucket policy needed for audit logging", "Effect": "Allow", "Principal": { "AWS": "arn:aws-cn:iam::111890595117:user/logs" }, "Action": "s3:PutObject", "Resource": "arn:aws-cn:s3:::AuditLogs/*" }, { "Sid": "Get bucket policy needed for audit logging ", "Effect": "Allow", "Principal": { "AWS": "arn:aws-cn:iam::111890595117:user/logs" }, "Action": "s3:GetBucketAcl", "Resource": "arn:aws-cn:s3:::AuditLogs" } ] }

该存储桶策略使用以下格式,其中 BucketNameAccountId 是占位符,请将其替换为您自己的值:

{ "Version": "2012-10-17", "Statement": [ { "Sid": "Put bucket policy needed for audit logging", "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::AccountId:user/logs" }, "Action": "s3:PutObject", "Resource": "arn:aws:s3:::BucketName/*" }, { "Sid": "Get bucket policy needed for audit logging ", "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::AccountID:user/logs" }, "Action": "s3:GetBucketAcl", "Resource": "arn:aws:s3:::BucketName" } ] }

以下示例就是针对 美国东部(弗吉尼亚北部)地区 的存储桶策略,该存储桶名为 AuditLogs。

{ "Version": "2012-10-17", "Statement": [ { "Sid": "Put bucket policy needed for audit logging", "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::193672423079:user/logs" }, "Action": "s3:PutObject", "Resource": "arn:aws:s3:::AuditLogs/*" }, { "Sid": "Get bucket policy needed for audit logging ", "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::193672423079:user/logs" }, "Action": "s3:GetBucketAcl", "Resource": "arn:aws:s3:::AuditLogs" } ] }

有关创建 Amazon S3 存储桶以及添加存储桶策略的更多信息,请转到 Amazon Simple Storage Service 控制台用户指南 中的创建存储桶编辑存储桶权限

Amazon Redshift 审计日志记录的存储桶结构

默认情况下,Amazon Redshift 通过使用下列存储桶和对象结构在 Amazon S3 存储桶中整理日志文件:AWSLogs/AccountID/ServiceName/Region/Year/Month/Day/AccountID_ServiceName_Region_ClusterName_LogType_Timestamp.gz

例如:AWSLogs/123456789012/redshift/us-east-1/2013/10/29/123456789012_redshift_us-east-1_mycluster_userlog_2013-10-29T18:01.gz

如果您提供 Amazon S3 密钥前缀,则该前缀放在密钥开头。

例如,如果指定前缀 myprefix:myprefix/AWSLogs/123456789012/redshift/us-east-1/2013/10/29/123456789012_redshift_us-east-1_mycluster_userlog_2013-10-29T18:01.gz

Amazon S3 密钥前缀不得超过 512 个字符,其中不得包含空格 ( )、双引号 (“)、单引号 (‘)、反斜杠 (\)。此外还有很多不得使用的特殊字符和控制字符。这些字符的十六进制代码如下:

  • x00 – x20

  • x 22

  • x 27

  • x5c

  • x7f 或更大

Amazon Redshift 审计日志记录故障排除

Amazon Redshift 审计日志记录可能会因如下原因而中断:

  • Amazon Redshift 无权将日志上传到 Amazon S3 存储桶中。验证相应存储桶是否配置了适当的 IAM 策略。有关更多信息,请参阅Amazon Redshift 审计日志记录的存储桶权限

  • 存储桶拥有者发生变化。当 Amazon Redshift 上传日志时,它会验证存储桶拥有者与启用日志记录时的存储桶拥有者是否相同。如果存储桶拥有者发生变化,则在您配置其他存储桶以用于审计日志记录之前,Amazon Redshift 不会上传日志。有关更多信息,请参阅修改审计日志记录的存储桶

  • 找不到存储桶。如果相应存储桶在 Amazon S3 中已被删除,则 Amazon Redshift 无法上传日志。您需要重新创建该存储桶,或对 Amazon Redshift 进行配置以将日志上传到其他存储桶。有关更多信息,请参阅修改审计日志记录的存储桶

使用 Amazon Redshift 记录 AWS CloudTrail7 API 调用

Amazon Redshift 已与 AWS CloudTrail 集成,后者是一种服务,在 AWS 中提供用户、角色或 Amazon Redshift 产品所采取操作的记录。CloudTrail 将对 Amazon Redshift 的所有 API 调用作为事件捕获,包括来自 Amazon Redshift 控制台的调用和对 Amazon Redshift API 的代码调用。如果您创建跟踪,则可以使 CloudTrail 事件持续交付到 Amazon S3 存储桶(包括 Amazon Redshift 的事件)。如果您不配置跟踪,则仍可在 CloudTrail 控制台的 Event history (事件历史记录) 中查看最新事件。通过使用 CloudTrail 收集的信息,您可以确定向 Amazon Redshift 发出了什么请求、发出请求的 IP 地址、何人发出的请求、请求的发出时间以及其他详细信息。

您可以将 CloudTrail 与 Amazon Redshift 数据库审核日志记录一起使用,也可以单独使用前者。

要了解有关 CloudTrail 的更多信息,请参阅 AWS CloudTrail User Guide

Amazon Redshift 中的 CloudTrail 信息

在您创建 CloudTrail 账户时,即针对该账户启用了 AWS。当 Amazon Redshift 中发生活动时,该活动将记录在 CloudTrail 事件中,并与其他 AWS 服务事件一同保存在 Event history (事件历史记录) 中。您可以在 AWS 账户中查看、搜索和下载最新事件。有关更多信息,请参阅使用 CloudTrail 事件历史记录查看事件

要持续记录 AWS 账户中的事件(包括 Amazon Redshift 的事件),请创建跟踪。通过跟踪,CloudTrail 可将日志文件传送至 Amazon S3 存储桶。默认情况下,在控制台中创建跟踪时,此跟踪应用于所有区域。此跟踪在 AWS 分区中记录所有区域中的事件,并将日志文件传送至您指定的 Amazon S3 存储桶。此外,您可以配置其他 AWS 服务,进一步分析在 CloudTrail 日志中收集的事件数据并采取操作。有关更多信息,请参阅:

所有 Amazon Redshift 操作由 CloudTrail 记录,并且在 Amazon Redshift API 参考中正式记载。例如,对 CreateClusterDeleteClusterDescribeCluster 操作的调用会在 CloudTrail 日志文件中生成条目。

每个事件或日志条目都包含有关生成请求的人员的信息。身份信息帮助您确定以下内容:

  • 请求是使用根用户凭证还是 IAM 用户凭证发出的。

  • 请求是使用角色还是联合身份用户的临时安全凭证发出的。

  • 请求是否由其他 AWS 服务发出。

有关更多信息,请参阅 CloudTrail userIdentity 元素

了解 Amazon Redshift 日志文件条目

跟踪是一种配置,可用于将事件作为日志文件传送到您指定的 Amazon S3 存储桶。CloudTrail 日志文件包含一个或多个日志条目。一个事件表示来自任何源的一个请求,包括有关所请求的操作、操作的日期和时间、请求参数等方面的信息。CloudTrail 日志文件不是公用 API 调用的有序堆栈跟踪,因此它们不会以任何特定顺序显示。

以下示例显示了示例 CreateCluster 调用的一个 CloudTrail 日志条目。

{ "eventVersion": "1.04", "userIdentity": { "type": "IAMUser", "principalId": "AIDAMVNPBQA3EXAMPLE", "arn": "arn:aws:iam::123456789012:user/Admin", "accountId": "123456789012", "accessKeyId": "AKIAIOSFODNN7EXAMPLE", "userName": "Admin", "sessionContext": { "attributes": { "mfaAuthenticated": "false", "creationDate": "2017-03-03T16:51:56Z" } }, "invokedBy": "signin.amazonaws.com" }, "eventTime": "2017-03-03T16:56:09Z", "eventSource": "redshift.amazonaws.com", "eventName": "CreateCluster", "awsRegion": "us-east-2", "sourceIPAddress": "52.95.4.13", "userAgent": "signin.amazonaws.com", "requestParameters": { "clusterIdentifier": "my-dw-instance", "allowVersionUpgrade": true, "enhancedVpcRouting": false, "encrypted": false, "clusterVersion": "1.0", "masterUsername": "awsuser", "masterUserPassword": "****", "automatedSnapshotRetentionPeriod": 1, "port": 5439, "dBName": "mydbtest", "clusterType": "single-node", "nodeType": "dc1.large", "publiclyAccessible": true, "vpcSecurityGroupIds": [ "sg-95f606fc" ] }, "responseElements": { "nodeType": "dc1.large", "preferredMaintenanceWindow": "sat:05:30-sat:06:00", "clusterStatus": "creating", "vpcId": "vpc-84c22aed", "enhancedVpcRouting": false, "masterUsername": "awsuser", "clusterSecurityGroups": [], "pendingModifiedValues": { "masterUserPassword": "****" }, "dBName": "mydbtest", "clusterVersion": "1.0", "encrypted": false, "publiclyAccessible": true, "tags": [], "clusterParameterGroups": [ { "parameterGroupName": "default.redshift-1.0", "parameterApplyStatus": "in-sync" } ], "allowVersionUpgrade": true, "automatedSnapshotRetentionPeriod": 1, "numberOfNodes": 1, "vpcSecurityGroups": [ { "status": "active", "vpcSecurityGroupId": "sg-95f606fc" } ], "iamRoles": [], "clusterIdentifier": "my-dw-instance", "clusterSubnetGroupName": "default" }, "requestID": "4c506036-0032-11e7-b8bf-d7aa466e9920", "eventID": "13ba5550-56ac-405b-900a-8a42b0f43c45", "eventType": "AwsApiCall", "recipientAccountId": "123456789012" }

以下示例显示了示例 DeleteCluster 调用的一个 CloudTrail 日志条目。

{ "eventVersion": "1.04", "userIdentity": { "type": "IAMUser", "principalId": "AIDAMVNPBQA3EXAMPLE", "arn": "arn:aws:iam::123456789012:user/Admin", "accountId": "123456789012", "accessKeyId": "AKIAIOSFODNN7EXAMPLE", "userName": "Admin", "sessionContext": { "attributes": { "mfaAuthenticated": "false", "creationDate": "2017-03-03T16:58:23Z" } }, "invokedBy": "signin.amazonaws.com" }, "eventTime": "2017-03-03T17:02:34Z", "eventSource": "redshift.amazonaws.com", "eventName": "DeleteCluster", "awsRegion": "us-east-2", "sourceIPAddress": "52.95.4.13", "userAgent": "signin.amazonaws.com", "requestParameters": { "clusterIdentifier": "my-dw-instance", "skipFinalClusterSnapshot": true }, "responseElements": null, "requestID": "324cb76a-0033-11e7-809b-1bbbef7710bf", "eventID": "59bcc3ce-e635-4cce-b47f-3419a36b3fa5", "eventType": "AwsApiCall", "recipientAccountId": "123456789012" }

AWS CloudTrail 日志中的 Amazon Redshift 账户 ID

当 Amazon Redshift 代表您调用其他 AWS 服务时,该次调用就以属于 Amazon Redshift 服务的账户 ID(而非您自己的账户 ID)记录下来。例如,当 Amazon Redshift 调用 AWS Key Management Service (AWS KMS) 操作(如 CreateGrant、Decrypt、Encrypt 以及 RetireGrant)以管理您集群的加密时,相应调用就由 AWS CloudTrail 使用 Amazon Redshift 账户 ID 记录下来。

当调用其他 AWS 服务时,Amazon Redshift 使用下表中的账户 ID。

区域 区域 账户 ID
美国东部(弗吉尼亚北部)地区 us-east-1 368064434614
美国东部(俄亥俄)区域 us-east-2 790247189693
美国西部(加利福利亚北部)区域 us-west-1 703715109447
美国西部(俄勒冈)区域 us-west-2 473191095985
亚太地区(孟买)区域 ap-south-1 408097707231
亚太区域(首尔) ap-northeast-2 713597048934
亚太区域(新加坡) ap-southeast-1 960118270566
亚太区域(悉尼) ap-southeast-2 485979073181
亚太区域(东京) ap-northeast-1 615915377779
中国 (宁夏) 区域 cn-northwest-1 194116488714
加拿大 (中部) 区域 ca-central-1 764870610256
中国(北京)区域 cn-north-1 066403562008
欧洲(法兰克福)区域 eu-central-1 434091160558
欧洲(爱尔兰)区域 eu-west-1 246478207311
欧洲 (伦敦) 区域 eu-west-2 885798887673
欧洲 (巴黎) 区域 eu-west-3 694668203235
南美洲(圣保罗)区域 sa-east-1 392442076723

以下示例显示了 Amazon Redshift 所调用的 AWS KMS Decrypt 操作的 CloudTrail 日志条目。

{ "eventVersion": "1.05", "userIdentity": { "type": "AssumedRole", "principalId": "AROAI5QPCMKLTL4VHFCYY:i-0f53e22dbe5df8a89", "arn": "arn:aws:sts::790247189693:assumed-role/prod-23264-role-wp/i-0f53e22dbe5df8a89", "accountId": "790247189693", "accessKeyId": "AKIAIOSFODNN7EXAMPLE", "sessionContext": { "attributes": { "mfaAuthenticated": "false", "creationDate": "2017-03-03T16:24:54Z" }, "sessionIssuer": { "type": "Role", "principalId": "AROAI5QPCMKLTL4VHFCYY", "arn": "arn:aws:iam::790247189693:role/prod-23264-role-wp", "accountId": "790247189693", "userName": "prod-23264-role-wp" } } }, "eventTime": "2017-03-03T17:16:51Z", "eventSource": "kms.amazonaws.com", "eventName": "Decrypt", "awsRegion": "us-east-2", "sourceIPAddress": "52.14.143.61", "userAgent": "aws-internal/3", "requestParameters": { "encryptionContext": { "aws:redshift:createtime": "20170303T1710Z", "aws:redshift:arn": "arn:aws:redshift:us-east-2:123456789012:cluster:my-dw-instance-2" } }, "responseElements": null, "requestID": "30d2fe51-0035-11e7-ab67-17595a8411c8", "eventID": "619bad54-1764-4de4-a786-8898b0a7f40c", "readOnly": true, "resources": [ { "ARN": "arn:aws:kms:us-east-2:123456789012:key/f8f4f94f-e588-4254-b7e8-078b99270be7", "accountId": "123456789012", "type": "AWS::KMS::Key" } ], "eventType": "AwsApiCall", "recipientAccountId": "123456789012", "sharedEventID": "c1daefea-a5c2-4fab-b6f4-d8eaa1e522dc" }