数据库审核日志记录 - Amazon Redshift
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

数据库审核日志记录

Overview

Amazon Redshift 在您的数据库中记录有关连接和用户活动的信息。这些日志有助于您监控数据库以确保安全并进行故障排除,该流程通常称为数据库审计。这些日志存储在 Amazon S3 存储桶中。这些功能使负责监控数据库中活动的用户可以很方便地访问数据安全功能。

Amazon Redshift 日志记录

Amazon Redshift 在以下日志文件中记录信息:

  • 连接日志— 记录身份验证尝试以及连接与断开连接。

  • 用户日志— 记录与数据库用户定义更改相关的信息。

  • 用户活动日志— 记录在数据库中运行之前的每个查询。

连接日志和用户日志主要用于实现安全性。您可以使用连接日志来监控连接到数据库的用户相关信息以及相关的连接信息。此信息可能是他们的 IP 地址、发出请求的时间以及使用的身份验证类型等。您可以使用用户日志来监控数据库用户定义更改。

用户活动日志主要用于进行故障排除。它会跟踪用户及系统在数据库中执行的查询类型的相关信息。

连接日志和用户日志均对应于数据库的系统表中存储的信息。您可以使用系统表获取相同的信息,但日志文件这种机制更易于检索和查看。这些日志文件依赖 Amazon S3 权限(而非数据库权限)针对表执行查询。此外,通过查看日志文件中的信息(而非查询系统表),您可以减少与数据库互动产生的任何影响。

注意

日志文件没有基本系统日志表 STL_USERLOGSTL_CONNECTION_LOG 那么新。早于 (但不包括) 最新记录的记录将被复制到日志文件。

连接日志

记录身份验证尝试以及连接与断开连接。下表介绍了连接日志中的信息。

列名称 描述
event 连接或身份验证事件。
recordtime 事件发生的时间。
remotehost 远程主机的名称或 IP 地址。
remoteport 远程主机的端口号。
pid 与语句关联的进程 ID。
dbname 数据库名称。
username 用户名。
authmethod 身份验证方法。
duration 连接的持续时间(单位为微秒)。
sslversion 安全套接字层 (SSL) 版本。
sslcipher SSL 密码。
mtu 最大传输单元 (MTU)。
sslcompression SSL 压缩类型。
sslexpansion SSL 扩展类型。
iamauthguid CloudTrail 请求的 IAM 身份验证 ID。
application_name 会话应用程序的初始名称或更新名称。
驱动程序版本 通过第三方 SQL 客户端工具连接到 Amazon Redshift 集群的 ODBC 或 JDBC 驱动程序版本。
OS 版本 连接到 Amazon Redshift 集群的客户端计算机上的操作系统版本。
plugin_name 用于连接到您的 Amazon Redshift 集群的插件的名称。

用户日志

记录数据库用户的以下更改的详细信息。

  • 创建用户

  • 删除用户

  • 更改用户(重命名)

  • 更改用户(更改属性)

列名称 描述
userid 受更改影响的用户的 ID。
username 受更改影响的用户的用户名称。
oldusername 对于重命名操作,这指的是原始用户名称。对于任何其他操作,此字段为空。
操作 发生的操作。有效值:
  • 更改

  • 创建

  • Drop

  • 重命名

usecreatedb 如果为 true (1),则表示用户具有创建数据库的权限。
usesuper 如果为 true (1),则表示用户为超级用户。
usecatupd 如果为 true (1),则表示用户可更新系统目录。
valuntil 密码到期日期。
pid 进程 ID。
xid 事务 ID。
recordtime 查询开始的时间(采用 UTC 表示)。

用户活动日志

记录在数据库中运行之前的每个查询。

列名称 描述
recordtime 事件发生的时间。
db 数据库名称。
user 用户名。
pid 与语句关联的进程 ID。
userid 用户 ID。
xid 事务 ID。
query 日志前缀:后跟查询的文字,包括换行符。

启用日志记录

Amazon Redshift 中的审计日志记录在默认情况下未启用。当您针对集群启用日志记录时,Amazon Redshift 会创建日志并将其上传到 Amazon S3,以捕获从启用审计日志记录的时间到当前时间的数据。每个日志记录更新是已记录信息的延续。

注意

Amazon S3 的审计日志记录是一个可选的手动流程。当您在集群中启用日志记录时,则是仅存储到 Amazon S3 中的日志记录。记录到数据表则并非可选流程,系统针对集群自动执行该流程。有关记录到系统表的更多信息,请参阅系统表参考,请参阅《Amazon Redshift 数据库开发人员指南》。

连接日志、用户日志和用户活动日志同时通过使用Amazon Web Services Management Console、Amazon Redshift API 参考或Amazon Command Line Interface(Amazon CLI)。对于用户活动日志,您还必须启用 enable_user_activity_logging 数据库参数。如果您仅启用审计日志记录功能,但不启用相关参数,则数据库审计将仅为连接日志和用户日志记录日志信息,而不为用户活动日志记录日志信息。这些区域有:enable_user_activity_logging参数未启用(false) 默认情况下。您可以将它设置为true以启用用户活动日志。有关更多信息,请参阅Amazon Redshift 参数组

注意

当前,您只能使用 Amazon S3 托管密钥 (SSE-S3) 加密 (AES-256) 进行审计日志记录。

管理日志文件

Amazon S3 中 Amazon Redshift 日志文件的数量和大小在很大程度上取决于您集群中的活动。如果您有一个活动的集群生成了大量日志,Amazon Redshift 可能会更频繁地生成日志文件。对于同一类活动,您可能有一系列日志文件,例如同一个小时有多个连接日志。

由于 Amazon Redshift 使用 Amazon S3 存储日志,因此您需要为 Amazon S3 中使用的存储支付相应费用。在配置日志记录之前,您应计划需存储日志文件多长时间。作为此项工作的一部分,请确定何时可根据审计需求删除日志文件或将其存档。您制定的计划在很大程度上取决于您存储的数据类型,例如需满足合规性或法规要求的数据。有关 Amazon S3 定价的更多信息,请转到Amazon Simple Storage Service (S3) 定价

Amazon Redshift 审计日志记录的存储桶权限

当您启用日志记录时,Amazon Redshift 会收集日志记录信息并将其上传到 Amazon S3 中存储的日志文件。您可以使用现有存储桶,也可以新建一个。Amazon Redshift 要求对存储桶具备以下 IAM 权限:

  • S3: 获得桶该服务需要对 Amazon S3 存储桶具备读取权限,以便可以识别存储桶拥有者。

  • s3:PutObject:该服务要求具备放置对象权限,以便上传日志。此外,启用日志记录的 IAM 用户或 IAM 角色必须具有s3:PutObjectAmazon S3 存储桶权限。每次上传日志时,该服务就会确定当前存储桶拥有者与启用日志记录时的存储桶拥有者是否一致。如果这些所有者不匹配,您将收到错误。

如果 Amazon Redshift 在配置过程中为您创建一个新存储桶,则会将正确的权限应用于存储桶。但是,如果您在 Amazon S3 中创建自己的存储桶或使用现有存储桶,则需要添加包含存储桶名称的存储桶策略。Amazon Redshift 还需要与您的Amazon下表中的区域。

区域名称 区域 账户 ID
US East (N. Virginia) Region us-east-1 193672423079
US East (Ohio) Region us-east-2 391106570357
US West (N. California) Region us-west-1 262260360010
US West (Oregon) Region us-west-2 902366379725
非洲(开普敦)区域 af-south-1 365689465814
亚太地区(香港)区域 ap-east-1 313564881002
Asia Pacific (Mumbai) Region ap-south-1 865932855811
亚太地区(大阪) ap-northeast-3 090321488786
Asia Pacific (Seoul) Region ap-northeast-2 760740231472
亚太区域(新加坡) ap-southeast-1 361669875840
亚太区域(悉尼) ap-southeast-2 762762565011
亚太区域(东京) ap-northeast-1 404641285394
Canada (Central) Region ca-central-1 907379612154
中国(北京)区域 cn-north-1 111890595117
中国 (宁夏)区域 cn-northwest-1 660998842044
Europe (Frankfurt) Region eu-central-1 053454850223
Europe (Ireland) Region eu-west-1 210876761215
Europe (London) Region eu-west-2 307160386991
欧洲(米兰)区域 eu-south-1 945612479654
欧洲(巴黎)区域 eu-west-3 915173422425
欧洲(斯德哥尔摩)区域 eu-north-1 729911121831
中东(巴林)区域 me-south-1 013126148197
南美洲(圣保罗)区域 sa-east-1 075028567923
注意

中国(北京)区域的 ARN 格式使用aws-cn标识符而非aws标识符,如以下策略示例所示:

{ "Version": "2012-10-17", "Statement": [ { "Sid": "Put bucket policy needed for audit logging", "Effect": "Allow", "Principal": { "AWS": "arn:aws-cn:iam::111890595117:user/logs" }, "Action": "s3:PutObject", "Resource": "arn:aws-cn:s3:::AuditLogs/*" }, { "Sid": "Get bucket policy needed for audit logging ", "Effect": "Allow", "Principal": { "AWS": "arn:aws-cn:iam::111890595117:user/logs" }, "Action": "s3:GetBucketAcl", "Resource": "arn:aws-cn:s3:::AuditLogs" } ] }

该存储桶策略使用以下格式,其中BucketName是您自己值的占位符。这些区域有:AccountId来自 Amazon Redshift 账户 ID 表,该表与您的Amazon区域。

{ "Version": "2012-10-17", "Statement": [ { "Sid": "Put bucket policy needed for audit logging", "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::AccountId:user/logs" }, "Action": "s3:PutObject", "Resource": "arn:aws:s3:::BucketName/*" }, { "Sid": "Get bucket policy needed for audit logging ", "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::AccountID:user/logs" }, "Action": "s3:GetBucketAcl", "Resource": "arn:aws:s3:::BucketName" } ] }

以下示例就是针对美国东部 (弗吉尼亚北部) 区域的存储桶策略,该存储桶名为 AuditLogs。

{ "Version": "2012-10-17", "Statement": [ { "Sid": "Put bucket policy needed for audit logging", "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::193672423079:user/logs" }, "Action": "s3:PutObject", "Resource": "arn:aws:s3:::AuditLogs/*" }, { "Sid": "Get bucket policy needed for audit logging ", "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::193672423079:user/logs" }, "Action": "s3:GetBucketAcl", "Resource": "arn:aws:s3:::AuditLogs" } ] }

有关创建 Amazon S3 存储桶和添加存储桶策略的更多信息,请参阅创建存储桶编辑存储桶权限(Amazon Simple Storage Service 控制台用户指南)。

Amazon Redshift 审计日志记录的存储桶结构

默认情况下,Amazon Redshift 使用下列存储桶和对象结构在 Amazon S3 存储桶中整理日志文件:AWSLogs/AccountID/ServiceName/Region/Year/Month/Day/AccountID_ServiceName_Region_ClusterName_LogType_Timestamp.gz

例如:AWSLogs/123456789012/redshift/us-east-1/2013/10/29/123456789012_redshift_us-east-1_mycluster_userlog_2013-10-29T18:01.gz

如果您提供 Amazon S3 key prefix,则该前缀放在密钥开头。

例如,如果指定前缀 myprefix:myprefix/AWSLogs/123456789012/redshift/us-east-1/2013/10/29/123456789012_redshift_us-east-1_mycluster_userlog_2013-10-29T18:01.gz

Amazon S3 key prefix 不得超过 512 个字符,其中不得包含空格 ( )、双引号 (“)、单引号 (‘)、反斜杠 (\)。此外还有很多不得使用的特殊字符和控制字符。这些字符的十六进制代码如下:

  • x00 – x20

  • x 22

  • x 27

  • x5c

  • x7f 或更大

解决 Amazon Redshift 审计日志记录

Amazon Redshift 审计日志记录可能会因如下原因而中断:

  • Amazon Redshift 无权将日志上传到 Amazon S3 存储桶中。验证相应存储桶是否配置了适当的 IAM 策略。有关更多信息,请参阅Amazon Redshift 审计日志记录的存储桶权限

  • 存储桶拥有者发生变化。当 Amazon Redshift 上传日志时,它会验证存储桶拥有者与启用日志记录时的存储桶拥有者是否相同。如果存储桶拥有者发生变化,则 Amazon Redshift 将不会上传日志,直到您配置其他存储桶以用于审计日志记录。有关更多信息,请参阅修改用于审核日志记录的存储桶

  • 找不到存储桶。如果存储桶在 Amazon S3 中已被删除,则 Amazon Redshift 无法上传日志。您需要重新创建该存储桶,或对进行配置以 Amazon Redshift 日志上传到其他存储桶。有关更多信息,请参阅修改用于审核日志记录的存储桶

使用记录 Amazon Redshift API 调用Amazon CloudTrail

Amazon Redshift 与Amazon CloudTrail,该服务提供用户、角色或Amazon服务。CloudTrail 将 Amazon Redshift 的所有 API 调用作为事件捕获。这些调用包括来自 Amazon Redshift 控制台以及来自对 Amazon Redshift API 操作的代码调用。如果您创建跟踪,则可以使 CloudTrail 事件持续传送到 Amazon S3 存储桶(包括 Amazon Redshift 的事件)。如果您不配置跟踪,则仍可在 CloudTrail 控制台的 Event history (事件历史记录) 中查看最新事件。通过使用 CloudTrail 收集的信息,您可以确定特定的详细信息。这些请求包括向 Amazon Redshift 发出了什么请求、发出请求的 IP 地址、何人发出的请求、请求的发出时间以及其他信息。

您可以将 CloudTrail 与 Amazon Redshift 数据库审计日志记录一起使用,也可以单独使用此功能。

要了解 CloudTrail 的更多信息,请参阅Amazon CloudTrail用户指南

CloudTrail 中的 Amazon Redshift 信息

CloudTrail 已在您的Amazon帐户创建账户时,即可使用。当 Amazon Redshift 中发生活动时,该活动将记录在 CloudTrail 事件中,并与其他Amazon中的服务事件事件历史记录。您可以在 Amazon 账户中查看、搜索和下载最新事件。有关更多信息,请参阅使用 CloudTrail 事件历史记录查看事件

要持续记录Amazon账户(包括 Amazon Redshift 的事件),请创建跟踪。通过 trail (跟踪),CloudTrail 可将日志文件传送至 Amazon S3 存储桶。默认情况下,在控制台中创建跟踪时,此跟踪应用于所有区域。该跟踪在中记录所有区域中的事件Amazon分区,并将日志文件传送到您指定的 Amazon S3 存储桶。此外,您还可以配置其他Amazon服务,进一步分析在 CloudTrail 日志中收集的事件数据并采取操作。有关更多信息,请参阅:

所有 Amazon Redshift 操作都由 CloudTrail 记录,并记录在Amazon Redshift API 参考。例如,对 CreateClusterDeleteClusterDescribeCluster 操作的调用会在 CloudTrail 日志文件中生成条目。

每个事件或日志条目都包含有关生成请求的人员信息。身份信息可帮助您确定以下内容:

  • 请求是使用根用户凭证还是 IAM 用户凭证发出的。

  • 请求是使用角色还是联合身份用户的临时安全凭证发出的。

  • 请求是否由其他 Amazon 服务发出。

有关更多信息,请参阅 CloudTrail userIdentity 元素

了解 Amazon Redshift 日志文件条目

跟踪是一种配置,可用于将事件作为日志文件传送到您指定的 Amazon S3 存储桶。CloudTrail 日志文件包含一个或多个日志条目。一个事件表示来自任何源的一个请求,包括有关请求的操作、操作的日期和时间、请求参数等方面的信息。CloudTrail 日志文件不是公用 API 调用的有序堆栈跟踪,因此它们不会按任何特定顺序显示。

以下示例演示示示 CloudTrail 调用的一个 CloudTrail 日志条目。

{ "eventVersion": "1.04", "userIdentity": { "type": "IAMUser", "principalId": "AIDAMVNPBQA3EXAMPLE", "arn": "arn:aws:iam::123456789012:user/Admin", "accountId": "123456789012", "accessKeyId": "AKIAIOSFODNN7EXAMPLE", "userName": "Admin", "sessionContext": { "attributes": { "mfaAuthenticated": "false", "creationDate": "2017-03-03T16:51:56Z" } }, "invokedBy": "signin.amazonaws.com" }, "eventTime": "2017-03-03T16:56:09Z", "eventSource": "redshift.amazonaws.com", "eventName": "CreateCluster", "awsRegion": "us-east-2", "sourceIPAddress": "52.95.4.13", "userAgent": "signin.amazonaws.com", "requestParameters": { "clusterIdentifier": "my-dw-instance", "allowVersionUpgrade": true, "enhancedVpcRouting": false, "encrypted": false, "clusterVersion": "1.0", "masterUsername": "awsuser", "masterUserPassword": "****", "automatedSnapshotRetentionPeriod": 1, "port": 5439, "dBName": "mydbtest", "clusterType": "single-node", "nodeType": "dc1.large", "publiclyAccessible": true, "vpcSecurityGroupIds": [ "sg-95f606fc" ] }, "responseElements": { "nodeType": "dc1.large", "preferredMaintenanceWindow": "sat:05:30-sat:06:00", "clusterStatus": "creating", "vpcId": "vpc-84c22aed", "enhancedVpcRouting": false, "masterUsername": "awsuser", "clusterSecurityGroups": [], "pendingModifiedValues": { "masterUserPassword": "****" }, "dBName": "mydbtest", "clusterVersion": "1.0", "encrypted": false, "publiclyAccessible": true, "tags": [], "clusterParameterGroups": [ { "parameterGroupName": "default.redshift-1.0", "parameterApplyStatus": "in-sync" } ], "allowVersionUpgrade": true, "automatedSnapshotRetentionPeriod": 1, "numberOfNodes": 1, "vpcSecurityGroups": [ { "status": "active", "vpcSecurityGroupId": "sg-95f606fc" } ], "iamRoles": [], "clusterIdentifier": "my-dw-instance", "clusterSubnetGroupName": "default" }, "requestID": "4c506036-0032-11e7-b8bf-d7aa466e9920", "eventID": "13ba5550-56ac-405b-900a-8a42b0f43c45", "eventType": "AwsApiCall", "recipientAccountId": "123456789012" }

以下示例演示了示例删除集群调用的 CloudTrail 日志条目。

{ "eventVersion": "1.04", "userIdentity": { "type": "IAMUser", "principalId": "AIDAMVNPBQA3EXAMPLE", "arn": "arn:aws:iam::123456789012:user/Admin", "accountId": "123456789012", "accessKeyId": "AKIAIOSFODNN7EXAMPLE", "userName": "Admin", "sessionContext": { "attributes": { "mfaAuthenticated": "false", "creationDate": "2017-03-03T16:58:23Z" } }, "invokedBy": "signin.amazonaws.com" }, "eventTime": "2017-03-03T17:02:34Z", "eventSource": "redshift.amazonaws.com", "eventName": "DeleteCluster", "awsRegion": "us-east-2", "sourceIPAddress": "52.95.4.13", "userAgent": "signin.amazonaws.com", "requestParameters": { "clusterIdentifier": "my-dw-instance", "skipFinalClusterSnapshot": true }, "responseElements": null, "requestID": "324cb76a-0033-11e7-809b-1bbbef7710bf", "eventID": "59bcc3ce-e635-4cce-b47f-3419a36b3fa5", "eventType": "AwsApiCall", "recipientAccountId": "123456789012" }

Amazon Redshift 账户编号Amazon CloudTrail日志

当 Amazon Redshift 调用另一个Amazon服务时,该次调用就以属于 Amazon Redshift 的账户 ID 记录下来。它没有使用您的账户 ID 记录。例如,假设 Amazon Redshift 调用Amazon Key Management Service(Amazon KMS) 操作(如 CreateGrant、解密、加密和 RetireGrant),以管理您集群上的加密。在这种情况下,调用会记录Amazon CloudTrail使用 Amazon Redshift 账户编号。

Amazon Redshift 在调用其他Amazon服务。

区域 区域 账户 ID
US East (N. Virginia) Region us-east-1 368064434614
US East (Ohio) Region us-east-2 790247189693
US West (N. California) Region us-west-1 703715109447
US West (Oregon) Region us-west-2 473191095985
非洲(开普敦)区域 af-south-1 420376844563
亚太地区(香港)区域 ap-east-1 651179539253
Asia Pacific (Mumbai) Region ap-south-1 408097707231
亚太地区(大阪) ap-northeast-3 398671365691
Asia Pacific (Seoul) Region ap-northeast-2 713597048934
亚太区域(新加坡) ap-southeast-1 960118270566
亚太区域(悉尼) ap-southeast-2 485979073181
亚太区域(东京) ap-northeast-1 615915377779
Canada (Central) Region ca-central-1 764870610256
中国(北京)区域 cn-north-1 066403562008
中国 (宁夏)区域 cn-northwest-1 194116488714
Europe (Frankfurt) Region eu-central-1 434091160558
Europe (Ireland) Region eu-west-1 246478207311
Europe (London) Region eu-west-2 885798887673
欧洲(米兰)区域 eu-south-1 041313461515
欧洲(巴黎)区域 eu-west-3 694668203235
欧洲(斯德哥尔摩)区域 eu-north-1 553461782468
中东(巴林)区域 me-south-1 051362938876
南美洲(圣保罗)区域 sa-east-1 392442076723

以下示例演示了一个 CloudTrail 日志条目,该条目针对Amazon KMS由 Amazon Redshift 调用的解密操作。

{ "eventVersion": "1.05", "userIdentity": { "type": "AssumedRole", "principalId": "AROAI5QPCMKLTL4VHFCYY:i-0f53e22dbe5df8a89", "arn": "arn:aws:sts::790247189693:assumed-role/prod-23264-role-wp/i-0f53e22dbe5df8a89", "accountId": "790247189693", "accessKeyId": "AKIAIOSFODNN7EXAMPLE", "sessionContext": { "attributes": { "mfaAuthenticated": "false", "creationDate": "2017-03-03T16:24:54Z" }, "sessionIssuer": { "type": "Role", "principalId": "AROAI5QPCMKLTL4VHFCYY", "arn": "arn:aws:iam::790247189693:role/prod-23264-role-wp", "accountId": "790247189693", "userName": "prod-23264-role-wp" } } }, "eventTime": "2017-03-03T17:16:51Z", "eventSource": "kms.amazonaws.com", "eventName": "Decrypt", "awsRegion": "us-east-2", "sourceIPAddress": "52.14.143.61", "userAgent": "aws-internal/3", "requestParameters": { "encryptionContext": { "aws:redshift:createtime": "20170303T1710Z", "aws:redshift:arn": "arn:aws:redshift:us-east-2:123456789012:cluster:my-dw-instance-2" } }, "responseElements": null, "requestID": "30d2fe51-0035-11e7-ab67-17595a8411c8", "eventID": "619bad54-1764-4de4-a786-8898b0a7f40c", "readOnly": true, "resources": [ { "ARN": "arn:aws:kms:us-east-2:123456789012:key/f8f4f94f-e588-4254-b7e8-078b99270be7", "accountId": "123456789012", "type": "AWS::KMS::Key" } ], "eventType": "AwsApiCall", "recipientAccountId": "123456789012", "sharedEventID": "c1daefea-a5c2-4fab-b6f4-d8eaa1e522dc" }