Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

将数据从 Aurora PostgreSQL 数据库集群导出到 Amazon S3

您可以从 Aurora PostgreSQL 数据库集群中查询数据，并将数据直接导出到存储在 Amazon S3 存储桶中的文件中。为此，您首先要安装 Aurora PostgreSQL aws_s3 扩展。该扩展为您提供了用于将查询结果导出到 Amazon S3 的函数。接下来，您可以了解如何安装扩展以及如何将数据导出到 Amazon S3。

您可以从预调配或 Aurora Serverless v2 数据库实例中导出。Aurora Serverless v1 不支持这些步骤。

所有当前可用的 Aurora PostgreSQL 版本都支持将数据导出到 Amazon Simple Storage Service。有关详细版本信息，请参阅《Aurora PostgreSQL 版本注释》中的 Amazon Aurora PostgreSQL 更新。

如果您没有为导出设置桶，请参阅《Amazon Simple Storage Service 用户指南》中的以下主题。

默认情况下，从 Aurora PostgreSQL 导出到 Amazon S3 的数据使用具有 Amazon 托管式密钥的服务器端加密。您也可以使用您已创建的客户自主管理型密钥。如果您使用存储桶加密，则 Amazon S3 存储桶必须使用 Amazon Key Management Service（Amazon KMS）密钥（SSE-KMS）进行加密。目前，不支持使用 Amazon S3 托管式密钥（SSE-S3）加密的存储桶。

安装 aws_s3 扩展名

在将 Amazon Simple Storage Service 用于 Aurora PostgreSQL 数据库集群之前，您需要安装 aws_s3 扩展。此扩展提供将数据从 Aurora PostgreSQL 数据库集群的写入器实例中导出到 Amazon S3 桶的函数。它还提供从 Amazon S3 导入数据的函数。有关更多信息，请参阅 将 Amazon S3 中的数据导入到 Aurora PostgreSQL 数据库集群。aws_s3 扩展依赖于 aws_commons 扩展（需要时自动安装）中的一些帮助程序函数。

从 Amazon S3 导入数据和将数据导出到 Amazon S3 的函数现在可供使用。

验证您的 Aurora PostgreSQL 版本支持导出到 Amazon S3

您可以使用 describe-db-engine-versions 命令验证 Aurora PostgreSQL 版本是否支持导出到 Amazon S3。以下示例检查版本 10.14 是否可以导出到 Amazon S3。

aws rds describe-db-engine-versions --region us-east-1 \
--engine aurora-postgresql --engine-version 10.14 | grep s3Export

如果输出包含字符串 "s3Export"，则该引擎支持 Amazon S3 导出。否则，该引擎不支持它们。

将数据导出到 Amazon S3 概述

要将存储在 Aurora PostgreSQL 数据库中的数据导出到 Amazon S3 存储桶，请使用以下过程。

指定要导出到的 Amazon S3 文件路径

指定以下信息以标识要将数据导出到的 Amazon S3 中的位置：

要保存有关导出的存储位置的 Amazon S3 文件信息，您可以使用 aws_commons.create_s3_uri 函数创建一个 aws_commons._s3_uri_1 复合结构，如下所示。

psql=> SELECT aws_commons.create_s3_uri(
   'sample-bucket',
   'sample-filepath',
   'us-west-2'
) AS s3_uri_1 \gset

稍后，您可以在对 s3_uri_1 函数的调用中将该 aws_s3.query_export_to_s3 值作为参数提供。有关示例，请参阅 使用 aws_s3.query_export_to_s3 函数导出查询数据。

设置 Amazon S3 存储桶的访问权限

要将数据导出到 Amazon S3，请为 PostgreSQL 数据库集群提供权限以访问文件将保存到的 Amazon S3 存储桶。

为此，请使用以下过程。

使用 aws_s3.query_export_to_s3 函数导出查询数据

通过调用 aws_s3.query_export_to_s3 函数将 PostgreSQL 数据导出到 Amazon S3。

先决条件

在使用 aws_s3.query_export_to_s3 函数之前，请确保完成以下先决条件：

以下示例使用一个称作 sample_table 的数据库表。这些示例将数据导出到一个称作 sample-bucket 的存储桶中。使用以下 SQL 语句在 psql 中创建示例表和数据。

psql=> CREATE TABLE sample_table (bid bigint PRIMARY KEY, name varchar(80));
psql=> INSERT INTO sample_table (bid,name) VALUES (1, 'Monday'), (2,'Tuesday'), (3, 'Wednesday');

调用 aws_s3.query_export_to_s3

下面说明了调用 aws_s3.query_export_to_s3 函数的基本方法。

这些示例使用变量 s3_uri_1 确定包含用于标识 Amazon S3 文件的信息的结构。使用 aws_commons.create_s3_uri 函数可创建结构。

psql=> SELECT aws_commons.create_s3_uri(
   'sample-bucket',
   'sample-filepath',
   'us-west-2'
) AS s3_uri_1 \gset

尽管以下两个 aws_s3.query_export_to_s3 函数调用的参数不同，但这些示例的结果是相同的。sample_table 表的所有行都将导出到一个称作 sample-bucket 的存储桶中。

psql=> SELECT * FROM aws_s3.query_export_to_s3('SELECT * FROM sample_table', :'s3_uri_1');

psql=> SELECT * FROM aws_s3.query_export_to_s3('SELECT * FROM sample_table', :'s3_uri_1', options :='format text');

参数如下所述：

如果指定的文件在 Amazon S3 存储桶中不存在，则会创建该文件。如果该文件已存在，则将覆盖该文件。以下是用于访问 Amazon S3 中的导出数据的语法。

s3-region://bucket-name[/path-prefix]/file-prefix

较大的导出将存储在多个文件中，每个文件的最大大小约为 6 GB。其他文件名具有相同的文件前缀，但追加了 _partXX。XX 表示 2，然后表示 3，依此类推。例如，假设您指定用于存储数据文件的路径，如下所示。

s3-us-west-2://my-bucket/my-prefix

如果导出必须创建三个数据文件，则 Amazon S3 存储桶将包含以下数据文件。

s3-us-west-2://my-bucket/my-prefix
s3-us-west-2://my-bucket/my-prefix_part2
s3-us-west-2://my-bucket/my-prefix_part3

有关此函数的完整参考以及其他调用方法，请参阅aws_s3.query_export_to_s3。有关访问 Amazon S3 中的文件的更多信息，请参阅 Amazon Simple Storage Service 用户指南中的查看对象。

导出到使用自定义分隔符的 CSV 文件

以下示例说明如何调用 aws_s3.query_export_to_s3 函数以将数据导出到使用自定义分隔符的文件。此示例使用 PostgreSQL COPY 命令的参数来指定逗号分隔值 (CSV) 格式和冒号 (:) 分隔符。

SELECT * from aws_s3.query_export_to_s3('select * from basic_test', :'s3_uri_1', options :='format csv, delimiter $$:$$');

导出到具有编码的二进制文件

以下示例说明如何调用 aws_s3.query_export_to_s3 函数以将数据导出到具有 Windows-1253 编码的二进制文件。

SELECT * from aws_s3.query_export_to_s3('select * from basic_test', :'s3_uri_1', options :='format binary, encoding WIN1253');

Amazon S3 访问故障排除

如果在尝试将数据导出到 Amazon S3 时遇到连接问题，请首先确认与数据库实例关联的 VPC 安全组的出站访问规则是否允许网络连接。具体而言，安全组必须有一条规则允许数据库实例将 TCP 流量发送到端口 443 和任何 IPv4 地址（0.0.0/0）。有关更多信息，请参阅 通过创建安全组提供对 VPC 中数据库集群的访问。

另请参阅以下建议：

函数参考

aws_s3.query_export_to_s3

将 PostgreSQL 查询结果导出到 Amazon S3 存储桶。aws_s3 扩展提供 aws_s3.query_export_to_s3 函数。

两个必需的参数为 query 和 s3_info。这两个参数定义了要导出的查询，并标识了要导出到的 Amazon S3 存储桶。一个称作 options 的可选参数，用于定义各种导出参数。有关使用 aws_s3.query_export_to_s3 函数的示例，请参阅使用 aws_s3.query_export_to_s3 函数导出查询数据。

语法

aws_s3.query_export_to_s3(
    query text,    
    s3_info aws_commons._s3_uri_1,    
    options text,
    kms_key text
)

备用输入参数

为帮助进行测试，您可以使用一组扩展的参数而非 s3_info 参数。下面是 aws_s3.query_export_to_s3 函数的其他语法变化。

不使用 s3_info 参数来标识 Amazon S3 文件，而使用 bucket、file_path 和 region 参数的组合。

aws_s3.query_export_to_s3(
    query text,    
    bucket text,    
    file_path text,    
    region text,    
    options text,
    kms_key text
)

输出参数

aws_s3.query_export_to_s3(
    OUT rows_uploaded bigint,
    OUT files_uploaded bigint,
    OUT bytes_uploaded bigint
)

示例

psql=> SELECT * from aws_s3.query_export_to_s3('select * from sample_table', 'sample-bucket', 'sample-filepath');
psql=> SELECT * from aws_s3.query_export_to_s3('select * from sample_table', 'sample-bucket', 'sample-filepath','us-west-2');
psql=> SELECT * from aws_s3.query_export_to_s3('select * from sample_table', 'sample-bucket', 'sample-filepath','us-west-2','format text');

aws_commons.create_s3_uri

创建 aws_commons._s3_uri_1 结构来保存 Amazon S3 文件信息。在 aws_commons.create_s3_uri 函数的 s3_info 参数中使用 aws_s3.query_export_to_s3 函数的结果。有关使用 aws_commons.create_s3_uri 函数的示例，请参阅指定要导出到的 Amazon S3 文件路径。

语法

aws_commons.create_s3_uri(
   bucket text,
   file_path text,
   region text
)