将 Amazon S3 中的数据导入到 RDS for PostgreSQL 数据库实例

安装 aws_s3 扩展

1. 使用 psql（或 pgAdmin）以具有 rds_superuser 权限的用户身份，连接到 RDS for PostgreSQL 数据库实例。如果您在设置过程中保留原定设置名称，则以 postgres 进行连接。

   psql --host=111122223333.aws-region.rds.amazonaws.com --port=5432 --username=postgres --password

2. 要安装扩展，请运行以下命令。

   postgres=> CREATE EXTENSION aws_s3 CASCADE;
   NOTICE: installing required extension "aws_commons"
   CREATE EXTENSION

3. 要验证扩展是否已安装，可以使用 psql \dx 元命令。

   postgres=> \dx
          List of installed extensions
       Name     | Version |   Schema   |                 Description
   -------------+---------+------------+---------------------------------------------
    aws_commons | 1.2     | public     | Common data types across Amazon services
    aws_s3      | 1.1     | public     | Amazon S3 extension for importing data from S3
    plpgsql     | 1.0     | pg_catalog | PL/pgSQL procedural language
   (3 rows)

将 S3 数据导入到 Amazon RDS

首先，收集您需要为该函数提供的详细信息。其中包括 RDS for PostgreSQL 数据库实例上的表名称、桶名称、文件路径、文件类型以及存储 Amazon S3 数据的 Amazon Web Services 区域。有关更多信息，请参阅《Amazon Simple Storage Service 用户指南》中的查看对象。

1. 获取 aws_s3.table_import_from_s3 函数要向其中导入数据的表的名称。例如，以下命令创建表 t1，供在后面的步骤中使用。

   postgres=> CREATE TABLE t1 
       (col1 varchar(80), 
       col2 varchar(80), 
       col3 varchar(80));
   

2. 获取有关 Amazon S3 桶和要导入的数据的详细信息。为此，请通过以下网址打开 Amazon S3 控制台：https://console.aws.amazon.com/s3/，然后选择 Buckets（桶）。在列表中找到包含您的数据的桶。选择桶，打开其 Object overview（对象概述）页面，然后选择 Properties（属性）。

   记下桶名称、路径、Amazon Web Services 区域和文件类型。您稍后需要提供 Amazon 资源名称（ARN），以便通过 IAM 角色设置对 Amazon S3 的访问权限。有关更多信息，请参阅设置 Amazon S3 存储桶的访问权限。下图显示了一个示例。

   

3. 您可以使用 Amazon CLI 命令 aws s3 cp 验证 AmazonS3 桶上数据的路径。如果该信息正确无误，该命令将下载 Amazon S3 文件的副本。

   aws s3 cp s3://sample_s3_bucket/sample_file_path ./ 

4. 在 RDS for PostgreSQL 数据库实例上设置权限，以允许访问 Amazon S3 桶中的文件。为此，您可以使用 Amazon Identity and Access Management（IAM）角色或安全凭证。有关更多信息，请参阅设置 Amazon S3 存储桶的访问权限。

5. 将收集的路径和其他 Amazon S3 对象详细信息（请参阅步骤 2）提供给用于构造 Amazon S3 URI 对象的 create_s3_uri 函数。要了解有关此函数的更多信息，请参阅aws_commons.create_s3_uri。以下是在 psql 会话期间构造此对象的示例。

   postgres=> SELECT aws_commons.create_s3_uri(
      'docs-lab-store-for-rpg',
      'versions_and_jdks_listing.csv',
      'us-west-1'
   ) AS s3_uri \gset

   在下一步中，您将此对象（aws_commons._s3_uri_1）传递到 aws_s3.table_import_from_s3 函数，以便将数据导入表中。

6. 调用 aws_s3.table_import_from_s3 函数，以将数据从 Amazon S3 导入到您的表中。有关参考信息，请参阅aws_s3.table_import_from_s3。有关示例，请参阅 将数据从 Amazon S3 导入到 RDS for PostgreSQL 数据库实例。

通过 IAM 角色授予 RDS for PostgreSQL 数据库实例访问 Amazon S3 的权限

1. 创建一个 IAM policy。

   该策略提供存储桶和对象权限，以允许 RDS for PostgreSQL 数据库实例访问 Amazon S3。

   在策略中包含以下必需操作，以允许将文件从 Amazon S3 存储桶传输到 Amazon RDS：

   • s3:GetObject

   • s3:ListBucket

   在策略中包含以下资源以标识 Amazon S3 存储桶以及存储桶中的对象。这会显示用于访问 Amazon S3 的 Amazon Resource Name (ARN) 格式。

   • arn:aws:s3:::your-s3-bucket

   • arn:aws:s3:::your-s3-bucket/*

   有关为 RDS for PostgreSQL 创建 IAM policy 的更多信息，请参阅创建和使用适用于 IAM 数据库访问的 IAM 策略。另请参阅 IAM 用户指南中的教程：创建和附加您的第一个客户托管策略。

   以下 Amazon CLI 命令使用这些选项创建一个名为 rds-s3-import-policy 的 IAM 策略。它授予访问名为 your-s3-bucket 的存储桶的权限。

   注意

   记下此命令返回的策略的 Amazon 资源名称（ARN）。在后续步骤中将策略附加到 IAM 角色时，您需要此 ARN。

   例

   对于 Linux、macOS 或 Unix：

   aws iam create-policy \
      --policy-name rds-s3-import-policy \
      --policy-document '{
        "Version": "2012-10-17",
        "Statement": [
          {
            "Sid": "s3import",
            "Action": [
              "s3:GetObject",
              "s3:ListBucket"
            ],
            "Effect": "Allow",
            "Resource": [
              "arn:aws:s3:::your-s3-bucket", 
              "arn:aws:s3:::your-s3-bucket/*"
            ] 
          }
        ] 
      }'                     

   对于 Windows：

   aws iam create-policy ^
      --policy-name rds-s3-import-policy ^
      --policy-document '{
        "Version": "2012-10-17",
        "Statement": [
          {
            "Sid": "s3import",
            "Action": [
              "s3:GetObject",
              "s3:ListBucket"
            ], 
            "Effect": "Allow",
            "Resource": [
              "arn:aws:s3:::your-s3-bucket", 
              "arn:aws:s3:::your-s3-bucket/*"
            ] 
          }
        ] 
      }'             

2. 创建一个 IAM 角色。

   这样，Amazon RDS 就可以担任该 IAM 角色以访问您的 Amazon S3 存储桶。有关更多信息，请参阅《IAM 用户指南》中的创建向 IAM 用户委派权限的角色。

   我们建议在基于资源的策略中使用 aws:SourceArn 和 aws:SourceAccount 全局条件上下文键，以限制对特定资源的服务权限。这是防范混淆代理人问题最有效的方法。

   如果同时使用全局条件上下文键和包含账户 ID 的 aws:SourceArn 值，则 aws:SourceAccount 值和 aws:SourceArn 值中的账户在同一策略语句中使用时，必须使用相同的账户 ID。

   • 如果您想对单个资源进行跨服务访问，请使用 aws:SourceArn。

   • 如果您想允许该账户中的任何资源与跨服务使用操作相关联，请使用 aws:SourceAccount。

   在策略中，确保使用具有资源的完整 ARN 的 aws:SourceArn 全局条件上下文键。以下示例说明了如何使用 Amazon CLI 命令创建一个名为 rds-s3-import-role 的角色来实现该目的。

   例

   对于 Linux、macOS 或 Unix：

   aws iam create-role \
      --role-name rds-s3-import-role \
      --assume-role-policy-document '{
        "Version": "2012-10-17",
        "Statement": [
          {
            "Effect": "Allow",
            "Principal": {
               "Service": "rds.amazonaws.com"
             },
            "Action": "sts:AssumeRole",
            "Condition": {
                "StringEquals": {
                   "aws:SourceAccount": "111122223333",
                   "aws:SourceArn": "arn:aws:rds:us-east-1:111122223333:db:dbname"
                   }
                }
          }
        ] 
      }'

   对于 Windows：

   aws iam create-role ^
      --role-name rds-s3-import-role ^
      --assume-role-policy-document '{
        "Version": "2012-10-17",
        "Statement": [
          {
            "Effect": "Allow",
            "Principal": {
               "Service": "rds.amazonaws.com"
             },
            "Action": "sts:AssumeRole",
            "Condition": {
                "StringEquals": {
                   "aws:SourceAccount": "111122223333",
                   "aws:SourceArn": "arn:aws:rds:us-east-1:111122223333:db:dbname"
                   }
                }
          }
        ] 
      }'

3. 将您创建的 IAM 策略附加到您创建的 IAM 角色。

   以下 Amazon CLI 命令将上一步中创建的策略附加到一个名为 rds-s3-import-role 的角色。请将 your-policy-arn 替换为您在前面的步骤中记下的策略 ARN。

   例

   对于 Linux、macOS 或 Unix：

   aws iam attach-role-policy \
      --policy-arn your-policy-arn \
      --role-name rds-s3-import-role                    

   对于 Windows：

   aws iam attach-role-policy ^
      --policy-arn your-policy-arn ^
      --role-name rds-s3-import-role    

4. 将该 IAM 角色添加到数据库实例中。

   您可以使用 Amazon Web Services Management Console 或 Amazon CLI 执行该操作，如下所述。

导入使用自定义分隔符的文件

1. 在数据库中为导入的数据创建一个表。

   postgres=> CREATE TABLE test (a text, b text, c text, d text, e text);

2. 使用以下形式的 aws_s3.table_import_from_s3 函数从 Amazon S3 文件导入数据。

   您可以在 aws_commons.create_s3_uri 函数调用中以内联方式包括 aws_s3.table_import_from_s3 函数调用来指定文件。

   postgres=> SELECT aws_s3.table_import_from_s3(
      'test',
      'a,b,d,e',
      'DELIMITER ''|''', 
      aws_commons.create_s3_uri('sampleBucket', 'pipeDelimitedSampleFile', 'us-east-2')
   );