将 Amazon S3 数据导入到 Aurora PostgreSQL 数据库集群

将 S3 数据导入到 Aurora PostgreSQL

1. 安装所需的 PostgreSQL 扩展。这些包括 aws_s3 和 aws_commons 扩展。为此，请启动 psql 并使用以下命令。

   psql=> CREATE EXTENSION aws_s3 CASCADE;
   NOTICE: installing required extension "aws_commons"

   aws_s3 扩展提供用于导入 Amazon S3 数据的 aws_s3.table_import_from_s3 函数。aws_commons 扩展提供了额外的帮助程序函数。

2. 指定要使用的数据库表和 Amazon S3 文件。

   aws_s3.table_import_from_s3 函数需要使用要将数据导入到的 PostgreSQL 数据库表的名称。该函数还要求您指定要导入的 Amazon S3 文件。要提供该信息，请执行以下步骤。

   1. 标识要将数据放入其中的 PostgreSQL 数据库表。例如，以下是本主题的示例中使用的示例 t1 数据库表。

      psql=> CREATE TABLE t1 (col1 varchar(80), col2 varchar(80), col3 varchar(80));

   2. 获取以下信息以标识要导入的 Amazon S3 文件：

      • 存储桶名称 – 存储桶是 Amazon S3 对象或文件的容器。

      • 文件路径 – 文件路径查找 Amazon S3 存储桶中的文件。

      • Amazon区域 – Amazon区域是 Amazon S3 存储桶的位置。例如，如果 S3 存储桶位于美国东部（弗吉尼亚北部）区域中，请使用 us-east-1。有关 Amazon 区域名称和关联值的列表，请参阅区域及可用区。

      要了解如何获取此信息，请参阅 Amazon Simple Storage Service 用户指南中的查看对象。您可以使用 Amazon CLI 命令 aws s3 cp 确认该信息。如果该信息正确无误，该命令将下载 Amazon S3 文件的副本。

      aws s3 cp s3://sample_s3_bucket/sample_file_path ./ 

   3. 使用 aws_commons.create_s3_uri 函数创建一个 aws_commons._s3_uri_1 结构以保存 Amazon S3 文件信息。您可以在对 aws_commons._s3_uri_1 函数的调用中将该 aws_s3.table_import_from_s3 结构作为参数提供。

      有关 psql 示例，请参阅以下内容。

      psql=> SELECT aws_commons.create_s3_uri(
         'sample_s3_bucket',
         'sample.csv',
         'us-east-1'
      ) AS s3_uri \gset

3. 提供权限以访问 Amazon S3 文件。

   要从 Amazon S3 文件中导入数据，请为 Aurora PostgreSQL 数据库集群提供权限以访问该文件所在的 Amazon S3 存储桶。为此，您可以使用 Amazon Identity and Access Management (IAM) 角色或安全凭证。有关更多信息，请参阅“设置 Amazon S3 存储桶的访问权限”。

4. 调用 aws_s3.table_import_from_s3 函数以导入 Amazon S3 数据。

   在完成以前的准备任务后，使用 aws_s3.table_import_from_s3 函数导入 Amazon S3 数据。有关更多信息，请参阅“使用 aws_s3.table_import_from_s3 函数导入 Amazon S3 数据”。

通过 IAM 角色授予 Aurora PostgreSQL 数据库集群访问 Amazon S3 的权限

1. 创建一个 IAM 策略。

   该策略提供存储桶和对象权限，以允许 Aurora PostgreSQL 数据库集群访问 Amazon S3。

   在策略中包含以下必需操作，以允许将文件从 Amazon S3 存储桶传输到 Aurora PostgreSQL：

   • s3:GetObject

   • s3:ListBucket

   在策略中包含以下资源以标识 Amazon S3 存储桶以及存储桶中的对象。这会显示用于访问 Amazon S3 的 Amazon Resource Name (ARN) 格式。

   • arn:aws:s3:::your-s3-bucket

   • arn:aws:s3:::your-s3-bucket/*

   有关为 Aurora PostgreSQL 创建 IAM 策略的更多信息，请参阅 创建和使用适用于 IAM 数据库访问的 IAM 策略。另请参阅 IAM 用户指南中的教程：创建和附加您的第一个客户托管策略。

   以下 Amazon CLI 命令使用这些选项创建一个名为 rds-s3-import-policy 的 IAM 策略。它授予访问名为 your-s3-bucket 的存储桶的权限。

   注意

   记下此命令返回的策略 Amazon Resource Name (ARN)。在将策略附加到 IAM 角色时，您在后面的步骤中需要使用 ARN。

   例

   对于 Linux、macOS 或 Unix：

   aws iam create-policy \
      --policy-name rds-s3-import-policy \
      --policy-document '{
        "Version": "2012-10-17",
        "Statement": [
          {
            "Sid": "s3import",
            "Action": [
              "s3:GetObject",
              "s3:ListBucket"
            ],
            "Effect": "Allow",
            "Resource": [
              "arn:aws:s3:::your-s3-bucket", 
              "arn:aws:s3:::your-s3-bucket/*"
            ] 
          }
        ] 
      }'                     

   对于 Windows：

   aws iam create-policy ^
      --policy-name rds-s3-import-policy ^
      --policy-document '{
        "Version": "2012-10-17",
        "Statement": [
          {
            "Sid": "s3import",
            "Action": [
              "s3:GetObject",
              "s3:ListBucket"
            ], 
            "Effect": "Allow",
            "Resource": [
              "arn:aws:s3:::your-s3-bucket", 
              "arn:aws:s3:::your-s3-bucket/*"
            ] 
          }
        ] 
      }'             

2. 创建一个 IAM 角色。

   这样，Aurora PostgreSQL 就可以担任该 IAM 角色以访问您的 Amazon S3 存储桶。有关更多信息，请参阅 IAM 用户指南中的创建向 IAM 用户委派权限的角色。

   我们建议在基于资源的策略中使用 aws:SourceArn 和 aws:SourceAccount 全局条件上下文键，以限制对特定资源的服务权限。这是防范混淆代理人问题最有效的方法。

   如果同时使用全局条件上下文键和包含账户 ID 的 aws:SourceArn 值，则 aws:SourceAccount 值和 aws:SourceArn 值中的账户在同一策略语句中使用时，必须使用相同的账户 ID。

   • 如果您想对单个资源进行跨服务访问，请使用 aws:SourceArn。

   • 如果您想允许该账户中的任何资源与跨服务使用操作相关联，请使用 aws:SourceAccount。

   在策略中，确保使用具有资源的完整 ARN 的 aws:SourceArn 全局条件上下文键。以下示例说明了如何使用 Amazon CLI 命令创建一个名为 rds-s3-import-role 的角色来实现该目的。

   例

   对于 Linux、macOS 或 Unix：

   aws iam create-role \
      --role-name rds-s3-import-role \
      --assume-role-policy-document '{
        "Version": "2012-10-17",
        "Statement": [
          {
            "Effect": "Allow",
            "Principal": {
               "Service": "rds.amazonaws.com"
             },
            "Action": "sts:AssumeRole",
            "Condition": {
                "StringEquals": {
                   "aws:SourceAccount": "111122223333",
                   "aws:SourceArn": "arn:aws:rds:us-east-1:111122223333:db:dbname"
                   }
                }
          }
        ] 
      }'

   对于 Windows：

   aws iam create-role ^
      --role-name rds-s3-import-role ^
      --assume-role-policy-document '{
        "Version": "2012-10-17",
        "Statement": [
          {
            "Effect": "Allow",
            "Principal": {
               "Service": "rds.amazonaws.com"
             },
            "Action": "sts:AssumeRole",
            "Condition": {
                "StringEquals": {
                   "aws:SourceAccount": "111122223333",
                   "aws:SourceArn": "arn:aws:rds:us-east-1:111122223333:db:dbname"
                   }
                }
          }
        ] 
      }'

3. 将您创建的 IAM 策略附加到您创建的 IAM 角色。

   以下 Amazon CLI 命令将上一步中创建的策略附加到一个名为 rds-s3-import-role 的角色。请将 your-policy-arn 替换为您在前面的步骤中记下的策略 ARN。

   例

   对于 Linux、macOS 或 Unix：

   aws iam attach-role-policy \
      --policy-arn your-policy-arn \
      --role-name rds-s3-import-role                    

   对于 Windows：

   aws iam attach-role-policy ^
      --policy-arn your-policy-arn ^
      --role-name rds-s3-import-role    

4. 将该 IAM 角色添加到数据库集群中。

   您可以使用 Amazon Web Services Management Console 或 Amazon CLI 执行该操作，如下所述。

导入使用自定义分隔符的文件

1. 在数据库中为导入的数据创建一个表。

   psql=> CREATE TABLE test (a text, b text, c text, d text, e text);

2. 使用以下形式的 aws_s3.table_import_from_s3 函数从 Amazon S3 文件导入数据。

   您可以在 aws_commons.create_s3_uri 函数调用中以内联方式包括 aws_s3.table_import_from_s3 函数调用来指定文件。

   psql=> SELECT aws_s3.table_import_from_s3(
      'test',
      'a,b,d,e',
      'DELIMITER ''|''', 
      aws_commons.create_s3_uri('sampleBucket', 'pipeDelimitedSampleFile', 'us-east-2')
   );