将 Aurora PostgreSQL 扩展与 Babelfish 搭配使用

使用 Aurora PostgreSQL 扩展的权限设置 Babelfish 数据库集群

1. 连接到 Babelfish 数据库集群。使用创建 Babelfish 数据库集群时指定的“主”用户名 (-U)。默认名称 (postgres) 如示例所示。

   对于 Linux、macOS 或 Unix：

   psql -h your-Babelfish.cluster.444455556666-us-east-1.rds.amazonaws.com \
   -U postgres \
   -d babelfish_db \
   -p 5432

   对于 Windows：

   psql -h your-Babelfish.cluster.444455556666-us-east-1.rds.amazonaws.com ^
   -U postgres ^
   -d babelfish_db ^
   -p 5432

   该命令将提示输入用户名 (-U) 的密码。

   Password:

   输入数据库集群用户名 (-U) 的密码。成功连接后，便可看到类似以下内容的输出。

   psql (13.4)
   SSL connection (protocol: TLSv1.3, cipher: TLS_AES_256_GCM_SHA384, bits: 256, compression: off)
   Type "help" for help.
   
   postgres=>

2. 向内部 Babelfish 用户授予创建和加载扩展的权限。

   babelfish_db=> GRANT rds_superuser TO master_dbo;
   GRANT ROLE

3. 创建并加载 aws_s3 扩展。aws_commons 扩展是必要扩展，会在 aws_s3 安装时自动安装。

   babelfish_db=> create extension aws_s3 cascade;
   NOTICE:  installing required extension "aws_commons"
   CREATE EXTENSION

4. 创建并加载 aws_lambda 扩展。

   babelfish_db=> create extension aws_lambda cascade;
   CREATE EXTENSION
   babelfish_db=>

为 Babelfish 数据库实例设置对 Amazon S3 存储桶的访问权限

1. 根据需要为 Babelfish 实例创建 Amazon S3 存储桶。为此，请参照《Amazon Simple Storage Service 控制台用户指南》中创建存储桶部分的说明。

2. 将文件上传到 Amazon S3 存储桶。为此，请参照《Amazon Simple Storage Service 控制台用户指南》中在存储桶中添加对象部分的步骤。

3. 根据需要设置权限：

   • 要从 Amazon S3 导入数据，Babelfish 数据库集群需要获得访问桶的权限。建议使用 Amazon Identity and Access Management (IAM) 角色，并将 IAM 策略附加到集群的该角色。为此，请按照使用 IAM 角色访问 Amazon S3 存储桶中的步骤进行操作。

   • 要从 Babelfish 数据库集群导出数据，必须向集群授予对 Amazon S3 桶的访问权限。与导入一样，建议使用 IAM 角色和策略。为此，请按照设置 Amazon S3 存储桶的访问权限中的步骤进行操作。

将数据从 Amazon S3 导入 Babelfish 以及将 Babelfish 数据导出到 Amazon S3

1. 将 aws_s3 扩展与 Babelfish 数据库集群搭配使用。

   这样做时，请务必参考 PostgreSQL 上下文中存在的表格。也就是说，如果想导入名为 [database].[schema].[tableA] 的 Babelfish 表，则在 aws_s3 函数中将该表称为 database_schema_tableA：

   • 有关使用 aws_s3 函数导入数据的示例，请参阅 将数据从 Amazon S3 导入到 Aurora PostgreSQL 数据库集群。

   • 有关使用 aws_s3 函数导出数据的示例，请参见 使用 aws_s3.query_export_to_s3 函数导出查询数据。

2. 在使用 aws_s3 扩展和 Amazon S3 时，请务必使用 PostgreSQL 命名参考 Babelfish 表，如下表所示。

为 Babelfish 数据库集群设置访问权限以使用 Lambda

此过程使用 Amazon CLI 创建 IAM 策略和角色，并将其与 Babelfish 数据库集群关联。

1. 创建允许从 Babelfish 数据库集群访问 Lambda 的 IAM 策略。

   aws iam create-policy  --policy-name rds-lambda-policy --policy-document '{
       "Version": "2012-10-17",
       "Statement": [
           {
           "Sid": "AllowAccessToExampleFunction",
           "Effect": "Allow",
           "Action": "lambda:InvokeFunction",
           "Resource": "arn:aws:lambda:aws-region:444455556666:function:my-function"
           }
       ]
   }'

2. 创建该策略可在运行时承担的 IAM 角色。

   aws iam create-role  --role-name rds-lambda-role --assume-role-policy-document '{
       "Version": "2012-10-17",
       "Statement": [
           {
           "Effect": "Allow",
           "Principal": {
               "Service": "rds.amazonaws.com"
           },
           "Action": "sts:AssumeRole"
           }
       ]
   }'

3. 将 策略附加到该角色。

   aws iam attach-role-policy \
       --policy-arn arn:aws:iam::444455556666:policy/rds-lambda-policy \
       --role-name rds-lambda-role --region aws-region
   

4. 向 Babelfish 数据库集群附加角色

   aws rds add-role-to-db-cluster \
          --db-cluster-identifier my-cluster-name \
          --feature-name Lambda \
          --role-arn  arn:aws:iam::444455556666:role/rds-lambda-role   \
          --region aws-region

从 Babelfish 数据库集群调用 Lambda 函数

Amazon Lambda 支持使用 Java、Node.js、Python、Ruby 和其他语言编写的函数。如果调用该函数时返回文本，则可以从 Babelfish 数据库集群中调用它。以下示例是返回问候语的占位符 Python 函数。

lambda_function.py
import json
def lambda_handler(event, context):
    #TODO implement
    return {
        'statusCode': 200,
        'body': json.dumps('Hello from Lambda!')

目前，Babelfish 不支持 JSON。如果函数返回 JSON，则可使用包装器来处理 JSON。例如，假设之前显示的 lambda_function.py 作为 my-function 存储在 Lambda 中。

1. 使用 psql 客户端（或 pgAdmin 客户端）连接到 Babelfish 数据库集群。有关更多信息，请参阅使用 psql 连接到数据库集群。

2. 创建包装器。此示例使用 PostgreSQL 的 SQL 程序语言：PL/pgSQL。要了解详情，请参阅 PL/pgSQL–SQL 程序语言。

   create or replace function master_dbo.lambda_wrapper()
   returns text
   language plpgsql
   as
   $$
   declare
      r_status_code integer;
      r_payload text;
   begin
      SELECT payload INTO r_payload
        FROM aws_lambda.invoke(  aws_commons.create_lambda_function_arn('my-function', 'us-east-1')
                               ,'{"body": "Hello from Postgres!"}'::json );
      return r_payload ;
   end;
   $$;

   该函数现在可以从 Babelfish TDS 端口 (1433) 或从 PostgreSQL 端口 (5433) 运行。

   1. 若要从 PostgreSQL 端口调用此函数：

      SELECT * from aws_lambda.invoke(aws_commons.create_lambda_function_arn('my-function', 'us-east-1'), '{"body": "Hello from Postgres!"}'::json );
      
      

      输出类似于以下内容：

      status_code |                        payload                        | executed_version | log_result
      -------------+-------------------------------------------------------+------------------+------------
               200 | {"statusCode": 200, "body": "\"Hello from Lambda!\""} | $LATEST          |
      (1 row)
      

   2. 若要从 TDS 端口调用此函数，请使用 SQL Server sqlcmd 命令行客户端连接到此端口。有关详细信息，请参阅使用 SQL Server 客户端连接到数据库集群。连接后，运行以下命令：

      1> select lambda_wrapper();
      2> go
      

      该命令返回的输出类似于下方内容：

      {"statusCode": 200, "body": "\"Hello from Lambda!\""}