在 Lake Formation 中从 JDBC 来源创建数据湖

1. 使用 https://console.amazonaws.cn/iam 打开 IAM 控制台。以您在中创建的管理员用户或使用 AdministratorAccess Amazon 托管策略的用户身份登录。

2. 使用以下设置创建名为 datalake_user 的用户：

   • 启用 Amazon Web Services Management Console 访问。

   • 设置密码，不需要重置密码。

   • 附加 AmazonAthenaFullAccess Amazon 托管策略。

   • 附加下面的内联策略。将该策略命名为 DatalakeUserBasic。

     {
         "Version": "2012-10-17",
         "Statement": [
             {
                 "Effect": "Allow",
                 "Action": [
                     "lakeformation:GetDataAccess",
                     "glue:GetTable",
                     "glue:GetTables",
                     "glue:SearchTables",
                     "glue:GetDatabase",
                     "glue:GetDatabases",
                     "glue:GetPartitions",
                     "lakeformation:GetResourceLFTags",
                     "lakeformation:ListLFTags",
                     "lakeformation:GetLFTag",
                     "lakeformation:SearchTablesByLFTags",
                     "lakeformation:SearchDatabasesByLFTags"                
                ],
                 "Resource": "*"
             }
         ]
     }

创建连接

1. 在 https://console.amazonaws.cn/glue/ 中打开 Amazon Glue 控制台，并以您在中创建的管理员用户身份登录。

2. 在导航窗格的 Data catalog (数据目录) 下，选择 Connections (连接)。

3. 在 Connectors (连接器) 页面上，选择 Create custom connector (创建自定义连接器)。

4. 在连接器属性页面上，输入 datalake-tutorial 作为连接名称，然后选择 JDBC 作为连接类型。然后选择下一步。

5. 继续运行连接向导并保存连接。

   有关创建连接的信息，请参阅《Amazon Glue 开发人员指南》中的 Amazon Glue JDBC 连接属性。

1. 通过 https://console.aws.amazon.com/s3/ 打开 Amazon S3 控制台，并以您在中创建的管理员用户身份登录。

2. 选择创建存储桶，然后通过向导创建名为 <yourName>-datalake-tutorial 的存储桶，其中 <yourName> 是您的名字和姓氏。例如：jdoe-datalake-tutorial。

   有关创建 Amazon S3 存储桶的详细说明，请参阅《Amazon Simple Storage Service 用户指南》中的如何创建 S3 存储桶？。

1. 通过 https://console.aws.amazon.com/lakeformation/ 打开 Lake Formation 控制台。以数据湖管理员身份登录。

2. 在导航窗格的管理下，选择数据湖位置。

3. 选择注册位置，然后选择浏览。

4. 选择您之前创建的 <yourName>-datalake-tutorial 存储桶，接受默认 IAM 角色 AWSServiceRoleForLakeFormationDataAccess，然后选择注册位置。

   有关注册位置的更多信息，请参阅向数据湖添加 Amazon S3 位置。

1. 在 Lake Formation 控制台的导航窗格中，在权限下选择数据位置。

2. 选择授权，然后在授予权限对话框中执行以下操作：

   1. 对于 IAM 用户和角色，请选择 LakeFormationWorkflowRole。

   2. 对于存储位置，选择您的 <yourName>-datalake-tutorial 存储桶。

3. 选择授权。

1. 在 Lake Formation 控制台的导航窗格中，在数据目录下选择数据库。

2. 选择创建数据库，然后在数据库详细信息下输入名称 lakeformation_tutorial。

3. 将其他字段留空，然后选择创建数据库。

1. 在 Lake Formation 控制台的导航窗格中，在权限下选择数据湖权限。

2. 选择授权，然后在授予数据权限对话框中执行以下操作：

   1. 在主体下，对于 IAM 用户和角色，选择 LakeFormationWorkflowRole。

   2. 在 LF 标签或目录资源下，选择命名数据目录资源。

   3. 对于数据库，请选择您之前创建的数据库 lakeformation_tutorial。

   4. 在数据库权限下，选择创建表、更改和删除，如果已选中超级，请将其清除。

3. 选择授权。

1. 在 Lake Formation 控制台的导航窗格中，选择蓝图，然后选择使用蓝图。

2. 在使用蓝图页面的蓝图类型下，选择数据库快照。

3. 在导入源下的数据库连接中，选择您刚刚创建的连接 datalake-tutorial，或者为您的数据来源选择一个现有连接。

4. 对于源数据路径，以 <database>/<schema>/<table> 形式输入从中摄取数据的路径。

   您可以用百分比 (%) 字符替换架构或表。对于支持架构的数据库，请输入 <database>/<schema>/% 以匹配 <database> 中 <schema> 内的所有表。Oracle Database 和 MySQL 不支持路径中的架构，所以请改为输入 <database>/%。对于 Oracle 数据库，<database> 是系统标识符 (SID)。

   例如，如果 Oracle 数据库的 SID 为 orcl，则输入 orcl/% 以匹配在 JDCB 连接中指定的用户有权访问的所有表。

   重要

   此字段区分大小写。

5. 在导入目标下，指定以下参数：

   目标数据库	lakeformation_tutorial
   目标存储位置	s3://<yourName>-datalake-tutorial
   Data format（数据格式）	（选择 Parquet 或 CSV）

6. 对于导入频率，选择按需运行。

7. 在导入选项下，指定以下参数：

   工作流名称	lakeformationjdbctest
   IAM 角色	LakeFormationWorkflowRole
   表前缀	jdbctest 注意 必须小写。

8. 选择创建，然后等待控制台报告已成功创建工作流。

   提示

   您是否收到了以下错误消息？

   User: arn:aws:iam::<account-id>:user/<datalake_administrator_user> is not authorized to perform: iam:PassRole on resource:arn:aws:iam::<account-id>:role/LakeFormationWorkflowRole...

   如果收到了，请检查您将是否将数据湖管理员用户的内联策略中的 <account-id> 替换为了有效的 Amazon 帐号。

1. 在 Lake Formation 控制台的蓝图页面上，选择工作流 lakeformationjdbctest。

2. 选择操作，然后选择启动。

3. 当工作流运行时，您可以在上次运行状态列中查看其进度。时不时地选择刷新按钮。

   状态从正在运行依次变为正在发现、正在导入和已完成。

   工作流完成后：

   • 数据目录中将含有新的元数据表。

   • 您的数据已被摄取到数据湖中。

   如果工作流失败，请执行以下操作：

   1. 选择工作流。选择操作，然后选择查看图表。

      该工作流将在 Amazon Glue 控制台中打开。

   2. 选择该工作流，然后选择历史记录选项卡。

   3. 选择最近的运行，然后选择查看运行详细信息。

   4. 在动态（运行时）图表中选择失败的作业或爬网程序，然后查看错误消息。失败的节点为红色或黄色。

1. 在 Lake Formation 控制台的导航窗格中，在权限下选择数据湖权限。

2. 选择授权，然后在授予数据权限对话框中执行以下操作：

   1. 在主体下，对于 IAM 用户和角色，选择 datalake_user。

   2. 在 LF 标签或目录资源下，选择命名数据目录资源。

   3. 对于数据库，选择 lakeformation_tutorial。

      表列表即会填充。

   4. 对于表，从数据来源中选择一个或多个表。

   5. 在表和列权限 下，选择选择。

3. 选择授权。

1. 通过 https://console.aws.amazon.com/athena/ 打开 Athena 控制台并以数据分析师用户 datalake_user 的身份登录。

2. 如有必要，请选择开始使用以继续使用 Athena 查询编辑器。

3. 对于数据来源，选择 AwsDataCatalog。

4. 对于 Database (数据库)，请选择 lakeformation_tutorial。

   表列表即会填充。

5. 在其中一个表旁边的弹出菜单中，选择预览表。

   查询即会运行并显示 10 行数据。

设置运行 Amazon Redshift 查询的权限

1. 通过 https://console.aws.amazon.com/iam/ 打开 IAM 控制台。以您在中创建的管理员用户（用户名 Administrator）或使用 AdministratorAccess Amazon 托管策略的用户身份登录。

2. 在导航窗格中，选择策略。

   如果这是您首次选择 Policies，则会显示 Welcome to Managed Policies 页面。选择开始使用。

3. 选择创建策略。

4. 选择 JSON 选项卡。

5. 粘贴以下 JSON 策略文档。

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "lakeformation:GetDataAccess",
                   "glue:GetTable",
                   "glue:GetTables",
                   "glue:SearchTables",
                   "glue:GetDatabase",
                   "glue:GetDatabases",
                   "glue:GetPartitions",
                   "lakeformation:GetResourceLFTags",
                   "lakeformation:ListLFTags",
                   "lakeformation:GetLFTag",
                   "lakeformation:SearchTablesByLFTags",
                   "lakeformation:SearchDatabasesByLFTags"                
              ],
               "Resource": "*"
           }
       ]
   }

6. 完成后，选择审核对策略进行审核。策略验证程序将报告任何语法错误。

7. 在查看策略页面上，输入 RedshiftLakeFormationPolicy 作为您要创建的策略的名称。输入描述（可选）。查看策略摘要以查看您的策略授予的权限。然后，选择创建策略以保存您的工作。

8. 在 IAM 控制台的导航窗格中，选择角色，然后选择创建角色。

9. 对于选择可信实体，选择 Amazon 服务。

10. 选择 Amazon Redshift 服务来代入此角色。

11. 为您的服务选择 Redshift Customizable (Redshift 可自定义)。然后选择 Next: Permissions (下一步：权限)。

12. 搜索刚创建的策略 RedshiftLakeFormationPolicy，然后在列表中选中该策略名称旁边的复选框。

13. 选择下一步：标签。

14. 选择下一步：审核。

15. 对于角色名称，输入名称 RedshiftLakeFormationRole。

16. （可选）对于 Role description (角色描述)，输入新角色的描述。

17. 检查该角色，然后选择创建角色。

授予对 Lake Formation 数据库中要查询的表的 Select 权限

1. 通过 https://console.aws.amazon.com/lakeformation/ 打开 Lake Formation 控制台。以数据湖管理员身份登录。

2. 在导航窗格的权限下，选择数据湖权限，然后选择授权。

3. 提供以下信息：

   • 对于 IAM 用户和角色，选择您创建的 IAM 角色 RedshiftLakeFormationRole。运行 Amazon Redshift 查询编辑器时，它使用此 IAM 角色来获取数据权限。

   • 对于 Database (数据库)，请选择 lakeformation_tutorial。

     表列表即会填充。

   • 对于表，选择数据来源中要查询的表。

   • 选择选择表权限。

4. 选择授权。

设置 Amazon Redshift Spectrum 并运行查询

1. 通过以下网址打开 Amazon Redshift 控制台：https://console.amazonaws.cn/redshift。以用户 Administrator 的身份登录。

2. 选择创建集群。

3. 在创建集群页面上，输入 redshift-lakeformation-demo 作为集群标识符。

4. 对于节点类型，选择 dc2.large。

5. 向下滚动，在数据库配置下输入或接受以下参数：

   • 管理用户名称：awsuser

   • 管理用户密码：(Choose a password)

6. 展开集群权限，对于可用的 IAM 角色，选择 RedshiftLakeFormationRole。然后选择 Add IAM role (添加 IAM 角色)。

7. 如果您必须使用的端口与默认值 5439 不同，请关闭其他配置旁边的使用默认值选项。展开数据库配置部分，然后输入新的数据库端口号。

8. 选择创建集群。

   集群页面即会加载。

9. 等待到集群状态变为可用。定期选择刷新图标。

10. 向数据分析师授予对集群运行查询的权限。为此，请完成以下步骤。

    1. 通过网址 https://console.aws.amazon.com/iam/ 打开 IAM 控制台，然后以 Administrator 用户身份登录。

    2. 在导航窗格中，选择用户，然后选择将以下托管策略附加到用户 datalake_user。

       • AmazonRedshiftQueryEditor

       • AmazonRedshiftReadOnlyAccess

11. 退出 Amazon Redshift 控制台，然后以用户 datalake_user 身份重新登录。

12. 在左侧垂直工具栏中，选择编辑器图标以打开查询编辑器并连接到集群。如果连接到数据库对话框出现，请选择集群名称 redshift-lakeformation-demo，然后输入数据库名称 dev、用户名 awsuser 和您创建的密码。然后，选择 Connect to database (连接到数据库)。

    注意

    如果系统没有提示您输入连接参数，并且已经在查询编辑器中选择了另一个集群，请选择更改连接打开连接到数据库对话框。

13. 在新查询 1 文本框中，输入并运行以下语句以将 Lake Formation 中的数据库 lakeformation_tutorial 映射到 Amazon Redshift 架构名称 redshift_jdbc：

    重要

    将 <account-id> 替换为有效的 Amazon 账户编号，并将 <region> 替换为有效的 Amazon 区域名称（例如，us-east-1）。

    create external schema if not exists redshift_jdbc from DATA CATALOG database 'lakeformation_tutorial' iam_role 'arn:aws:iam::<account-id>:role/RedshiftLakeFormationRole' region '<region>';

14. 在选择架构下的架构列表中，选择 redshift_jdbc。

    表列表即会填充。查询编辑器仅显示您被授予了对其的 Lake Formation 数据湖权限的表。

15. 在表名称旁边的弹出菜单中，选择预览数据。

    Amazon Redshift 将返回前 10 行。

    现在，您可对您对其拥有权限的表和列运行查询。