在 Amazon Glue 控制台上使用爬网程序

使用控制台添加爬网程序

1. 登录 Amazon Web Services 管理控制台，然后通过以下网址打开 Amazon Glue 控制台：https://console.aws.amazon.com/glue/。在导航窗格中选择 Crawlers (爬网程序)。

2. 选择添加爬网程序，然后按照添加爬网程序向导中的说明进行操作。该向导将引导您完成以下步骤。

   1. 设置爬网程序属性。为您的爬网程序输入名称和描述（可选）。

      （可选）您可以使用 Tag key (标签键) 和可选的 Tag value (标签值) 来标记爬网程序。创建之后，标签键处于只读状态。对某些资源使用标签可帮助您整理和标识资源。有关更多信息，请参阅Amazon 标签在 Amazon Glue。

   2. 选择数据来源和分类器。在数据来源配置中，选择“尚未”或“是”来回答“您的数据是否映射到表 Amazon Glue ？ 默认情况下已选择“尚未”。

      如果您的数据已映射到 Amazon Glue 表，请选择添加数据来源。有关更多信息，请参阅添加 Amazon Glue 连接。

      在添加数据来源窗口中，选择您的数据来源，然后为您的数据来源选择相应的选项。

      （可选）如果选择 JDBC 作为数据来源，则在指定存储驱动程序信息的连接访问权限时，可以使用自己的 JDBC 驱动程序。

   3. 配置安全设置。选择一个现有 IAM 角色或新建一个新 IAM 角色。

      注意

      要添加自己的 JDBC 驱动程序，需要添加其他权限。有关更多信息，请参阅

      • 授予以下作业操作的权限：CreateJob、DeleteJob、GetJob、GetJobRun、StartJobRun。

      • 授予 Amazon S3 操作的权限：s3:DeleteObjects、s3:GetObject、s3:ListBucket、s3:PutObject。

        注意

        如果禁用 Amazon S3 存储桶策略，则不需要使用 s3:ListBucket。

      • 在 Amazon S3 策略中授予服务主体访问存储桶/文件夹的权限。

      Amazon S3 策略示例：

      {
          "Version": "2012-10-17",
          "Statement": [
              {
                  "Sid": "VisualEditor0",
                  "Effect": "Allow",
                  "Action": [
                      "s3:PutObject",
                      "s3:GetObject",
                      "s3:ListBucket",
                      "s3:DeleteObject"
                  ],
                  "Resource": [
                      "arn:aws:s3:::bucket-name/driver-parent-folder/driver.jar",
                      "arn:aws:s3:::bucket-name"
                  ]
              }
          ]
      }
                                  
                              

      Amazon Glue创建以下文件夹（_crawler 和 _glue_job_crawler，级别与 Amazon S3 存储桶中的 JDBC 驱动程序相同）。例如，如果驱动程序路径为 <s3-path/driver_folder/driver.jar>，则将创建以下文件夹（如果这些文件夹尚不存在）：

      • <s3-path/driver_folder/_crawler>

      • <s3-path/driver_folder/_glue_job_crawler>

      （可选）您可以向爬网程序添加安全配置来指定静态加密选项。

   4. 设置输出和计划。您可以选择目标数据库，为表名添加前缀，并设置最大表阈值（可选）。

      选择爬网程序计划时，请选择频率。

   5. 审核和创建 选择编辑可对向导中的任何步骤进行更改。完成后，选择创建爬网程序。