配置爬网程序

名称可以包含字母 (A-Z)、数字 (0-9)、连字符 (-)、或下划线 (_)，且长度最多为 255 个字符。

描述长度最多为 2048 个字符。

使用标签来组织和标识资源。有关更多信息，请参阅下列内容：

为您的数据是否已映射到 Amazon Glue 表？选择相应的选项，选择“尚未”或“是”。默认情况下已选择“尚未”。

爬网程序可以直接访问数据存储作为爬取的源，也可以使用数据目录中的现有表作为源。如果爬网程序使用现有目录表，它将爬取由这些目录表指定的数据存储。

选择或添加要由爬网程序扫描的数据源列表。

（可选）如果选择 JDBC 作为数据来源，则在指定存储驱动程序信息的连接访问权限时，可以使用自己的 JDBC 驱动程序。

在评估要在爬取中包含或排除的内容时，爬网程序首先评估所需的包含路径。对于 Amazon S3、MongoDB、MongoDB Atlas、Amazon DocumentDB（与 MongoDB 兼容）和关系数据存储，您必须指定包含路径。

对于 MongoDB、MongoDB Atlas 和 Amazon DocumentDB（与 MongoDB 兼容），语法为 database/collection。

对于 JDBC 数据存储，语法为 database-name/schema-name/table-name 或 database-name/table-name。语法取决于数据库引擎是否支持数据库中的架构。例如，对于 MySQL 或 Oracle 等数据库引擎，请不要在包含路径中指定 schema-name。您可以用百分号 (%) 取代包含路径中的架构或表，以表示数据库中的所有架构或所有表。您不能用百分号 (%) 取代包含路径中的数据库。

定义爬网程序可以遍历的最大 Amazon S3 路径深度，以发现 Amazon S3 路径中的 Iceberg 或 Hudi 元数据文件夹。此参数的目的是限制爬网程序的运行时间。默认值为 10；最大值为 20。

您可以使用这些模式从爬取中排除某些文件或表。排除路径与包含路径是相对的。例如，要排除 JDBC 数据存储中的一个表，请在排除路径中键入该表的名称。

爬网程序使用包含 JDBC URI 连接字符串的 Amazon Glue 连接连接到 JDBC 数据存储。该爬网程序只能使用 Amazon Glue 连接中的 JDBC 用户名和密码来访问数据库引擎中的对象。爬网程序只能创建它通过 JDBC 连接可以访问的表。在爬网程序使用 JDBC URI 访问数据库引擎后，包含路径用于确定在数据目录中创建了数据库引擎中的哪些表。例如，对于 MySQL，如果您指定包含路径 MyDatabase/%，则 MyDatabase 中的所有表都是在数据目录中创建的。访问 Amazon Redshift 时，如果您指定包含路径 MyDatabase/%，则数据库 MyDatabase 的所有架构中的所有表都是在数据目录中创建的。如果您指定包含路径 MyDatabase/MySchema/%，则会创建数据库 MyDatabase 和架构 MySchema 中的所有表。

指定包含路径后，您可以通过指定一个或多个 Unix 样式 glob 排除模式，从网络爬取中排除对象 (否则您的包含路径会包括它)。这些模式应用于您的包含路径，以确定哪些对象被排除。这些模式也会存储为由爬网程序创建的表的属性。Amazon GluePySpark 扩展（例如 create_dynamic_frame.from_catalog）读取表属性并排除由排除模式定义的对象。

Amazon Glue 在排除模式中支持以下类型的 glob 模式。

Amazon Glue 解释 glob 排除模式，如下所示：

/mybucket/myfolder/
   departments/
      finance.json
      market-us.json
      market-emea.json
      market-ap.json
   employees/
      hr.json
      john.csv
      jane.csv
      juan.txt

 2015/01/{[!0],0[8-9]}**, 2015/0[2-9]/**, 2015/1[0-2]/**    
 

MyDatabase/MySchema/
   HR_us
   HR_fr
   Employees_Table
   Finance
   Market_US_Table
   Market_EMEA_Table
   Market_AP_Table

每种源类型都需要一组不同的附加参数。以下是一个不完整的列表：

选择或添加 Amazon Glue 连接。有关连接的信息，请参阅 连接到数据。

选择爬网程序要爬取的其他元数据属性。

键入自定义 JDBC 驱动程序类名，以便爬网程序连接到数据来源：

选择 .jar 文件的现有 Amazon S3 路径。使用自定义 JDBC 驱动程序让爬网程序连接到数据来源时，.jar 文件将存储在这里。

选择是否仅对数据样本进行爬网。如果未选择该选项，则对整个表进行爬网。当表不是高吞吐量表时，扫描所有记录会花费很长时间。

选择要如何创建 Delta Lake 表：

指定爬网程序使用的 DynamoDB 表读取容量单位的百分比。读取容量单位是一个由 DynamoDB 定义的术语，它是一个数值，用作每秒可对表执行的读取次数的速率限制器。请输入介于 0.1 和 1.5 之间的值。如果未指定，则该值默认为 0.5（对于预配置的表）和配置的最大容量的 1/4（对于按需表）。请注意，只应将预置容量模式与 Amazon Glue 网络爬取程序结合使用。

可以包括一个用于此 Amazon S3 目标的网络连接。请注意，每个爬网程序仅限于一个网络连接，因此任何其他 Amazon S3 目标也将使用相同的连接（如果留空，则不使用任何连接）。

有关连接的信息，请参阅 连接到数据。

指定爬取数据集中的示例文件时要网络爬取的每个叶文件夹中的文件数。启用此功能后，爬网程序会随机选择每个叶文件夹中的一些文件进行网络爬取，而不是网络爬取此数据集中的所有文件。

采样爬网程序最适合于先前了解其数据格式并知道其文件夹中的架构不会更改的客户。启用此功能将显著减少爬网程序运行时间。

有效值是介于 1 到 249 之间的整数。如果未指定，则对所有文件进行爬取。

此字段是影响所有 Amazon S3 数据源的全局字段。

您可以先定义自定义分类器，然后再定义爬网程序。分类器检查爬网程序是否可以处理给定文件的格式。如果可以处理，分类器将以与该数据格式匹配的 StructType 对象的形式创建一个模式。

有关更多信息，请参阅 在 Amazon Glue 中向爬网程序添加分类器。

爬网程序将担任此角色。它必须具有类似于 Amazon 托管式策略 AWSGlueServiceRole 的权限。对于 Amazon S3 和 DynamoDB 源，它还必须具有访问数据存储的权限。如果爬网程序读取使用 Amazon Key Management Service（Amazon KMS）加密的 Amazon S3 数据，则该角色必须具有 Amazon KMS 密钥的解密权限。

对于 Amazon S3 数据存储，附加到角色的其他权限类似于以下内容：

{
   "Version": "2012-10-17",
    "Statement": [
        {
          "Effect": "Allow",
          "Action": [
              "s3:GetObject",
              "s3:PutObject"
          ],
          "Resource": [
              "arn:aws:s3:::bucket/object*"
          ]
        }
    ]
}

对于 Amazon DynamoDB 数据存储，附加到角色的其他权限类似于以下内容：

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "dynamodb:DescribeTable",
        "dynamodb:Scan"
      ],
      "Resource": [
        "arn:aws:dynamodb:region:account-id:table/table-name*"
      ]
    }
  ]
}

要添加自己的 JDBC 驱动程序，需要添加其他权限。

Amazon S3 策略示例：

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "VisualEditor0",
            "Effect": "Allow",
            "Action": [
                "s3:PutObject",
                "s3:GetObject",
                "s3:ListBucket",
                "s3:DeleteObject"
            ],
            "Resource": [
                "arn:aws:s3:::bucket-name/driver-parent-folder/driver.jar",
                "arn:aws:s3:::bucket-name"
            ]
        }
    ]
}
                            
                        

Amazon Glue创建以下文件夹（_crawler 和 _glue_job_crawler，级别与 Amazon S3 存储桶中的 JDBC 驱动程序相同）。例如，如果驱动程序路径为 <s3-path/driver_folder/driver.jar>，则将创建以下文件夹（如果这些文件夹尚不存在）：

（可选）您可以向爬网程序添加安全配置来指定静态加密选项。

有关更多信息，请参阅步骤 2：为 Amazon Glue 创建 IAM 角色 和适用于 Amazon Glue 的 Identity and Access Management。

允许爬网程序使用 Lake Formation 凭证爬取数据存储。

选中 Use Lake Formation credentials for crawling S3 data source（使用 Lake Formation 凭证爬取 S3 数据源）将允许爬网程序使用 Lake Formation 凭证爬取数据源。如果数据源属于另一个账户，则必须提供注册的账户 ID。否则，爬网程序将仅爬取与该账户关联的数据源。仅适用于 Amazon S3 和数据目录数据源。

设置包括安全配置。有关更多信息，请参阅下列内容：

选项包括爬网程序应如何处理检测到的架构更改、数据存储中的已删除对象等等。有关更多信息，请参阅 自定义爬网程序行为

您可以按需运行爬网程序，也可以在 Amazon Glue 中为爬网程序和作业定义基于时间的计划。这些计划的定义使用类似于 Unix 的 cron 语法。有关更多信息，请参阅 计划 Amazon Glue 爬网程序。