爬网程序属性

名称可以包含字母 (A-Z)、数字 (0-9)、连字符 (-)、或下划线 (_)，且长度最多为 255 个字符。

描述长度最多为 2048 个字符。

使用标签来组织和标识资源。有关更多信息，请参阅下列内容：

为您的数据是否已映射到 Amazon Glue 表？选择相应的选项

爬网程序可以直接访问数据存储作为爬取的源，也可以使用数据目录中的现有表作为源。如果爬网程序使用现有目录表，它将爬取由这些目录表指定的数据存储。有关更多信息，请参阅 爬网程序源类型。

选择或添加要由爬网程序扫描的数据源列表。

有关更多信息，请参阅 包含和排除模式。

定义爬网程序可以遍历的最大 Amazon S3 路径深度，以发现 Amazon S3 路径中的 Iceberg 或 Hudi 元数据文件夹。此参数的目的是限制爬网程序的运行时间。默认值为 10；最大值为 20。

您可以使用这些模式从爬取中排除某些文件或表。有关更多信息，请参阅 包含和排除模式。

每种源类型都需要一组不同的附加参数。以下是一个不完整的列表：

选择或添加 Amazon Glue 连接。有关连接的信息，请参阅 连接到数据。

选择爬网程序要爬取的其他元数据属性。

键入自定义 JDBC 驱动程序类名，以便爬网程序连接到数据来源：

选择 .jar 文件的现有 Amazon S3 路径。使用自定义 JDBC 驱动程序让爬网程序连接到数据来源时，.jar 文件将存储在这里。

选择是否仅对数据样本进行爬网。如果未选择该选项，则对整个表进行爬网。当表不是高吞吐量表时，扫描所有记录会花费很长时间。

选择要如何创建 Delta Lake 表：

指定爬网程序使用的 DynamoDB 表读取容量单位的百分比。读取容量单位是一个由 DynamoDB 定义的术语，它是一个数值，用作每秒可对表执行的读取次数的速率限制器。请输入介于 0.1 和 1.5 之间的值。如果未指定，则该值默认为 0.5（对于预配置的表）和配置的最大容量的 1/4（对于按需表）。请注意，只应将预置容量模式与 Amazon Glue 网络爬取程序结合使用。

可以包括一个用于此 Amazon S3 目标的网络连接。请注意，每个爬网程序仅限于一个网络连接，因此任何其他 Amazon S3 目标也将使用相同的连接（如果留空，则不使用任何连接）。

有关连接的信息，请参阅 连接到数据。

指定爬取数据集中的示例文件时要网络爬取的每个叶文件夹中的文件数。启用此功能后，爬网程序会随机选择每个叶文件夹中的一些文件进行网络爬取，而不是网络爬取此数据集中的所有文件。

采样爬网程序最适合于先前了解其数据格式并知道其文件夹中的架构不会更改的客户。启用此功能将显著减少爬网程序运行时间。

有效值是介于 1 到 249 之间的整数。如果未指定，则对所有文件进行爬取。

此字段是影响所有 Amazon S3 数据源的全局字段。

您可以先定义自定义分类器，然后再定义爬网程序。分类器检查爬网程序是否可以处理给定文件的格式。如果可以处理，分类器将以与该数据格式匹配的 StructType 对象的形式创建一个模式。

有关更多信息，请参阅 在 Amazon Glue 中向爬网程序添加分类器。

爬网程序将担任此角色。它必须具有类似于 Amazon 托管式策略 AWSGlueServiceRole 的权限。对于 Amazon S3 和 DynamoDB 源，它还必须具有访问数据存储的权限。如果爬网程序读取使用 Amazon Key Management Service（Amazon KMS）加密的 Amazon S3 数据，则该角色必须具有 Amazon KMS 密钥的解密权限。

对于 Amazon S3 数据存储，附加到角色的其他权限类似于以下内容：

{
   "Version": "2012-10-17",
    "Statement": [
        {
          "Effect": "Allow",
          "Action": [
              "s3:GetObject",
              "s3:PutObject"
          ],
          "Resource": [
              "arn:aws:s3:::bucket/object*"
          ]
        }
    ]
}

对于 Amazon DynamoDB 数据存储，附加到角色的其他权限类似于以下内容：

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "dynamodb:DescribeTable",
        "dynamodb:Scan"
      ],
      "Resource": [
        "arn:aws:dynamodb:region:account-id:table/table-name*"
      ]
    }
  ]
}

有关更多信息，请参阅 步骤 2：为 Amazon Glue 创建 IAM 角色和 适用于 Amazon Glue 的 Identity and Access Management。

允许爬网程序使用 Lake Formation 凭证爬取数据存储。

选中 Use Lake Formation credentials for crawling S3 data source（使用 Lake Formation 凭证爬取 S3 数据源）将允许爬网程序使用 Lake Formation 凭证爬取数据源。如果数据源属于另一个账户，则必须提供注册的账户 ID。否则，爬网程序将仅爬取与该账户关联的数据源。仅适用于 Amazon S3 和数据目录数据源。

设置包括安全配置。有关更多信息，请参阅下列内容：

选项包括爬网程序应如何处理检测到的架构更改、数据存储中的已删除对象等等。有关更多信息，请参阅 设置爬网程序配置选项。

您可以按需运行爬网程序，也可以在 Amazon Glue 中为爬网程序和作业定义基于时间的计划。这些计划的定义使用类似于 Unix 的 cron 语法。有关更多信息，请参阅 计划 Amazon Glue 爬网程序。