任务 - Amazon Glue
 —  数据类型  —任务ExecutionPropertyNotificationPropertyJobCommandConnectionsListJobUpdateSourceControlDetails —  操作  —CreateJob （Create_job）UpdateJob （Update_job）GetJob （get_job）GetJobs （Get_jobs）DeleteJob （Delete_job）ListJobs （List_jobs）BatchGetJobs （batch_jobs_jobs）UpdateSourceControlFromJob （从作业的最大次数）UpdateJobFromSourceControl （从_source_control_job_from_
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

任务

任务 API 介绍与在 Amazon Glue 中创建、更新、删除或查看任务相关的数据类型和 API。

数据类型

Job 结构

指定作业定义。

字段

  • Name – UTF-8 字符串，长度不少于 1 个字节或超过 255 个字节，与 Single-line string pattern 匹配。

    您分配给该作业定义的名称。

  • Description – 描述字符串，长度不超过 2048 个字节，与 URI address multi-line string pattern 匹配。

    作业的描述。

  • LogUri – UTF-8 字符串。

    该字段保留，以供将来使用。

  • Role – UTF-8 字符串。

    与此作业关联的 IAM 角色的名称或 Amazon 资源名称（ARN）。

  • CreatedOn – 时间戳。

    创建此作业定义的时间和日期。

  • LastModifiedOn – 时间戳。

    修改此作业定义时的最后一个时间点。

  • ExecutionProperty – 一个 ExecutionProperty 对象。

    一个 ExecutionProperty，指定该作业允许的最大并发运行数。

  • Command – 一个 JobCommand 对象。

    运行此任务的 JobCommand。

  • DefaultArguments – 键值对的映射数组。

    每个键是一个 UTF-8 字符串。

    每个值是一个 UTF-8 字符串。

    此作业的默认参数，指定为名称-值对。

    可以在此处指定您自己的任务执行脚本使用的参数以及 Amazon Glue 本身使用的参数。

    有关如何指定和使用您自己的任务参数的信息，请参阅开发人员指南中的在 Python 中调用 Amazon Glue API 主题。

    有关 Amazon Glue 用于设置任务的键值对的信息，请参阅开发人员指南中的由 Amazon Glue 使用的特殊参数主题。

  • NonOverridableArguments – 键值对的映射数组。

    每个键是一个 UTF-8 字符串。

    每个值是一个 UTF-8 字符串。

    此作业的不可覆盖参数，指定为名称-值对。

  • Connections – 一个 ConnectionsList 对象。

    用于此作业的连接。

  • MaxRetries – 数字（整数）。

    作业的最大次数 JobRun 。

  • AllocatedCapacity – 数字（整数）。

    此字段已弃用。请改用 MaxCapacity。

    分配给此任务运行的 Amazon Glue 数据处理单元（DPU）的数量。您可以分配至少 2 个 DPU；默认值为 10。DPU 是对处理能力的相对度量，它由 4 个 vCPU 的计算容量和 16GB 内存组成。有关更多信息，请参阅 Amazon Glue 价格页面。

  • Timeout - 数字（整数），至少为 1。

    作业超时（以分钟为单位）。这是任务运行在终止并进入 TIMEOUT 状态前可以使用资源的最长时间。默认值为 2880 分钟（48 小时）。

  • MaxCapacity – 数字（double）。

    对于 Glue 版本 1.0 或更早版本的任务，使用标准工件类型，表示此任务运行时可分配的 Amazon Glue 数据处理单元（DPU）的数量。DPU 是对处理能力的相对度量，它由 4 个 vCPU 的计算容量和 16GB 内存组成。有关更多信息，请参阅 Amazon Glue 价格页面。

    如果使用 WorkerType 和 NumberOfWorkers，请勿设置 Max Capacity。

    可为 MaxCapacity 分配的值取决于您运行的是 Python shell 作业、Apache Spark ETL 作业，还是 Apache Spark 流 ETL 作业：

    • 当您指定 Python shell 作业 (JobCommand.Name="pythonshell")，您可以分配 0.0625 或 1 DPU。默认值为 0.0625 DPU。

    • 当您指定 Apache Spark ETL 作业 (JobCommand.Name="glueetl") 或 Apache Spark 流 ETL 作业 (JobCommand.Name="gluestreaming") 时，您可以分配 2 到 100 个 DPU。默认为 10 个 DPU。此任务类型不能具有小数 DPU 分配。

    对于 Glue 版本 2.0 任务，则不能指定 Maximum capacity。而应指定 Worker type 和 Number of workers。

  • WorkerType – UTF-8 字符串（有效值：Standard="" | G.1X="" | G.2X="" | G.025X=""）。

    任务运行时分配的预定义工作线程的类型。接受的值为 Standard、G.1X、G.2X 或 G.025X。

    • 对于 Standard 工作线程类型，每个工作线程提供 4 个 vCPU、16 GB 内存和 50GB 磁盘，并且每个工作线程提供 2 个执行器。

    • 对于 G.1X 工作线程类型，每个工作线程映射到 1 个 DPU（4 个 vCPU，16 GB 内存，64 GB 磁盘），并且每个工作线程提供 1 个执行器。我们建议内存密集型作业使用该工作线程类型。

    • 对于 G.2X 工作线程类型，每个工作线程映射到 2 个 DPU（8 个 vCPU，32 GB 内存，128 GB 磁盘），并且每个工作线程提供 1 个执行器。我们建议内存密集型作业使用该工作线程类型。

    • 对于 G.025X Worker 类型，每个 Worker 映射到 0.25 个 DPU（2 个 vCPU，4 GB 内存，64 GB 磁盘），并且每个 Worker 提供 1 个执行器。我们建议为低容量串流任务使用此 Worker 类型。此 Worker 类型仅适用于 Amazon Glue 版本 3.0 串流任务。

  • NumberOfWorkers – 数字（整数）。

    任务运行时分配的定义 workerType 的工作线程数。

  • SecurityConfiguration – UTF-8 字符串，长度不少于 1 个字节或超过 255 个字节，与 Single-line string pattern 匹配。

    该作业将使用的 SecurityConfiguration 结构的名称。

  • NotificationProperty – 一个 NotificationProperty 对象。

    指定作业通知的配置属性。

  • GlueVersion – UTF-8 字符串，长度不少于 1 个字节或超过 255 个字节，与 Custom string pattern #15 匹配。

    Glue 版本决定了 Amazon Glue 支持的 Apache Spark 和 Python 版本。Python 版本指示了 Spark 类型的任务支持的版本。

    有关可用的 Amazon Glue 版本以及相应的 Spark 和 Python 版本的更多信息，请参阅开发人员指南中的 Glue 版本。

    在未指定 Glue 版本的情况下创建的任务默认为 Glue 0.9。

  • CodeGenConfigurationNodes – 键值对的映射数组。

    每个键都是一个 UTF-8 字符串，与 Custom string pattern #30 匹配。

    每个值都是一个 CodeGenConfigurationNode 对象。

    定向非循环图表的表示形式，Glue Studio 可视化组件和 Glue Studio 代码生成都是基于该图表的。

  • ExecutionClass – UTF-8 字符串，长度不超过 16 个字节（有效值：FLEX="" | STANDARD=""）。

    指示任务是使用标准执行类还是灵活执行类运行的。标准执行类非常适合需要快速任务启动和专用资源的时间敏感型工作负载。

    灵活执行类适用于启动和完成时间可能不同的时间不敏感型作业。

    只有具有 Amazon Glue 版本 3.0 和以上版本以及命令类型 glueetl 的任务才允许将 ExecutionClass 设置为 FLEX。灵活的执行类可用于 Spark 任务。

  • SourceControlDetails – 一个 SourceControlDetails 对象。

    作业源代码控制配置的详细信息，允许将作业构件同步到远程存储库或从远程存储库同步。

ExecutionProperty 结构

作业的执行属性。

字段

  • MaxConcurrentRuns – 数字（整数）。

    作业允许的最大并发运行数。默认值为 1。达到此阈值时，将返回一个错误。可以指定的最大值由服务限制控制。

NotificationProperty 结构

指定通知的配置属性。

字段

  • NotifyDelayAfter - 数字（整数），至少为 1。

    在作业运行开始后，发送作业运行延迟通知之前等待的分钟数。

JobCommand 结构

指定任务运行时运行的代码。

字段

  • Name – UTF-8 字符串。

    作业命令的名称。对于 Apache Spark ETL 作业，这必须是 glueetl。对于 Python shell 作业，它必须为 pythonshell。对于 Apache Spark 流 ETL 作业，这必须是 gluestreaming。

  • ScriptLocation – UTF-8 字符串，长度不超过 400000 个字节。

    指定运行任务的脚本的 Amazon Simple Storage Service（Amazon S3）路径。

  • PythonVersion – UTF-8 字符串，与 Custom string pattern #16 匹配。

    运行 Python shell 任务所用的 Python 版本。允许的值为 2 或 3。

ConnectionsList 结构

指定作业所使用的连接。

字段

  • Connections – UTF-8 字符串数组。

    作业所使用的连接的列表。

JobUpdate 结构

指定用于更新现有作业定义的信息。此信息会完全覆盖先前的作业定义。

字段

  • Description – 描述字符串，长度不超过 2048 个字节，与 URI address multi-line string pattern 匹配。

    要定义的作业的描述。

  • LogUri – UTF-8 字符串。

    该字段保留，以供将来使用。

  • Role – UTF-8 字符串。

    与此作业关联的 IAM 角色的名称或 Amazon Resource Name (ARN)（必填）。

  • ExecutionProperty – 一个 ExecutionProperty 对象。

    一个 ExecutionProperty，指定该作业允许的最大并发运行数。

  • Command – 一个 JobCommand 对象。

    运行此任务的 JobCommand（必填）。

  • DefaultArguments – 键值对的映射数组。

    每个键是一个 UTF-8 字符串。

    每个值是一个 UTF-8 字符串。

    此作业的默认参数。

    可以在此处指定您自己的任务执行脚本使用的参数以及 Amazon Glue 本身使用的参数。

    有关如何指定和使用您自己的任务参数的信息，请参阅开发人员指南中的在 Python 中调用 Amazon Glue API 主题。

    有关 Amazon Glue 用于设置任务的键值对的信息，请参阅开发人员指南中的由 Amazon Glue 使用的特殊参数主题。

  • NonOverridableArguments – 键值对的映射数组。

    每个键是一个 UTF-8 字符串。

    每个值是一个 UTF-8 字符串。

    此作业的不可覆盖参数，指定为名称-值对。

  • Connections – 一个 ConnectionsList 对象。

    用于此作业的连接。

  • MaxRetries – 数字（整数）。

    在该作业失败时重试的最大次数。

  • AllocatedCapacity – 数字（整数）。

    此字段已弃用。请改用 MaxCapacity。

    要分配给该任务的 Amazon Glue 数据处理单元（DPU）的数量。您可以分配至少 2 个 DPU；默认值为 10。DPU 是对处理能力的相对度量，它由 4 个 vCPU 的计算容量和 16GB 内存组成。有关更多信息，请参阅 Amazon Glue 价格页面。

  • Timeout - 数字（整数），至少为 1。

    作业超时（以分钟为单位）。这是任务运行在终止并进入 TIMEOUT 状态前可以使用资源的最长时间。默认值为 2880 分钟（48 小时）。

  • MaxCapacity – 数字（double）。

    对于 Glue 版本 1.0 或更早版本的任务，使用标准工件类型，表示此任务运行时可分配的 Amazon Glue 数据处理单元（DPU）的数量。DPU 是对处理能力的相对度量，它由 4 个 vCPU 的计算容量和 16GB 内存组成。有关更多信息，请参阅 Amazon Glue 价格页面。

    如果使用 WorkerType 和 NumberOfWorkers，请勿设置 Max Capacity。

    可为 MaxCapacity 分配的值取决于您是否运行 Python shell 作业或 Apache Spark ETL 作业：

    • 当您指定 Python shell 作业 (JobCommand.Name="pythonshell")，您可以分配 0.0625 或 1 DPU。默认值为 0.0625 DPU。

    • 当您指定 Apache Spark ETL 任务 (JobCommand.Name="glueetl") 或 Apache Spark Streaming ETL 任务 (JobCommand.Name="gluestreaming") 时，您可以分配至少 2 个 DPU。默认为 10 个 DPU。此任务类型不能具有小数 DPU 分配。

    对于 Glue 版本 2.0 任务，则不能指定 Maximum capacity。而应指定 Worker type 和 Number of workers。

  • WorkerType – UTF-8 字符串（有效值：Standard="" | G.1X="" | G.2X="" | G.025X=""）。

    任务运行时分配的预定义工作线程的类型。接受的值为 Standard、G.1X、G.2X 或 G.025X。

    • 对于 Standard 工作线程类型，每个工作线程提供 4 个 vCPU、16 GB 内存和 50GB 磁盘，并且每个工作线程提供 2 个执行器。

    • 对于 G.1X 工作线程类型，每个工作线程映射到 1 个 DPU（4 个 vCPU，16 GB 内存，64 GB 磁盘），并且每个工作线程提供 1 个执行器。我们建议内存密集型作业使用该工作线程类型。

    • 对于 G.2X 工作线程类型，每个工作线程映射到 2 个 DPU（8 个 vCPU，32 GB 内存，128 GB 磁盘），并且每个工作线程提供 1 个执行器。我们建议内存密集型作业使用该工作线程类型。

    • 对于 G.025X Worker 类型，每个 Worker 映射到 0.25 个 DPU（2 个 vCPU，4 GB 内存，64 GB 磁盘），并且每个 Worker 提供 1 个执行器。我们建议为低容量串流任务使用此 Worker 类型。此 Worker 类型仅适用于 Amazon Glue 版本 3.0 串流任务。

  • NumberOfWorkers – 数字（整数）。

    任务运行时分配的定义 workerType 的工作线程数。

  • SecurityConfiguration – UTF-8 字符串，长度不少于 1 个字节或超过 255 个字节，与 Single-line string pattern 匹配。

    该作业将使用的 SecurityConfiguration 结构的名称。

  • NotificationProperty – 一个 NotificationProperty 对象。

    指定作业通知的配置属性。

  • GlueVersion – UTF-8 字符串，长度不少于 1 个字节或超过 255 个字节，与 Custom string pattern #15 匹配。

    Glue 版本决定了 Amazon Glue 支持的 Apache Spark 和 Python 版本。Python 版本指示了 Spark 类型的任务支持的版本。

    有关可用的 Amazon Glue 版本以及相应的 Spark 和 Python 版本的更多信息，请参阅开发人员指南中的 Glue 版本。

  • CodeGenConfigurationNodes – 键值对的映射数组。

    每个键都是一个 UTF-8 字符串，与 Custom string pattern #30 匹配。

    每个值都是一个 CodeGenConfigurationNode 对象。

    定向非循环图表的表示形式，Glue Studio 可视化组件和 Glue Studio 代码生成都是基于该图表的。

  • ExecutionClass – UTF-8 字符串，长度不超过 16 个字节（有效值：FLEX="" | STANDARD=""）。

    指示任务是使用标准执行类还是灵活执行类运行的。标准执行类非常适合需要快速任务启动和专用资源的时间敏感型工作负载。

    灵活执行类适用于启动和完成时间可能不同的时间不敏感型作业。

    只有具有 Amazon Glue 版本 3.0 和以上版本以及命令类型 glueetl 的任务才允许将 ExecutionClass 设置为 FLEX。灵活的执行类可用于 Spark 任务。

  • SourceControlDetails – 一个 SourceControlDetails 对象。

    作业源代码控制配置的详细信息，允许将作业构件同步到远程存储库或从远程存储库同步。

SourceControlDetails 结构

作业源代码控制配置的详细信息，允许将作业构件同步到远程存储库或从远程存储库同步。

字段

  • Provider – UTF-8 字符串。

    远程存储库的提供者。

  • Repository – UTF-8 字符串，长度不少于 1 个字节或超过 512 个字节。

    包含作业构件的远程存储库的名称。

  • Owner – UTF-8 字符串，长度不少于 1 个字节或超过 512 个字节。

    包含作业构件的远程存储库的所有者。

  • Branch – UTF-8 字符串，长度不少于 1 个字节或超过 512 个字节。

    远程存储库中的可选分支。

  • Folder – UTF-8 字符串，长度不少于 1 个字节或超过 512 个字节。

    远程存储库中的可选文件夹。

  • LastCommitId – UTF-8 字符串，长度不少于 1 个字节或超过 512 个字节。

    远程存储库中提交的最后一次提交 ID。

  • LastSyncTimestamp – UTF-8 字符串，长度不少于 1 个字节或超过 512 个字节。

    上次执行作业同步的日期和时间。

  • AuthStrategy – UTF-8 字符串。

    身份验证类型，可以是存储在 Amazon Secrets Manager 中的身份验证令牌，也可以是个人访问令牌。

  • AuthToken – UTF-8 字符串，长度不少于 1 个字节或超过 512 个字节。

    授权令牌的值。

操作

CreateJob 操作（Python：create_job）

创建新的作业定义。

请求

  • Name – 必填：UTF-8 字符串，长度不少于 1 个字节或超过 255 个字节，与 Single-line string pattern 匹配。

    您分配给该作业定义的名称。它在您的账户中必须是唯一的。

  • Description – 描述字符串，长度不超过 2048 个字节，与 URI address multi-line string pattern 匹配。

    要定义的作业的描述。

  • LogUri – UTF-8 字符串。

    该字段保留，以供将来使用。

  • Role – 必填：UTF-8 字符串。

    与此作业关联的 IAM 角色的名称或 Amazon 资源名称（ARN）。

  • ExecutionProperty – 一个 ExecutionProperty 对象。

    一个 ExecutionProperty，指定该作业允许的最大并发运行数。

  • Command – 必填：一个 JobCommand 对象。

    运行此任务的 JobCommand。

  • DefaultArguments – 键值对的映射数组。

    每个键是一个 UTF-8 字符串。

    每个值是一个 UTF-8 字符串。

    此作业的默认参数。

    可以在此处指定您自己的任务执行脚本使用的参数以及 Amazon Glue 本身使用的参数。

    可能会记录任务参数。不要将明文密钥作为参数传递。如果您想要将密钥保留在任务内，则请通过 Amazon Glue 连接、Amazon Secrets Manager 或其他密钥管理机制检索密钥。

    有关如何指定和使用您自己的任务参数的信息，请参阅开发人员指南中的在 Python 中调用 Amazon Glue API 主题。

    有关 Amazon Glue 用于设置任务的键值对的信息，请参阅开发人员指南中的由 Amazon Glue 使用的特殊参数主题。

  • NonOverridableArguments – 键值对的映射数组。

    每个键是一个 UTF-8 字符串。

    每个值是一个 UTF-8 字符串。

    此作业的不可覆盖参数，指定为名称-值对。

  • Connections – 一个 ConnectionsList 对象。

    用于此作业的连接。

  • MaxRetries – 数字（整数）。

    在该作业失败时重试的最大次数。

  • AllocatedCapacity – 数字（整数）。

    此参数已被弃用。请改用 MaxCapacity。

    要分配给该任务的 Amazon Glue 数据处理单元（DPU）的数量。您可以分配至少 2 个 DPU；默认值为 10。DPU 是对处理能力的相对度量，它由 4 个 vCPU 的计算容量和 16GB 内存组成。有关更多信息，请参阅 Amazon Glue 价格页面。

  • Timeout - 数字（整数），至少为 1。

    作业超时（以分钟为单位）。这是任务运行在终止并进入 TIMEOUT 状态前可以使用资源的最长时间。默认值为 2880 分钟（48 小时）。

  • MaxCapacity – 数字（double）。

    对于 Glue 版本 1.0 或更早版本的任务，使用标准工件类型，表示此任务运行时可分配的 Amazon Glue 数据处理单元（DPU）的数量。DPU 是对处理能力的相对度量，它由 4 个 vCPU 的计算容量和 16GB 内存组成。有关更多信息，请参阅 Amazon Glue 价格页面。

    如果使用 WorkerType 和 NumberOfWorkers，请勿设置 Max Capacity。

    可为 MaxCapacity 分配的值取决于您是否运行 Python shell 作业或 Apache Spark ETL 作业：

    • 当您指定 Python shell 作业 (JobCommand.Name="pythonshell")，您可以分配 0.0625 或 1 DPU。默认值为 0.0625 DPU。

    • 当您指定 Apache Spark ETL 任务 (JobCommand.Name="glueetl") 或 Apache Spark Streaming ETL 任务 (JobCommand.Name="gluestreaming") 时，您可以分配至少 2 个 DPU。默认为 10 个 DPU。此任务类型不能具有小数 DPU 分配。

    对于 Glue 版本 2.0 任务，则不能指定 Maximum capacity。而应指定 Worker type 和 Number of workers。

  • SecurityConfiguration – UTF-8 字符串，长度不少于 1 个字节或超过 255 个字节，与 Single-line string pattern 匹配。

    该作业将使用的 SecurityConfiguration 结构的名称。

  • Tags – 键值对的映射数组，不超过 50 对。

    每个键都是一个 UTF-8 字符串，长度不少于 1 个字节或超过 128 个字节。

    每个值是一个 UTF-8 字符串，不超过 256 个字节。

    要用于此作业的标签。您可以使用标签来限制对作业的访问。有关 Amazon Glue 中的标签的更多信息，请参阅开发人员指南中的 Amazon Glue 中的 Amazon 标签。

  • NotificationProperty – 一个 NotificationProperty 对象。

    指定作业通知的配置属性。

  • GlueVersion – UTF-8 字符串，长度不少于 1 个字节或超过 255 个字节，与 Custom string pattern #15 匹配。

    Glue 版本决定了 Amazon Glue 支持的 Apache Spark 和 Python 版本。Python 版本指示了 Spark 类型的任务支持的版本。

    有关可用的 Amazon Glue 版本以及相应的 Spark 和 Python 版本的更多信息，请参阅开发人员指南中的 Glue 版本。

    在未指定 Glue 版本的情况下创建的任务默认为 Glue 0.9。

  • NumberOfWorkers – 数字（整数）。

    任务运行时分配的定义 workerType 的工作线程数。

  • WorkerType – UTF-8 字符串（有效值：Standard="" | G.1X="" | G.2X="" | G.025X=""）。

    任务运行时分配的预定义工作线程的类型。接受的值为 Standard、G.1X、G.2X 或 G.025X。

    • 对于 Standard 工作线程类型，每个工作线程提供 4 个 vCPU、16 GB 内存和 50GB 磁盘，并且每个工作线程提供 2 个执行器。

    • 对于 G.1X 工作线程类型，每个工作线程映射到 1 个 DPU（4 个 vCPU，16 GB 内存，64 GB 磁盘），并且每个工作线程提供 1 个执行器。我们建议内存密集型作业使用该工作线程类型。

    • 对于 G.2X 工作线程类型，每个工作线程映射到 2 个 DPU（8 个 vCPU，32 GB 内存，128 GB 磁盘），并且每个工作线程提供 1 个执行器。我们建议内存密集型作业使用该工作线程类型。

    • 对于 G.025X Worker 类型，每个 Worker 映射到 0.25 个 DPU（2 个 vCPU，4 GB 内存，64 GB 磁盘），并且每个 Worker 提供 1 个执行器。我们建议为低容量串流任务使用此 Worker 类型。此 Worker 类型仅适用于 Amazon Glue 版本 3.0 串流任务。

  • CodeGenConfigurationNodes – 键值对的映射数组。

    每个键都是一个 UTF-8 字符串，与 Custom string pattern #30 匹配。

    每个值都是一个 CodeGenConfigurationNode 对象。

    定向非循环图表的表示形式，Glue Studio 可视化组件和 Glue Studio 代码生成都是基于该图表的。

  • ExecutionClass – UTF-8 字符串，长度不超过 16 个字节（有效值：FLEX="" | STANDARD=""）。

    指示任务是使用标准执行类还是灵活执行类运行的。标准执行类非常适合需要快速任务启动和专用资源的时间敏感型工作负载。

    灵活执行类适用于启动和完成时间可能不同的时间不敏感型作业。

    只有具有 Amazon Glue 版本 3.0 和以上版本以及命令类型 glueetl 的任务才允许将 ExecutionClass 设置为 FLEX。灵活的执行类可用于 Spark 任务。

  • SourceControlDetails – 一个 SourceControlDetails 对象。

    作业源代码控制配置的详细信息，允许将作业构件同步到远程存储库或从远程存储库同步。

响应

  • Name – UTF-8 字符串，长度不少于 1 个字节或超过 255 个字节，与 Single-line string pattern 匹配。

    为此作业定义提供的唯一名称。

错误

  • InvalidInputException

  • IdempotentParameterMismatchException

  • AlreadyExistsException

  • InternalServiceException

  • OperationTimeoutException

  • ResourceNumberLimitExceededException

  • ConcurrentModificationException

UpdateJob 操作（Python：job）

更新现有的作业定义。此信息会完全覆盖先前的作业定义。

请求

  • JobName – 必填：UTF-8 字符串，长度不少于 1 个字节或超过 255 个字节，与 Single-line string pattern 匹配。

    要更新的作业定义的名称。

  • JobUpdate – 必填：一个 JobUpdate 对象。

    指定用于更新作业定义的值。未指定的配置已移除或重置为默认值。

响应

  • JobName – UTF-8 字符串，长度不少于 1 个字节或超过 255 个字节，与 Single-line string pattern 匹配。

    返回更新的作业定义的名称。

错误

  • InvalidInputException

  • EntityNotFoundException

  • InternalServiceException

  • OperationTimeoutException

  • ConcurrentModificationException

GetJob 操作（Python：get_job）

检索现有的作业定义。

请求

  • JobName – 必填：UTF-8 字符串，长度不少于 1 个字节或超过 255 个字节，与 Single-line string pattern 匹配。

    要检索的作业定义的名称。

响应

  • Job – 一个 任务 对象。

    请求的作业定义。

错误

  • InvalidInputException

  • EntityNotFoundException

  • InternalServiceException

  • OperationTimeoutException

GetJobs 操作（Python：get_jobs）

检索所有当前作业定义。

请求

  • NextToken – UTF-8 字符串。

    延续标记 (如果这是延续调用)。

  • MaxResults – 数字（整数），不小于 1 或大于 1000。

    响应的最大大小。

响应

  • Jobs – 任务 对象的数组。

    作业定义的列表。

  • NextToken – UTF-8 字符串。

    延续令牌 (如果尚未返回所有作业定义)。

错误

  • InvalidInputException

  • EntityNotFoundException

  • InternalServiceException

  • OperationTimeoutException

DeleteJob 操作（Python：delete_job）

删除指定的作业定义。如果找不到该作业定义，则不会引发异常。

请求

  • JobName – 必填：UTF-8 字符串，长度不少于 1 个字节或超过 255 个字节，与 Single-line string pattern 匹配。

    要删除的作业定义的名称。

响应

  • JobName – UTF-8 字符串，长度不少于 1 个字节或超过 255 个字节，与 Single-line string pattern 匹配。

    已删除的作业定义的名称。

错误

  • InvalidInputException

  • InternalServiceException

  • OperationTimeoutException

ListJobs 操作（Python：list_jobs）

检索此 Amazon 账户中所有任务资源的名称或带指定标签的资源。此操作可让您查看您账户中可用的资源及其名称。

此操作采用可选的 Tags 字段，您可以将其用作响应的筛选器，以便将标记的资源作为一个组进行检索。如果您选择使用标签筛选，则仅检索带标签的资源。

请求

  • NextToken – UTF-8 字符串。

    延续令牌 (如果这是延续请求)。

  • MaxResults – 数字（整数），不小于 1 或大于 1000。

    要返回的列表的最大大小。

  • Tags – 键值对的映射数组，不超过 50 对。

    每个键都是一个 UTF-8 字符串，长度不少于 1 个字节或超过 128 个字节。

    每个值是一个 UTF-8 字符串，不超过 256 个字节。

    指定仅返回这些已标记的资源。

响应

  • JobNames – UTF-8 字符串数组。

    账户中所有作业的名称或带指定标签的作业。

  • NextToken – UTF-8 字符串。

    延续令牌 (如果返回的列表不包含上一个可用的指标)。

错误

  • InvalidInputException

  • EntityNotFoundException

  • InternalServiceException

  • OperationTimeoutException

BatchGetJobs 操作（Python：batch_get_jobs）

返回给定作业名称列表的资源元数据的列表。调用 ListJobs 操作后，您可以调用此操作来访问您有权访问的数据。此操作支持所有 IAM 权限，包括使用标签的权限条件。

请求

  • JobNames – 必填：UTF-8 字符串数组。

    作业名称列表，这些名称可能是通过 ListJobs 操作返回的名称。

响应

  • Jobs – 任务 对象的数组。

    作业定义的列表。

  • JobsNotFound – UTF-8 字符串数组。

    未找到作业名称的列表。

错误

  • InternalServiceException

  • OperationTimeoutException

  • InvalidInputException

UpdateSourceControlFromJob 操作（Python：update_source_control_from

将作业同步到源代码控制存储库。此操作从 Amazon Glue 内部存储中获取作业构件，并提交到作业上配置的远程存储库。

此 API 支持接收存储库信息的可选参数。

请求

  • JobName – UTF-8 字符串，长度不少于 1 个字节，不超过 255 个字节，与 Single-line string pattern 匹配。

    要同步到远程存储库或从远程存储库同步的 Amazon Glue 作业的名称。

  • Provider – UTF-8 字符串。

    远程存储库的提供者。

  • RepositoryName – UTF-8 字符串，长度不少于 1 个字节，不超过 255 个字节，与 Single-line string pattern 匹配。

    包含作业构件的远程存储库的名称。

  • RepositoryOwner – UTF-8 字符串，长度不少于 1 个字节，不超过 255 个字节，与 Single-line string pattern 匹配。

    包含作业构件的远程存储库的所有者。

  • BranchName – UTF-8 字符串，长度不少于 1 个字节，不超过 255 个字节，与 Single-line string pattern 匹配。

    远程存储库中的可选分支。

  • Folder – UTF-8 字符串，长度不少于 1 个字节，不超过 255 个字节，与 Single-line string pattern 匹配。

    远程存储库中的可选文件夹。

  • CommitId：UTF-8 字符串，长度不少于 1 个字节或不超过 40 个字节，与 Single-line string pattern 匹配。

    远程存储库中提交的提交 ID。

  • AuthStrategy – UTF-8 字符串。

    身份验证类型，可以是存储在 Amazon Secrets Manager 中的身份验证令牌，也可以是个人访问令牌。

  • AuthToken – UTF-8 字符串，长度不少于 1 个字节，不超过 255 个字节，与 Single-line string pattern 匹配。

    授权令牌的值。

响应

  • JobName – UTF-8 字符串，长度不少于 1 个字节，不超过 255 个字节，与 Single-line string pattern 匹配。

    Amazon Glue 作业的名称。

错误

  • AccessDeniedException

  • AlreadyExistsException

  • InvalidInputException

  • ValidationException

  • EntityNotFoundException

  • InternalServiceException

  • OperationTimeoutException

UpdateJobFromSourceControl 操作（Python：update_job_from_control）

从源代码控制存储库同步作业。此操作获取位于远程存储库中的作业构件，并使用这些构件更新 Amazon Glue 内部存储。

此 API 支持接收存储库信息的可选参数。

请求

  • JobName – UTF-8 字符串，长度不少于 1 个字节，不超过 255 个字节，与 Single-line string pattern 匹配。

    要同步到远程存储库或从远程存储库同步的 Amazon Glue 作业的名称。

  • Provider – UTF-8 字符串。

    远程存储库的提供者。

  • RepositoryName – UTF-8 字符串，长度不少于 1 个字节，不超过 255 个字节，与 Single-line string pattern 匹配。

    包含作业构件的远程存储库的名称。

  • RepositoryOwner – UTF-8 字符串，长度不少于 1 个字节，不超过 255 个字节，与 Single-line string pattern 匹配。

    包含作业构件的远程存储库的所有者。

  • BranchName – UTF-8 字符串，长度不少于 1 个字节，不超过 255 个字节，与 Single-line string pattern 匹配。

    远程存储库中的可选分支。

  • Folder – UTF-8 字符串，长度不少于 1 个字节，不超过 255 个字节，与 Single-line string pattern 匹配。

    远程存储库中的可选文件夹。

  • CommitId：UTF-8 字符串，长度不少于 1 个字节或不超过 40 个字节，与 Single-line string pattern 匹配。

    远程存储库中提交的提交 ID。

  • AuthStrategy – UTF-8 字符串。

    身份验证类型，可以是存储在 Amazon Secrets Manager 中的身份验证令牌，也可以是个人访问令牌。

  • AuthToken – UTF-8 字符串，长度不少于 1 个字节，不超过 255 个字节，与 Single-line string pattern 匹配。

    授权令牌的值。

响应

  • JobName – UTF-8 字符串，长度不少于 1 个字节，不超过 255 个字节，与 Single-line string pattern 匹配。

    Amazon Glue 作业的名称。

错误

  • AccessDeniedException

  • AlreadyExistsException

  • InvalidInputException

  • ValidationException

  • EntityNotFoundException

  • InternalServiceException

  • OperationTimeoutException