Amazon Glue 使用适用于 PowerShell V4 的工具的示例 - Amazon Tools for PowerShell (第 4 版)
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

Amazon Tools for PowerShell V4 已进入维护模式。

我们建议您迁移到 Amazon Tools for PowerShell V5。有关如何迁移的更多详细信息和信息,请参阅我们的维护模式公告

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Amazon Glue 使用适用于 PowerShell V4 的工具的示例

以下代码示例向您展示了如何使用带 Amazon Glue的 Amazon Tools for PowerShell V4 来执行操作和实现常见场景。

操作是大型程序的代码摘录,必须在上下文中运行。您可以通过操作了解如何调用单个服务函数,还可以通过函数相关场景的上下文查看操作。

每个示例都包含一个指向完整源代码的链接,您可以从中找到有关如何在上下文中设置和运行代码的说明。

主题

操作

以下代码示例演示了如何使用 New-GLUEJob

适用于 PowerShell V4 的工具

示例 1:此示例在 Amazon Glue 中创建了一个新作业。命令名称的值始终为glueetl。 Amazon Glue 支持运行用 Python 或 Scala 编写的作业脚本。在此示例中,作业脚本 (MyTestGlueJob.py) 是用 Python 编写的。Python 参数在$DefArgs变量中指定,然后传递给DefaultArguments参数中的 PowerShell 命令,参数接受哈希表。$JobParams变量中的参数来自 CreateJob API,记录在 Glue API 参考的作业 (https://docs.aws.amazon.com/glue/latest/dg/aws-glue-api-jobs-job .html) 主题中 Amazon 。

$Command = New-Object Amazon.Glue.Model.JobCommand $Command.Name = 'glueetl' $Command.ScriptLocation = 's3://amzn-s3-demo-source-bucket/admin/MyTestGlueJob.py' $Command $Source = "source_test_table" $Target = "target_test_table" $Connections = $Source, $Target $DefArgs = @{ '--TempDir' = 's3://amzn-s3-demo-bucket/admin' '--job-bookmark-option' = 'job-bookmark-disable' '--job-language' = 'python' } $DefArgs $ExecutionProp = New-Object Amazon.Glue.Model.ExecutionProperty $ExecutionProp.MaxConcurrentRuns = 1 $ExecutionProp $JobParams = @{ "AllocatedCapacity" = "5" "Command" = $Command "Connections_Connection" = $Connections "DefaultArguments" = $DefArgs "Description" = "This is a test" "ExecutionProperty" = $ExecutionProp "MaxRetries" = "1" "Name" = "MyOregonTestGlueJob" "Role" = "Amazon-GlueServiceRoleForSSM" "Timeout" = "20" } New-GlueJob @JobParams
  • 有关 API 的详细信息,请参阅 Amazon Tools for PowerShell Cmdlet 参考 (V 4) CreateJob中的。