Apache Pig - Amazon EMR
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Apache Pig

Apache Pig 是一个开源 Apache 库,它在 Hadoop 的顶层运行,提供一种脚本语言,您可以用来转换大型数据集,而不必用底层计算机语言 (例如 Java) 编写复杂的代码。该库使用以PigLatin语言编写的SQL样命令,并根据定向非循环图形(DAG)或 MapReduce 程序。Pig 可与各种格式的结构化和非结构化数据结合使用。有关 Pig 的详细信息,请参阅 http://pig.apache.org/

您可以通过交互方式或批处理方式执行 Pig 命令。要以交互方式使用 Pig,请创建到主节点的 SSH 连接,并使用 Grunt 外壳提交命令。要以批处理方式使用 Pig,请编写 Pig 脚本,将脚本上传到 Amazon S3,并作为集群步骤提交。有关向集群提交工作的更多信息,请参阅 https://docs.amazonaws.cn/emr/latest/ManagementGuide/AddingStepstoaJobFlow.html 中的Amazon EMR 管理指南向集群提交工作

当您使用 Pig 将输出写入 Amazon S3 中的 HCatalog 表时,可通过将 mapred.output.direct.NativeS3FileSystemmapred.output.direct.EmrFileSystem 属性设置为 false 来禁用 Amazon EMR 直接写入。有关更多信息,请参阅 使用 HCatalog。 在 Pig 脚本中,可使用 SET mapred.output.direct.NativeS3FileSystem falseSET mapred.output.direct.EmrFileSystem false 命令。

下表列出了 Amazon EMR 5.x 系列的最新发布版本附带的 Pig 的版本,以及 Amazon EMR 随 Pig 一起安装的组件。

有关随此发布版本中的 Pig 一起安装的组件的版本,请参阅发布版本 5.31.0 组件版本

Pig emr-5.31.0的版本信息
Amazon EMR 发布版本标签 Pig 版本 随 Pig 安装的组件

另出动-5.31.0

Pig 0.17.0

emrfs、emr-ddb、emr-goodies、emr-kinesis、emr-s3-dist-cp、hadoop-client、hadoop-mapred、hadoop-hdfs-datanode、hadoop-hdfs-library、hadoop-hdfs-namenode、hadoop-httpfs-server、hadoop-kms-server、hadoop-yarn-nodemanager、hadoop-yarn-resourcemanager、hadoop-yarn-timeline-server、pig-client、tez-on-yarn