Amazon EMR

Amazon EMR 版本指南

AWS 文档 » Documentation Amazon EMR » Amazon EMR 版本指南 » Presto » Amazon EMR 上的 Presto 注意事项

Amazon EMR 上的 Presto 注意事项

在 Amazon EMR 上运行 Presto 时，请考虑以下区别和限制。

Presto 命令行可执行文件

在 Amazon EMR 中，Presto 命令行可执行文件为 presto-cli。例如：

presto-cli --catalog hive

有些 Presto 部署属性不可配置

根据您使用的 Amazon EMR 的版本，某些 Presto 部署配置可能不可用。有关这些属性的更多信息，请参阅 Presto 文档中的部署 Presto。下表显示了 Presto properties 文件的配置状态。

EMRFS 和 PrestoS3FileSystem 配置

使用 Amazon EMR 发行版 5.12.0 及更高版本，Presto 可以使用 EMRFS，这是默认配置。有关更多信息，请参阅 Amazon EMR 管理指南中的使用 EMR 文件系统 (EMRFS)。使用早期的发行版，PrestoS3FileSystem 是唯一选项。

使用 EMRFS 具有优势。您可以使用安全配置为 Amazon S3 中的 EMRFS 数据设置加密。您还可以使用 IAM 角色处理 EMRFS 对 Amazon S3 的请求。有关更多信息，请参阅 Amazon EMR 管理指南中的了解加密选项和为处理 EMRFS 对 Amazon S3 的请求配置 IAM 角色。

您可以覆盖 EMRFS 默认值而改用 PrestoS3FileSystem。为此，请使用 presto-connector-hive 配置分类将 hive.s3-file-system-type 设置为 PRESTO，如以下示例所示。有关更多信息，请参阅 配置应用程序。

[
   {
      "Classification": "presto-connector-hive",
      "Properties": {
         "hive.s3-file-system-type": "PRESTO"
      }
   }
]

如果您使用的是 PrestoS3FileSystem，请使用 presto-connector-hive 配置分类来配置 PrestoS3FileSystem 属性。有关可用属性的更多信息，请参阅 Presto 文档的“Hive 连接器”部分中的 Amazon S3 配置。这些设置不适用于 EMRFS。

最终用户模拟的默认设置

默认情况下，Amazon EMR 5.12.0 版及更高版本支持用于访问 HDFS 的最终用户模拟。有关更多信息，请参阅 Presto 文档中的最终用户模拟。您可以使用 presto-config 配置分类将 hive.hdfs.impersonation.enabled 属性设置为 false 来更改此设置。

Presto Web 界面的默认端口

默认情况下，Amazon EMR 将 Presto 协调器上的 Presto Web 界面配置为使用端口 8889。您可以使用 presto-config 配置分类设置 http-server.http.port 属性来更改它。有关更多信息，请参阅 Presto 文档的“部署 Presto”部分中的配置属性。

某些版本中的 Hive 存储桶执行问题

Presto 版本 152.3 存在一个与 Hive 存储桶执行有关的问题，此问题在某些情况下可能会显著降低 Presto 的查询速度。此版本包含在 Amazon EMR 发行版 5.0.3、5.1.0 和 5.2.0 中。要缓解此问题，请使用 presto-connector-hive 配置分类将 hive.bucket-execution 属性设置为 false，如以下示例所示。

[
   {
      "Classification": "presto-connector-hive",
      "Properties": {
         "hive.bucket-execution": "false"
      }
   }
]

本页内容：

• Presto 命令行可执行文件
• 有些 Presto 部署属性不可配置
• EMRFS 和 PrestoS3FileSystem 配置
• 最终用户模拟的默认设置
• Presto Web 界面的默认端口
• 某些版本中的 Hive 存储桶执行问题