在 Amazon EMR 上使用 Zeppelin 时的注意事项
-
使用相同的 SSH 隧道方法连接到 Zeppelin 以连接到主节点上的其他 Web 服务器。Zeppelin 服务器可以在端口 8890 上找到。
-
Amazon EMR 发行版 5.0.0 及更高版本上的 Zeppelin 支持 Shiro 身份验证
。 Amazon EMR 发行版 5.8.0 及更高版本上的 Zeppelin 支持使用 Amazon Glue 数据目录作为 Spark SQL 的元存储。有关更多信息,请参阅使用 Amazon Glue 数据目录作为 Spark SQL 的元存储。
-
Zeppelin 不使用集群的
spark-defaults.conf
配置文件中定义的部分设置(即使在您将spark.dynamicAllocation.enabled
设置为true
时,其指示 YARN 动态分配执行者也是如此)。您必须使用 Zeppelin Interpreter (解释器) 选项卡设置执行者设置 (如内存和内核),然后为要使用的设置重新启动解释器。 -
Amazon EMR 版本 6.10.0 及更高版本支持 Apache Zeppelin 与 Apache Flink 集成。参阅 在 Amazon EMR 中通过 Zeppelin 使用 Flink 作业 了解更多信息。
-
Amazon EMR 上的 Zeppelin 不支持 SparkR 解释器。