排查常见的环境变量格式错误 - Amazon EMR
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

排查常见的环境变量格式错误

在输入 Livy 和 Spark 配置时,某些环境变量格式不受支持,可能会导致错误。该过程将引导您完成一系列步骤,以确保使用正确的格式。

在安装 Livy 时输入您自己的 Livy 和 Spark 配置

您可以使用 env.* Helm 属性配置任何 Apache Livy 或 Apache Spark 环境变量。按照以下步骤将示例配置 example.config.with-dash.withUppercase 转换为支持的环境变量格式。

  1. 将大写字母替换为 1 和小写字母。例如,example.config.with-dash.withUppercase 改为 example.config.with-dash.with1uppercase

  2. 将破折号(-)替换为 0。例如,example.config.with-dash.with1uppercase 改为 example.config.with0dash.with1uppercase

  3. 将点(.)替换为下划线(_)。例如,example.config.with0dash.with1uppercase 改为 example_config_with0dash_with1uppercase

  4. 将所有小写字母替换为大写字母。

  5. 为变量名添加前缀 LIVY_

  6. 在通过掌舵图安装 Livy 时使用该变量,格式为--set env。 YOUR_VARIABLE_NAME.value= yourvalue

例如,要设置 Livy 和 Spark 配置 livy.server.recovery.state-store = filesystemspark.kubernetes.executor.podNamePrefix = my-prefix,请使用以下 Helm 属性:

—set env.LIVY_LIVY_SERVER_RECOVERY_STATE0STORE.value=filesystem —set env.LIVY_SPARK_KUBERNETES_EXECUTOR_POD0NAME0PREFIX.value=myprefix