本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
HTTPS使用 Apache Livy 启用
-
配置启用传输加密的 Amazon EMR 集群。要了解有关加密的更多信息,请参阅加密静态数据和传输中的数据。
-
创建以下内容的名为
livy_ssl.sh
的文件。#!/bin/bash KEYSTORE_FILE=`awk '/ssl.server.keystore.location/{getline; print}' /etc/hadoop/conf/ssl-server.xml | sed -e 's/<[^>]*>//g' | tr -d ' \t\n\r\f'` KEYSTORE_PASS=`awk '/ssl.server.keystore.password/{getline; print}' /etc/hadoop/conf/ssl-server.xml | sed -e 's/<[^>]*>//g' | tr -d ' \t\n\r\f'` KEY_PASS=`awk '/ssl.server.keystore.keypassword/{getline; print}' /etc/hadoop/conf/ssl-server.xml | sed -e 's/<[^>]*>//g' | tr -d ' \t\n\r\f'` echo "livy.keystore $KEYSTORE_FILE livy.keystore.password $KEYSTORE_PASS livy.key-password $KEY_PASS" | sudo tee -a /etc/livy/conf/livy.conf >/dev/null sudo systemctl restart livy-server.service
-
将以下脚本作为 Amazon EMR 步骤运行。此脚本修改
/etc/livy/conf/livy.conf
为激活SSL。--steps '[{"Args":["s3://
amzn-s3-demo-bucket
/livy_ssl.sh"],"Type":"CUSTOM_JAR","ActionOnFailure":"CONTINUE","Jar":"s3://us-east-1.elasticmapreduce/libs/script-runner/script-runner.jar","Properties":"","Name":"Custom JAR"}]' -
重新启动 Apache Livy 服务,以使更改生效。要重新启动 Apache Livy,请参阅停止和重新启动进程。
-
测试客户端现在是否可以使用进行通信HTTPS。例如,要提交任务,请运行以下代码。
curl -k -X POST --data '{"file": "local:///usr/lib/spark/examples/jars/spark-examples.jar", "className": "org.apache.spark.examples.SparkPi"}' \ -H "Content-Type: application/json" \ https://
EMR_Master_Node_Host
:8998/batches如果您已HTTPS成功启用,Livy 会发送一个响应,表明该命令已被接受并且批处理作业已提交。
{"id":1,"name":null,"owner":null,"proxyUser":null,"state":"starting","appId":null,"appInfo": {"driverLogUrl":null,"sparkUiUrl":null},"log":["stdout: ","\nstderr: ","\nYARN Diagnostics: "]}