安装并使用内核和库

在 Python3 内核中运行 %pip magic，以作为在笔记本单元中安装 Python 库的命令。

%pip install pmdarima

您可能需要重启内核才能使用更新后的软件包。您也可以使用 %%sh Spark magic 命令来调用 pip。

%%sh
/emr/notebook-env/bin/pip install -U matplotlib
/emr/notebook-env/bin/pip install -U pmdarima

使用 PySpark 笔记本范围的库，pip您可以使用 PySpark 笔记本范围的库。

要从终端在集群上运行 pip 命令，请首先通过 SSH 连接到主节点，如以下命令所示。

sudo pip3 install -U matplotlib
sudo pip3 install -U pmdarima

此外，您还可以使用笔记本范围的库。借助笔记本范围的库，库安装将仅限于会话范围，并在所有 Spark 执行器上进行。有关更多信息，请参阅使用笔记本范围的库。

如果需要在一个内 PySpark 核中封装多个 Python 库，您还可以创建一个隔离的 Python 虚拟环境。有关示例，请参阅使用 Virtualenv。

要在会话中创建 Python 虚拟环境，请笔记本中第一个单元中使用 %%configure magic 命令的 Spark 属性 spark.yarn.dist.archives，如以下示例所示。

%%configure -f
{
   "conf": {
   "spark.yarn.appMasterEnv.PYSPARK_PYTHON":"./environment/bin/python",
   "spark.yarn.appMasterEnv.PYSPARK_DRIVER_PYTHON":"./environment/bin/python",
   "spark.yarn.dist.archives":"s3://DOC-EXAMPLE-BUCKET/prefix/my_pyspark_venv.tar.gz#environment",
   "spark.submit.deployMode":"cluster"
   }
}

同样，您也可以创建一个 Spark 执行器环境。

%%configure -f
{
   "conf": {
   "spark.yarn.appMasterEnv.PYSPARK_PYTHON":"./environment/bin/python",
   "spark.yarn.appMasterEnv.PYSPARK_DRIVER_PYTHON":"./environment/bin/python",
   "spark.executorEnv.PYSPARK_PYTHON":"./environment/bin/python",
   "spark.yarn.dist.archives":"s3://DOC-EXAMPLE-BUCKET/prefix/my_pyspark_venv.tar.gz#environment",
   "spark.submit.deployMode":"cluster"
   }
}

您还可以使用 conda 来安装 Python 库。需要 sudo 访问权限才能使用 conda。您必须使用 SSH 连接到主节点，然后从终端运行 conda。有关更多信息，请参阅使用 SSH 连接到主节点：

以下示例演示在连接到集群的主节点时如何使用终端命令安装 Kotlin 内核：

sudo /emr/notebook-env/bin/conda install kotlin-jupyter-kernel -c jetbrains

以下命令列出了可用于当前 Spark 笔记本会话的 Python 包。这将列出集群上安装的库以及笔记本范围的库。

sc.list_packages()

以下命令安装 Celery 库作为笔记本范围的库。

sc.install_pypi_package("celery")

安装库后，以下命令将确认该库在 Spark 驱动程序和执行程序上是否可用。

import celery
sc.range(1,10000,1,100).map(lambda x: celery.__version__).collect()

以下命令安装 Arrow 库作为笔记本范围的库，并指定库版本和存储库 URL。

sc.install_pypi_package("arrow==0.14.0", "https://pypi.org/simple")

以下命令卸载 Arrow 库，将其作为笔记本范围的库从当前会话中删除。

sc.uninstall_package("arrow")