管理笔记本会话 - Amazon Glue
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

管理笔记本会话

Amazon Glue Studio 中的笔记本基于 Amazon Glue 的交互式会话功能。使用交互式会话需要成本。为了帮助管理成本,您可以监控为您的账户创建的会话,并为所有会话配置原定设置。

更改所有笔记本会话的原定设置超时

默认情况下,如果预置的 Amazon Glue Studio 笔记本已启动且未执行任何单元格,则笔记本将在 12 小时后超时。没有与之相关的成本,且超时不可配置。

执行单元格后,将启动一个交互式会话。此会话的默认超时时间为 48 小时。通过在执行单元格前传递 %idle_timeout 魔术命令,可以配置此超时。

在 Amazon Glue Studio 中修改笔记本的原定设置会话超时
  1. 在笔记本中,在单元格中输入 %idle_timeout 魔术命令并以分钟为单位指定超时值。

  2. 例如:%idle_timeout 15 会将默认超时更改为 15 分钟。如果 15 分钟内未使用会话,则会话将自动停止。

安装其他 Python 模块

如果要使用 pip 将其他模块安装到会话中,可以使用 %additional_python_modules 将其添加到会话中:

%additional_python_modules awswrangler, s3://mybucket/mymodule.whl

additional_python_modules 的所有参数都将传递给 pip3 install -m <>

要查看可用 Python 模块的列表,请参阅 Using Python libraries with Amazon Glue

更改 Amazon Glue 配置

您可以使用魔术来控制 Amazon Glue 任务配置值。如果要更改任务配置值,您必须在笔记本中使用正确的魔法。请参阅 Magics supported by Amazon Glue interactive sessions for Jupyter

注意

正在运行的会话的重写属性不再可用。要更改会话的配置,您可以停止会话,设置新的配置,然后启动新会话。

Amazon Glue 支持各种工件类型。可以使用 %worker_type 设置工件类型。例如:%worker_type G.2X 。原定设置为 G.1X。

您还可以使用 %number_of_workers 指定工件数量。例如,要指定 40 个工件:%number_of_workers 40

有关更多信息,请参阅 定义任务属性

停止笔记本会话

要停止笔记本会话,请使用魔术命令 %stop_session

如果您在 Amazon 控制台中离开笔记本,您将收到一条警告消息,您可以在其中选择停止会话。