Amazon Glue Ray 交互式会话支持魔术命令 - Amazon Glue
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Amazon Glue Ray 交互式会话支持魔术命令

Amazon Glue Jupyter 内核为 Ray 交互式会话提供动力的魔法与 Spark 会话的魔法类似。有关参考,请参阅 配置 Amazon Glue Jupyter 和 Amazon Glue Studio 笔记本

会话魔术命令

会话魔术命令与 Amazon Glue for Ray 预览版之前的魔术命令基本相同。获取有关此预览之外的魔术命令的更多信息,请参阅 支持的魔法 Amazon Glue Jupyter 的互动环节 。我们推出了一种新的魔术命令,可以将会话类型设置为 Amazon Glue for Ray。

名称 Type 描述
%glue_ray 字符串 将会话类型更改为 Amazon Glue for Ray。

Amazon Glue config 魔术命令

在交互式会话中配置 Amazon Glue 的魔法可能因会话类型而异。目前,我们仅在使用 Amazon Glue for Ray 时支持现有魔术命令的这个子集。

警告

已知问题:additional_python_modules

在 Ray 交互式会话预览版中,保存笔记本时使用 additional_python_modules 魔术命令会导致出现问题。要为 Ray 会话配置 python 模块,请使用 %%configure 魔术命令设置 在 Ray 作业中使用作业参数 中定义的 pip-install 参数。

名称 Type 描述
%%configure 词典 指定一个 JSON 格式的词典,其中包含会话的所有配置参数。每个参数可以在此处指定,也可以通过单独的魔术命令指定。
%iam_role 字符串 指定用于执行会话的 IAM 角色 ARN。~/.aws/configure 的默认值
%number_of_workers int 任务运行时分配的定义 worker_type 的工件数量。还必须设置 worker_type
%worker_type 字符串 在 Amazon Glue for Ray 预览版中,唯一支持的工作线程类型是 Z.2X。
%additional_python_modules 列出 要包含在集群中的其他 Python 模块的逗号分隔列表(可以来自 Pypi 或 S3)。

操作魔术命令

Amazon Glue Ray 会话不支持任何动作魔法。