在 Studio Classic 中 JupyterLab 使用木星人工智能 - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

在 Studio Classic 中 JupyterLab 使用木星人工智能

你可以在 Studio Classic JupyterLab 或 Studio Classic 中使用 Jupyter AI,方法是从聊天用户界面或笔记本单元格中调用语言模型。以下各节提供了有关完成此操作所需的步骤的信息。

使用聊天界面中的语言模型

在聊天界面文本框中撰写您的消息,开始与您的模型互动。要清除消息历史记录,请使用/clear命令。

注意

清除消息历史记录不会删除与模型提供者的聊天上下文。

使用笔记本单元格中的语言模型

在使用%%ai%ai命令调用语言模型之前,请在 JupyterLab 或 Studio Classic 笔记本单元格中运行以下命令来加载IPython扩展程序。

%load_ext jupyter_ai_magics
  • 对于由 Amazon以下机构托管的模型:

    • 要调用中部署的模型 SageMaker,请sagemaker-endpoint:endpoint-name将字符串传递给带有以下所需参数的%%ai魔法命令,然后在以下几行中添加您的提示符。

      下表列出了调用由 SageMaker Amazon Bedrock 托管的模型时的必需参数和可选参数。

      参数名称 参数 简短版 描述
      请求架构 --request-schema -q 必需:端点期望的JSON对象,将提示替换为任何与字符串文字<prompt>匹配的值。
      地区名称 --region-name -n 必填项:模型的部署 Amazon Web Services 区域 位置。
      响应路径 --response-path -p 必需:用于从端点的JSON响应中提取语言模型输出的JSONPath字符串。
      额外的模型参数 --model-parameters -m 可选:一个JSON值,用于指定要传递给模型的其他参数。接受的值被解析为字典,解压后直接传递给提供者类。当端点或模型需要自定义参数时,这很有用。例如,在 Llama 2 模型中,当必须接受最终用户许可协议 (EULA) 时,您可以使用将EULA接受传递给端点。-m {"endpoint_kwargs":{"CustomAttributes":"accept_eula=true"}}或者,您可以使用-m参数传递额外的模型参数,例如为模型生成的响应设置最大标记数。例如,使用《侏罗纪AI21实验室》模型时:。-m {"model_kwargs":{"maxTokens":256}}
      输出格式 --format -f 可选:用于渲染输出的IPython显示屏。它可以是以下任何值[code|html|image|json|markdown|math|md|text],前提是调用的模型支持指定的格式。

      以下命令调用托管的 llama 2-7b 模型。 SageMaker

      %%ai sagemaker-endpoint:jumpstart-dft-meta-textgeneration-llama-2-7b -q {"inputs":"<prompt>","parameters":{"max_new_tokens":64,"top_p":0.9,"temperature":0.6,"return_full_text":false}} -n us-east-2 -p [0].generation -m {"endpoint_kwargs":{"CustomAttributes":"accept_eula=true"}} -f text Translate English to French: sea otter => loutre de mer peppermint => menthe poivrée plush girafe => girafe peluche cheese =>

      以下示例调用托管的 Flan-t5-Small 模型。 SageMaker

      %%ai sagemaker-endpoint:hf-text2text-flan-t5-small --request-schema={"inputs":"<prompt>","parameters":{"num_return_sequences":4}} --region-name=us-west-2 --response-path=[0]["generated_text"] -f text What is the atomic number of Hydrogen?
    • 要调用 Amazon Bedrock 中部署的模型,bedrock:model-name请将字符串传递给%%ai魔法命令,其中包含调用由 JumpStart Amazon Bedrock 托管的模型的参数列表中定义的任何可选参数,然后在以下几行中添加您的提示。

      以下示例调用了由 Amazon Bedrock 托管的 AI21 Labs Jurassic-2 模型

      %%ai bedrock:ai21.j2-mid-v1 -m {"model_kwargs":{"maxTokens":256}} -f code Write a function in python implementing a bubbble sort.
  • 适用于由第三方提供商托管的模型

    要调用第三方提供商托管的模型,provider-id:model-name请将字符串传递给带有可选内容的%%ai魔法命令 Output format,然后在以下几行中添加提示符。你可以在 Jupyter AI 的模型提供者列表中找到每个提供者的详细信息,包括他们的 ID。

    以下命令要求 Anthropic Claude 模型输出一个包含带有黑色边框的白色方块图像的HTML文件。

    %%ai anthropic:claude-v1.2 -f html Create a square using SVG with a black border and white fill.