在 Amazon 中创建私有模型中心 SageMaker JumpStart

创建私有中心

1. 安装 SageMaker Python 开发工具包并导入必要的 Python 软件包。

   # Install the SageMaker Python SDK
   !pip3 install sagemaker --force-reinstall --quiet
   
   # Import the necessary Python packages
   import boto3
   from sagemaker import Session
   from sagemaker.jumpstart.hub.hub import Hub

2. 初始化 SageMaker 会话。

   sm_client = boto3.client('sagemaker')
   session = Session(sagemaker_client=sm_client)
   session.get_caller_identity_arn()

3. 配置私有集线器的详细信息，例如内部集线器名称、用户界面显示名称和 UI 中心描述。

   注意

   如果您在创建中心时未指定 Amazon S3 存储桶名称，则 SageMaker中心服务会代表您创建一个新的存储桶。新存储桶的命名结构如下：sagemaker-hubs-REGION-ACCOUNT_ID。

   HUB_NAME="Example-Hub"
   HUB_DISPLAY_NAME="Example Hub UI Name"
   HUB_DESCRIPTION="A description of the example private curated hub."
   REGION="us-west-2"

4. 检查您的管理员 IAM 角色是否具有创建私有中心所必需的 Amazon S3 权限。如果您的角色没有必要的权限，请导航到 IAM 控制台中的角色页面。选择 “管理员” 角色，然后在 “权限策略” 窗格中选择 “添加权限”，使用 JSON 编辑器创建具有以下权限的内联策略：

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Action": [
                   "s3:ListBucket",
                   "s3:GetObject",
                   "s3:GetObjectTagging"
               ],
               "Resource": [
                   "arn:aws:s3:::jumpstart-cache-prod-REGION",
                   "arn:aws:s3:::jumpstart-cache-prod-REGION/*"
               ],
               "Effect": "Allow"
           }
       ]
   }

5. 使用步骤 3 中的配置创建私有模型中心hub.create()。

   hub = Hub(hub_name=HUB_NAME, sagemaker_session=session)
   
   try:
   # Create the private hub
     hub.create(
         description=HUB_DESCRIPTION,
         display_name=HUB_DISPLAY_NAME
     )
     print(f"Successfully created Hub with name {HUB_NAME} in {REGION}")
   # Check that no other hubs with this internal name exist
   except Exception as e:
     if "ResourceInUse" in str(e):
       print(f"A hub with the name {HUB_NAME} already exists in your account.")
     else:
       raise e

6. 使用以下describe命令验证新私有集线器的配置：

   hub.describe()

1. 您可以使用该hub.list_sagemaker_public_hub_models()方法以编程方式筛选可用模型。您可以选择按类别（例如框架 ("framework == pytorch")）、图像分类（）等任务（"task == ic"）等进行筛选。有关筛选条件的更多信息，请参阅notebook_utils.py。hub.list_sagemaker_public_hub_models()方法中的过滤器参数是可选的。

   filter_value = "framework == meta"
   response = hub.list_sagemaker_public_hub_models(filter=filter_value)
   models = response["hub_content_summaries"]
   while response["next_token"]:
       response = hub.list_sagemaker_public_hub_models(filter=filter_value, next_token=response["next_token"])
       models.extend(response["hub_content_summaries"])
   
   print(models)

2. 然后，您可以通过在方法中指定模型 ARN 来添加经过筛选的hub.create_model_reference()模型。

   for model in models:
       print(f"Adding {model.get('hub_content_name')} to Hub")
       hub.create_model_reference(model_arn=model.get("hub_content_arn"), model_name=model.get("hub_content_name"))