为实时推理容器使用私有 Docker 注册表

将存储在私有 Docker 注册表中的映像用于推理容器

1. 创建映像配置对象并为 RepositoryAccessMode 字段指定 Vpc 的值。

   image_config = {
                       'RepositoryAccessMode': 'Vpc'
                  }

2. 如果您的私有 Docker 注册表需要身份验证，请添加 RepositoryAuthConfig 对象到映像配置对象。对于 RepositoryAuthConfig 对象的 RepositoryCredentialsProviderArn 字段，指定 Amazon Lambda 函数的 Amazon 资源名称 (ARN)，该函数提供允许 SageMaker 向私有 Docker 注册表进行身份验证的凭证。有关如何创建 Lambda 函数以提供身份验证的信息，请参阅允许 SageMaker 对私有 Docker 注册表进行身份验证。

   image_config = {
                       'RepositoryAccessMode': 'Vpc',
                       'RepositoryAuthConfig': {
                          'RepositoryCredentialsProviderArn': 'arn:aws:lambda:Region:Acct:function:FunctionName'
                        }
                  }

3. 创建要传递到 create_model 的主容器对象，使用您在上一步中创建的映像配置对象。

   在摘要表中提供您的映像。如果您使用 :latest 标签提供映像，则存在风险，SageMaker 可能会提取比预期版本更新的映像。使用摘要表可确保 SageMaker 提取预期的映像版本。

   primary_container = {
       'ContainerHostname': 'ModelContainer',
       'Image': 'myteam.myorg.com/docker-local/my-inference-image:<IMAGE-TAG>',
       'ImageConfig': image_config
   }

4. 指定要传递给 create_model 的模型名称和执行角色。

   model_name = 'vpc-model'
   execution_role_arn = 'arn:aws:iam::123456789012:role/SageMakerExecutionRole'

5. 为您模型的 VPC 配置指定一个或多个安全组和子网。您的私有 Docker 注册表必须允许来自您指定的安全组的入站流量。您指定的子网必须与私有 Docker 注册表位于同一 VPC 中。

   vpc_config = {
       'SecurityGroupIds': ['sg-0123456789abcdef0'],
       'Subnets': ['subnet-0123456789abcdef0','subnet-0123456789abcdef1']
   }

6. 获取 Boto3 SageMaker 客户端。

   import boto3
   sm = boto3.client('sagemaker')

7. 通过调用 create_model 来创建模型，使用您在之前的步骤中为 PrimaryContainer 和 VpcConfig 参数指定的值。

   try:
       resp = sm.create_model(
           ModelName=model_name,
           PrimaryContainer=primary_container,
           ExecutionRoleArn=execution_role_arn,
           VpcConfig=vpc_config,
       )
   except Exception as e:
       print(f'error calling CreateModel operation: {e}')
   else:
       print(resp)

8. 最后，调用 create_endpoint_config 和 create_endpoint 以创建托管端点，使用您在之前步骤中创建的模型。

   endpoint_config_name = 'my-endpoint-config'
   sm.create_endpoint_config(
       EndpointConfigName=endpoint_config_name,
       ProductionVariants=[
           {
               'VariantName': 'MyVariant',
               'ModelName': model_name,
               'InitialInstanceCount': 1,
               'InstanceType': 'ml.t2.medium'
           },
       ],
   )
   
   endpoint_name = 'my-endpoint'
   sm.create_endpoint(
       EndpointName=endpoint_name,
       EndpointConfigName=endpoint_config_name,
   )
   
   sm.describe_endpoint(EndpointName=endpoint_name)