Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

在亚马逊 SageMaker 统一工作室中使用可信身份传播

本教程介绍如何使用可信身份传播 (TIP) 设置 EMR 无服务器应用程序。然后，您可以通过 Amazon U SageMaker nified Studio 使用基于身份的访问控制来查询示例表。通过这种设置，EMR Serverless 使用他们自己的 IAM 身份中心身份运行每个用户的 Spark 查询，而 Lake Formation 会强制每个用户对 Amazon Glue 数据目录表的权限。

先决条件和设置

在使用可信身份传播查询数据之前，完成以下步骤以设置所有必需的资源。

第 1 步：设置 IAM 身份中心

步骤 2：使用 IAM 身份中心配置 Lake Formation

步骤 3：创建 TIP-enabled EMR 无服务器应用程序

确保您的 IAM 角色拥有创建应用程序所需的 IAM 身份中心权限：

"sso:DescribeInstance",
"sso:CreateApplication", 
"sso:DeleteApplication",
"sso:PutApplicationAuthenticationMethod",
"sso:PutApplicationAssignmentConfiguration",  
"sso:PutApplicationGrant", 
"sso:PutApplicationAccessScope"

创建具有可信身份传播、启用 Apache Livy 端点并将 Amazon Glue 数据目录配置为元存储的应用程序：

aws emr-serverless create-application \
    --release-label emr-7.8.0 \
    --type "SPARK" \
    --identity-center-configuration '{"identityCenterInstanceArn": "arn:aws:sso:::instance/ssoins-instance-id"}' \
    --interactive-configuration '{"livyEndpointEnabled":true}' \
    --runtime-configuration '[{"classification": "spark-defaults", "properties": {"spark.sql.catalogImplementation": "hive", "spark.hadoop.hive.metastore.client.factory.class": "com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory"}}]'

import boto3

session = boto3.Session(profile_name='your-profile', region_name='your-region')
client = session.client('emr-serverless')

response = client.create_application(
    name='tip-tutorial-app',
    releaseLabel='emr-7.8.0',
    type='SPARK',
    identityCenterConfiguration={
        'identityCenterInstanceArn': 'arn:aws:sso:::instance/ssoins-instance-id'
    },
    interactiveConfiguration={
        'livyEndpointEnabled': True
    },
    runtimeConfiguration=[
        {
            'classification': 'spark-defaults',
            'properties': {
                'spark.sql.catalogImplementation': 'hive',
                'spark.hadoop.hive.metastore.client.factory.class': 'com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory'
            }
        }
    ]
)
print(response['applicationId'])

如果您没有所需的 IAM 身份中心权限，请创建不带--identity-center-configuration参数的应用程序，并要求您的 IAM 身份中心管理员稍后使用更新应用程序 API 启用 TIP：

aws emr-serverless update-application \
    --application-id application-id \
    --identity-center-configuration '{"identityCenterInstanceArn": "arn:aws:sso:::instance/ssoins-instance-id"}'

步骤 4：配置任务执行角色

任务执行角色的信任策略必须包括sts:SetContext以允许 EMR Serverless 使用用户的身份增强凭证：

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "Service": "emr-serverless.amazonaws.com"
            },
            "Action": ["sts:AssumeRole", "sts:SetContext"]
        }
    ]
}

创建该角色：

aws iam create-role \
    --role-name emr-serverless-tip-job-role \
    --assume-role-policy-document file://trust-policy.json \
    --description "EMR Serverless job execution role with TIP support"

为任务将访问的下游服务附加权限。该角色需要 Lake Formation、 Amazon Glue、Amazon S3 和 Amazon L CloudWatch ogs 权限：

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "LakeFormationAndGlueAccess",
            "Effect": "Allow",
            "Action": [
                "lakeformation:GetDataAccess",
                "glue:GetTable", "glue:GetTables",
                "glue:GetDatabase", "glue:GetDatabases",
                "glue:GetPartitions"
            ],
            "Resource": "*"
        },
        {
            "Sid": "S3DataAccess",
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "s3:PutObject",
                "s3:ListBucket",
                "s3:GetBucketLocation"
            ],
            "Resource": [
                "arn:aws:s3:::your-data-bucket",
                "arn:aws:s3:::your-data-bucket/*"
            ]
        },
        {
            "Sid": "CloudWatchLogsAccess",
            "Effect": "Allow",
            "Action": [
                "logs:CreateLogGroup",
                "logs:CreateLogStream",
                "logs:PutLogEvents",
                "logs:DescribeLogGroups",
                "logs:DescribeLogStreams"
            ],
            "Resource": "arn:aws:logs:region:account-id:*"
        }
    ]
}

将该策略附加到角色：

aws iam put-role-policy \
    --role-name emr-serverless-tip-job-role \
    --policy-name tip-lakeformation-access \
    --policy-document file://permissions-policy.json

向任务执行角色授予 Lake Formation 权限：

任务执行角色还需要数据库和表的 Lake Formation 权限。这是对 IAM 身份中心用户的补助金之外的补助。

# Grant DESCRIBE on the database to the job role
aws lakeformation grant-permissions \
    --principal '{"DataLakePrincipalIdentifier": "arn:aws:iam::account-id:role/emr-serverless-tip-job-role"}' \
    --permissions '["DESCRIBE"]' \
    --resource '{"Database": {"DatabaseName": "tip_tutorial_db", "CatalogId": "account-id"}}'

# Grant SELECT and DESCRIBE on the table to the job role
aws lakeformation grant-permissions \
    --principal '{"DataLakePrincipalIdentifier": "arn:aws:iam::account-id:role/emr-serverless-tip-job-role"}' \
    --permissions '["SELECT","DESCRIBE"]' \
    --resource '{"Table": {"DatabaseName": "tip_tutorial_db", "Name": "employees", "CatalogId": "account-id"}}'

有关其他下游服务配置，请参阅在 EMR 无服务器中使用 Lake Formation 和在 EMR 无服务器中使用 Amazon S3 访问授权。

通过 Amazon U SageMaker nified Studio 通过可信身份传播查询数据

完成设置后，您可以使用 TIP-enabled EMR 无服务器应用程序在亚马逊 SageMaker 统一工作室项目中作为计算来查询数据。EMR Serverless 使用他们自己的 IAM 身份中心身份运行每个用户的查询，Lake Formation 强制执行每个用户的权限。

先决条件

第 5 步：创建启用 TIP 的 Amazon U SageMaker nified Studio 项目

步骤 6：将 EMR Serverless 应用程序添加为计算应用程序

亚马逊 SageMaker 统一工作室项目计算配置目前不支持通过控制台添加现有的 EMR 无服务器应用程序。 Amazon CLI 使用创建连接：

aws datazone create-connection \
  --domain-identifier domain-id \
  --name "my-emr-serverless-connection" \
  --environment-identifier environment-id \
  --props '{
    "sparkEmrProperties": {
      "computeArn": "arn:aws:emr-serverless:region:account-id:/applications/application-id",
      "runtimeRole": "arn:aws:iam::account-id:role/emr-serverless-tip-job-role"
    }
  }'

替换以下值：

import boto3

session = boto3.Session(profile_name='your-profile', region_name='your-region')
client = session.client('datazone')

client.create_project_membership(
    domainIdentifier='domain-id',
    projectIdentifier='project-id',
    designation='PROJECT_CONTRIBUTOR',
    member={'userIdentifier': 'arn:aws:iam::account-id:role/your-role'}
)

配置项目的 DataZone 用户角色以获得 EMR 无服务器访问权限。

项目环境的 DataZone 用户角色必须具有与 EMR Serverless 应用程序交互的权限。向角色添加以下内联策略（角色名称遵循模式datazone_usr_role_<project-id>_<environment-id>）：

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "emr-serverless:GetApplication",
                "emr-serverless:StartApplication",
                "emr-serverless:StopApplication",
                "emr-serverless:ListApplications",
                "emr-serverless:CreatePresignedUrl",
                "emr-serverless:AccessLivyEndpoints",
                "emr-serverless:StartJobRun",
                "emr-serverless:GetJobRun",
                "emr-serverless:ListJobRuns",
                "emr-serverless:CancelJobRun",
                "emr-serverless:GetDashboardForJobRun"
            ],
            "Resource": "*"
        },
        {
            "Effect": "Allow",
            "Action": "iam:PassRole",
            "Resource": "arn:aws:iam::account-id:role/emr-serverless-tip-job-role",
            "Condition": {
                "StringLike": {
                    "iam:PassedToService": "emr-serverless.amazonaws.com"
                }
            }
        }
    ]
}

向 DataZone 用户角色授予 Lake Formation 权限：

# Grant DESCRIBE on the database
aws lakeformation grant-permissions \
    --principal '{"DataLakePrincipalIdentifier": "arn:aws:iam::account-id:role/datazone_usr_role_project-id_environment-id"}' \
    --permissions '["DESCRIBE"]' \
    --resource '{"Database": {"DatabaseName": "tip_tutorial_db", "CatalogId": "account-id"}}'

# Grant SELECT and DESCRIBE on the table
aws lakeformation grant-permissions \
    --principal '{"DataLakePrincipalIdentifier": "arn:aws:iam::account-id:role/datazone_usr_role_project-id_environment-id"}' \
    --permissions '["SELECT","DESCRIBE"]' \
    --resource '{"Table": {"DatabaseName": "tip_tutorial_db", "Name": "employees", "CatalogId": "account-id"}}'

第 7 步：查询示例表

问题排查

清理资源

要避免为此教程创建的资源持续产生费用，您应删除：

后续步骤