配置零 ETL 集成的源
支持特殊 SAP 实体
Amazon Glue 零 ETL 支持使用 SAP 操作数据供应(ODP)框架的 SAP OData 实体,也支持那些不使用 ODP 框架的 SAP OData 实体(非 ODP 实体)。支持的实体列表包括:ODP_SAP(Business Warehouse 或 BW 提取器)、ODP_CDS(核心数据服务或 CDS 视图)和适用于 SAP API 的基于非 ODP 的 OData 服务。Amazon Glue 零 ETL 支持 ODP 和非 ODP SAP 实体的完整快照和增量更改数据捕获。对于 ODP 实体,使用增量链接捕获增量更改。对于非 ODP 实体,如果选择了可用于基于时间戳的摄取的可查询字段,则零 ETL 将使用该字段进行增量摄取。
使用 Amazon Glue 零 ETL 从 SAP 实体摄取数据时,应注意以下几点:
零 ETL 只能摄取已在 SAP 中为 GET_ENTITYSET 方法配置的 SAP 实体。
对于非 ODP SAP 实体,如果未为增量更新选择时间戳字段,则 Amazon Glue 零 ETL 支持仅使用 upsert 进行完整数据提取和复制(不进行删除)。
对于 ODP 提取器实体,我们在数据处理过程中确定有效的主键集。其他 SAP 实体,特别是以
EntityOf开头的 SAP 实体,需要额外步骤来提供有效的主键集作为输入。选择EntityOf实体后,系统会指示您提供一组主键。
配置 Amazon DynamoDB 源
要访问源 Amazon DynamoDB 表中的数据,Amazon Glue 需要描述表并从中导出数据的访问权限。Amazon DynamoDB 最近推出了一项功能,允许配置基于资源的访问 (RBAC) 策略。
下面的示例基于资源的访问 (RBAC) 策略使用通配符 (*) 进行集成:
对于要复制的 DynamoDB,请将上述 RBAC 策略模板粘贴到表的基于资源的策略并填写字段。
如果要使策略具有限制性,则必须在创建集成后更新策略并指定完整的
integrationArn,并使用StringEquals条件而不是StringLike。确保 DynamoDB 表启用了时间点故障恢复 (PITR)。
确保将
Describe Export添加到基于资源的访问 (RBAC) 策略。
也可以使用下面的命令将 RBAC 策略添加到表:
aws dynamodb put-resource-policy \ --resource-arn arn:aws:dynamodb:<region>:<account-id>:table/<ddb-table-name> \ --policy file://resource-policy-with-condition.json \ --region <region>
要验证策略是否正确应用,请使用下面的命令获取表的资源策略:
aws dynamodb get-resource-policy \ --resource-arn arn:aws:dynamodb:<region>:<account-id>:table/<ddb-table-name> --region <region>
配置 Salesforce 源
要为 Salesforce 源创建连接,请参阅 连接到 Salesforce。
在创建连接后,您可以指定要复制的源数据。
使用零 ETL 集成,您可以对支持的实体执行 DDL 操作。有关不支持的实体列表,请参阅 Salesforce 不支持的实体和字段。
配置 Salesforce Marketing Cloud Account Engagement 源
要为 Salesforce Marketing Cloud Account Engagement 源创建连接,请参阅。
使用零 ETL 集成,您可以对以下支持的实体执行 DDL 操作:
| 实体标签 | 实体名称 |
|---|---|
| 活动 | 市场活动 |
| 列表 | 列表 |
| 动态内容 | dynamic-content |
| 成员资格列表 | list-membership |
| 潜在客户 | prospect |
| 用户 | 用户 |
| EmailTemplate | email-template |
| EngagementStudioProgram | engagement-studio-program |
| 登录页面 | landing-page |
| 电子邮件列表 | list-email |
其他 Salesforce 配置
Salesforce Zero-ETL 需要获得 Glue 数据库的 Lake Formation 权限,否则就会从日志中获取 IngestionFailed,并显示以下错误:
"errorMessage": "Insufficient lake formation permissions on Target Glue database."
配置 SAP oData 源
要为 SAP OData 源创建连接,请参阅 连接到 SAP OData 。
与 SAP OData 源的零 ETL 集成现在支持以 EntityOf 开头的实体。目前只有 SAPOData EntityOf 对象支持覆盖主键的功能。只要设置了此属性,就无法再修改。
配置 ServiceNow 源
配置 Zendesk 源
使用零 ETL 集成,您可以对支持的实体执行以下 DDL 操作:
| 实体标签 | 实体名称 | 支持的创建 | 支持的更新 | 支持的删除 |
|---|---|---|---|---|
| 票证 | tickets | Y | Y | Y |
| 用户 | 用户 | Y | Y | Y |
| 满意度评分 | satisfaction-rating | Y | Y | N |
| 文章 | 文章 | Y | Y | N |
| 组织 | 组织 | Y | Y | Y |
| Calls | calls | Y | Y | N |
| 呼叫分支 | legs | Y | Y | N |
配置 Zoho CRM 源
使用零 ETL 集成,您可以对支持的实体执行以下 DDL 操作:
| 实体标签 | 实体名称 | 支持的 DML 插入 | 支持的 DML 修改 | 支持的 DML 删除 | 支持的 DDL 插入 | 支持的 DDL 修改 | 支持的 DDL 删除 |
|---|---|---|---|---|---|---|---|
| 潜在客户 | lead | Y | Y | Y | Y | Y | Y |
| 账户 | 账户 | Y | Y | Y | Y | Y | Y |
| 联系人 | contact | Y | Y | Y | Y | Y | Y |
| 市场活动 | 市场活动 | Y | Y | Y | Y | Y | Y |
| 任务 | task | Y | Y | Y | Y | Y | Y |
| 事件 | 事件 | Y | Y | Y | Y | Y | Y |
| Calls | call | Y | Y | Y | Y | Y | Y |
| 解决方案 | 解决方案 | Y | Y | Y | Y | Y | Y |
| 产品 | 产品 | Y | Y | Y | Y | Y | Y |
| 供应商 | 供应商 | Y | Y | Y | Y | Y | Y |
| 报价 | quote | Y | Y | Y | Y | Y | Y |
| 销售订单 | sales-order | Y | Y | Y | Y | Y | Y |
| 采购订单 | purchase-order | Y | Y | Y | Y | Y | Y |
| 账单 | 发票 | Y | Y | Y | Y | Y | Y |
| 案例 | 案例 | Y | Y | Y | Y | Y | Y |
| 价目表 | price-book | Y | Y | Y | Y | Y | Y |
配置 Facebook Ads 源
使用零 ETL 集成,您可以对支持的实体执行以下 DDL 操作:
| 实体标签 | 实体名称 | 支持的创建 | 支持的更新 | 支持的删除 |
|---|---|---|---|---|
| Adset | */adsets | Y | Y | Y |
| 活动 | */campaigns | Y | Y | Y |
| 广告 | */ads | Y | Y | Y |
配置 Instagram Ads 源
使用零 ETL 集成,您可以对支持的实体执行以下 DDL 操作:
| 实体名称 | 支持的创建 | 支持的更新 | 支持的删除 |
|---|---|---|---|
| */adsets | Y | Y | Y |
| */campaigns | Y | Y | Y |
| */ads | Y | Y | Y |