使用零 ETL 集成 - Amazon Redshift
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

使用零 ETL 集成

本主题包含 Aurora PostgreSQL 以及 RDS for MySQL 与 Amazon Redshift 的零 ETL 集成的预发行文档,该集成已提供预览版。文档和功能都可能会更改。我们建议您仅在测试环境中使用 RDS for MySQL 和 Aurora PostgreSQL 的零 ETL 集成,不要在生产环境中使用。有关预览条款和条件,请参阅 Amazon 服务条款中的测试版和预览

零 ETL 集成是一种完全托管式解决方案,可以近乎实时地提供事务或操作数据在 Amazon Redshift 中使用。通过此解决方案,您可以配置从数据来源到 Amazon Redshift 数据仓库的集成。您无需维护提取、转换、加载 (ETL) 管道。我们自动创建和管理从数据来源到 Amazon Redshift 集群或 Redshift Serverless 命名空间的数据复制任务,从而为您处理 ETL。您可以继续更新和查询源数据,同时使用 Amazon Redshift 完成分析工作负载,例如报告和控制面板。

目前,以下数据来源支持零 ETL 集成:

  • Aurora MySQL 兼容版

  • Aurora PostgreSQL 兼容版(预览版)

  • RDS for MySQL(预览版)

要创建零 ETL 集成,您需要指定集成源,并将 Amazon Redshift 数据仓库指定为目标。该集成会将数据从源复制到目标数据仓库中。几秒钟后,数据在 Amazon Redshift 中可用。该集成还会监控数据管道的运行状况,并在可能的情况下从问题中恢复。您可以创建相同类型的多个源与单个 Amazon Redshift 数据仓库的集成,从而获得跨多个应用程序的全面洞察。

当数据在 Amazon Redshift 中之后,您可以使用 Amazon Redshift 提供的分析功能。例如,内置机器学习 (ML)、实体化视图、数据共享以及直接访问多个数据存储和数据湖。通过零 ETL 集成,您可以将计算资源与数据资源隔离开,这样就可以使用最高效的工具来处理数据。对于数据工程师,零 ETL 集成提供了对时间敏感型数据的访问,否则,对这些数据的访问可能会被复杂数据管道中的间歇性错误延误。您可以对事务数据运行分析查询和 ML 模型,从而为时间敏感型事件和业务决策提供近乎实时的洞察。

您可以创建 Amazon Redshift 事件通知订阅,这样就能在发生零 ETL 集成事件时收到通知。要查看与集成相关的事件通知列表,请参阅使用 Amazon EventBridge 发送零 ETL 集成事件通知。创建订阅最简单的方式是使用 Amazon SNS 控制台。有关创建和订阅 Amazon SNS 主题的信息,请参阅《Amazon Simple Notification Service 开发人员指南》中的开始使用 Amazon SNS

在开始使用零 ETL 集成时,请考虑以下概念:

  • 源数据库是将其数据复制到 Amazon Redshift 中的数据库。

  • 目标数据仓库是数据要复制到的 Amazon Redshift 预置集群或 Redshift Serverless 工作组。

  • 目标数据库是您通过零 ETL 集成创建在目标数据仓库中创建的数据库。

您可以通过在 Amazon Redshift 中查询以下系统视图来监控零 ETL 集成。

有关零 ETL 集成的定价信息,请参阅相应的定价页面:

有关零 ETL 集成源的更多信息,请参阅以下主题: