零 ETL 集成
本主题包含 Aurora PostgreSQL 与 Amazon Redshift 的零 ETL 集成的预发行文档,该集成已提供预览版。文档和功能都可能会更改。我们建议您仅在测试环境中使用 Aurora PostgreSQL 零 ETL 集成,而不要在生产环境中使用。有关预览条款和条件,请参阅 Amazon 服务条款 |
零 ETL 集成是一种完全托管式解决方案,可以近乎实时地提供事务或操作数据在 Amazon Redshift 中使用。通过此解决方案,您可以配置从数据来源到 Amazon Redshift 数据仓库的集成。您无需维护提取、转换、加载 (ETL) 管道。我们自动创建和管理从数据来源到 Amazon Redshift 集群或 Redshift Serverless 命名空间的数据复制任务,从而为您处理 ETL。您可以继续更新和查询源数据,同时使用 Amazon Redshift 完成分析工作负载,例如报告和控制面板。
通过零 ETL 集成,您可以获得最新数据,用于分析、AI/ML 和报告。您可以获得更准确、更及时的洞察,用于实时控制面板、优化游戏体验、数据质量监控和客户行为分析等应用场景。您可以更有信心地做出以数据为导向的预测,改善客户体验,并在整个企业中推广数据驱动的洞察。
目前,以下数据来源支持零 ETL 集成:
-
Aurora MySQL 兼容版
-
Aurora PostgreSQL 兼容版(预览版)
-
RDS for MySQL
要创建零 ETL 集成,您需要指定集成源,并将 Amazon Redshift 数据仓库指定为目标。该集成会将数据从源复制到目标数据仓库中。几秒钟后,数据在 Amazon Redshift 中可用。该集成还会监控数据管道的运行状况,并在可能的情况下从问题中恢复。您可以创建相同类型的多个源与单个 Amazon Redshift 数据仓库的集成,从而获得跨多个应用程序的全面洞察。
当数据在 Amazon Redshift 中之后,您可以使用 Amazon Redshift 提供的分析功能。例如,内置机器学习 (ML)、实体化视图、数据共享以及直接访问多个数据存储和数据湖。通过零 ETL 集成,您可以将计算资源与数据资源隔离开,这样就可以使用最高效的工具来处理数据。对于数据工程师,零 ETL 集成提供了对时间敏感型数据的访问,否则,对这些数据的访问可能会被复杂数据管道中的间歇性错误延误。您可以对事务数据运行分析查询和 ML 模型,从而为时间敏感型事件和业务决策提供近乎实时的洞察。
您可以创建 Amazon Redshift 事件通知订阅,这样就能在发生零 ETL 集成事件时收到通知。要查看与集成相关的事件通知列表,请参阅使用 Amazon EventBridge 发送零 ETL 集成事件通知。创建订阅最简单的方式是使用 Amazon SNS 控制台。有关创建和订阅 Amazon SNS 主题的信息,请参阅《Amazon Simple Notification Service 开发人员指南》中的开始使用 Amazon SNS。
在开始使用零 ETL 集成时,请考虑以下概念:
-
源数据库是将其数据复制到 Amazon Redshift 中的数据库。
-
目标数据仓库是数据要复制到的 Amazon Redshift 预置集群或 Redshift Serverless 工作组。
-
目标数据库是您通过零 ETL 集成创建在目标数据仓库中创建的数据库。
有关可用于监视零 ETL 集成的系统表和视图的信息,请参阅使用 Amazon Redshift 系统视图监控零 ETL 集成。
有关零 ETL 集成的定价信息,请参阅相应的定价页面:
有关零 ETL 集成源的更多信息,请参阅以下主题:
-
对于 Aurora 零 ETL 集成,请参阅《Amazon Aurora 用户指南》中零 ETL 集成的优点、重要概念、限制、配额和支持的区域。
-
对于 RDS 零 ETL 集成,请参阅《Amazon RDS User Guide》中零 ETL 集成的Benefits、Key concepts、Limitations、Quotas 和 Supported Regions。