Amazon Redshift
数据库开发人员指南 (API Version 2012-12-01)
AWS 服务或AWS文档中描述的功能,可能因地区/位置而异。点 击 Getting Started with Amazon AWS to see specific differences applicable to the China (Beijing) Region.

使用 Amazon Redshift Spectrum 查询外部数据

通过使用 Amazon Redshift Spectrum,您可以从 Amazon S3 中的文件有效地查询和检索结构化和半结构化数据,而不必将数据加载到 Amazon Redshift 表中。Redshift Spectrum 查询采用了大规模并行以便针对大型数据集极快地执行。很多处理发生在 Redshift Spectrum 层中,而大多数数据位于 Amazon S3 中。多个集群可同时查询 Amazon S3 中的同一数据集,无需为每个集群复制数据。

Amazon Redshift Spectrum 概述

Amazon Redshift Spectrum 驻留在独立于您的集群的专用 Amazon Redshift 服务器上。Redshift Spectrum 将很多计算密集型任务 (如谓词筛选和聚合) 下推到 Redshift Spectrum 层。因此,Redshift Spectrum 查询使用的集群处理容量比其他查询的少得多。Redshift Spectrum 还可智能地扩展。基于您的查询的需求,Redshift Spectrum 可能能够使用数千个实例来利用大规模并行处理。

您通过定义您的文件的结构并将文件作为外部数据目录中的表注册来创建 Redshift Spectrum 表。外部数据目录可以是 Amazon Athena 附带的数据目录或您自己的 Apache Hive 元存储。您可使用数据定义语言 (DDL) 命令或使用连接到外部数据目录的任何其他工具从 Amazon Redshift 创建和管理外部表。对外部数据目录进行的更改将立即对您的任何 Amazon Redshift 集群可用。

您也可在一个或多个列上为外部表分区。将分区定义为外部表的一部分可提升性能。改进的原因是 Amazon Redshift 查询优化程序消除了不含所查询数据的分区。

在定义 Redshift Spectrum 表之后,您可以像查询和联接任何其他 Amazon Redshift 表一样查询和联接这些表。Amazon Redshift 不支持对外部表执行更新操作。您可将 Redshift Spectrum 表添加到多个 Amazon Redshift 集群并在同一区域的任何集群中查询 Amazon S3 上的相同数据。更新 Amazon S3 数据文件后,立即可从您的任何 Amazon Redshift 集群查询到该数据。

注意

您无法使用用于标准 Amazon Redshift 表 (如 PG_TABLE_DEFSTV_TBL_PERM、PG_CLASS 或 information_schema) 的同一资源查看 Redshift Spectrum 表的详细信息。如果您的商业智能或分析工具无法识别 Redshift Spectrum 外部表,请将您的应用程序为配置查询 SVV_EXTERNAL_TABLESSVV_EXTERNAL_COLUMNS

Amazon Redshift Spectrum 注意事项

在使用 Amazon Redshift Spectrum 时,请注意以下事项:

  • Amazon Redshift Spectrum 需要引擎版本 1.0.1294 或更高版本。要查找您的集群的版本号,请运行以下命令。

    select version();

    要强制您的集群更新到最新集群版本,请调整您的维护时段

  • Redshift Spectrum 仅在以下区域可用:

    • us-east-1

    • us-east-2

    • us-west-2

  • Amazon Redshift 集群和 Amazon S3 存储桶必须位于同一区域。

  • 您的集群不能启用增强型 VPC 路由

  • 外部表为只读。您不能对外部表执行插入、更新或删除操作。您不能在外部表上创建视图。

  • 您不能控制用户对外部表的权限。相反,您可以授予和撤销对外部架构的权限。

  • Redshift Spectrum 不支持嵌套数据类型 (如 STRUCT、ARRAY 和 MAP)。

  • 当使用 Athena 数据目录时,以下限制适用:

    • 每个账户最多 100 个数据库。

    • 每个数据库最多 100 个表。

    • 每个表最多 20000 个分区。

    您可通过联系 AWS Support 来请求增加限制。

    这些限制不适用于 Apache Hive 元存储。

    有关更多信息,请参阅 为 Amazon Redshift Spectrum 创建外部架构