Amazon Redshift
数据库开发人员指南 (API Version 2012-12-01)
AWS 服务或AWS文档中描述的功能,可能因地区/位置而异。点 击 Getting Started with Amazon AWS to see specific differences applicable to the China (Beijing) Region.

从 Amazon EMR 执行 COPY 的操作

您可以使用 COPY 命令从一个具有如下配置的 Amazon EMR 集群并行加载数据:将文本文件以固定宽度文件、字符分隔文件、CSV 文件、JSON 格式文件或 Avro 文件的形式写入到集群的 Hadoop 分布式文件系统 (HDFS)。

语法

Copy
FROM 'emr://emr_cluster_id/hdfs_filepath' authorization [ optional_parameters ]

示例

以下示例从一个 Amazon EMR 集群加载数据。

Copy
copy sales from 'emr://j-SAMPLE2B500FC/myoutput/part-*' iam_role 'arn:aws:iam::0123456789012:role/MyRedshiftRole';

参数

FROM

要加载的数据的源。

'emr://emr_cluster_id/hdfs_file_path'

Amazon EMR 集群的唯一标识符和引用 COPY 命令的数据文件的 HDFS 文件路径。HDFS 数据文件名不能包含通配符星号 (*) 和问号 (?)。

注意

在 COPY 操作完成前,Amazon EMR 集群必须持续运行。如果在 COPY 操作完成前更改或删除了任何 HDFS 数据文件,则您可能得到意外的结果,或者 COPY 操作可能会失败。

您可以使用通配符星号 (*) 和问号 (?) 作为 hdfs_file_path 参数的一部分来指定要加载的多个文件。例如,'emr://j-SAMPLE2B500FC/myoutput/part*' 标识文件 part-0000part-0001,等等。如果文件路径不包含通配符,则将其视为文字字符串。如果您仅指定一个文件夹名称,则 COPY 将尝试加载该文件夹中的所有文件。

重要

如果您使用通配符或仅使用文件夹名称,请确认将不会加载不需要的文件。例如,某些流程可能会将日志文件写入到输出文件夹。

有关更多信息,请参阅 从 Amazon EMR 加载数据

authorization

COPY 命令需要授权才能访问其他 AWS 资源(包括 Amazon S3、Amazon EMR、Amazon DynamoDB 和 Amazon EC2)中的数据。您可通过引用附加到您的集群的 AWS Identity and Access Management (IAM) 角色(基于角色的访问控制)或通过为 IAM 用户提供访问凭证(基于密钥的访问控制)来提供授权。为了提高安全性和灵活性,我们建议使用基于 IAM 角色的访问控制。有关更多信息,请参阅 授权参数

支持的参数

对于从 Amazon EMR 执行 COPY 的操作,还可以指定以下参数:

不支持的参数

对于从 Amazon EMR 执行 COPY 的操作,不能使用以下参数:

  • ENCRYPTED

  • MANIFEST

  • REGION

  • READRATIO

  • SSH