Amazon EMR
管理指南
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 Amazon AWS 入门

使用 EMR 文件系统 (EMRFS)

EMR 文件系统 (EMRFS) 是 HDFS 的实现,所有 Amazon EMR 集群将其用于直接从 Amazon EMR 读取常规文件并将其写入 Amazon S3。EMRFS 使您能够方便地将持久性数据存储在 Amazon S3 中以便用于 Hadoop,同时它还提供了一致视图和数据加密等功能。

通过一致视图可以为 Amazon S3 中对象的列表和先写后读 (对于新放置请求) 提供一致性检查。数据加密可让您对由 EMRFS 写入 Amazon S3 的对象进行加密,并且还允许 EMRFS 处理 Amazon S3 中的加密对象。如果您使用的是 Amazon EMR 发布版 4.8.0 或更高版本,则可使用安全配置设置 Amazon S3 中 EMRFS 对象的加密以及其他加密设置。有关更多信息,请参阅 加密选项。如果您使用的是 Amazon EMR 的早期发布版,则可以手动配置加密设置。有关更多信息,请参阅 使用 EMRFS 属性指定 Amazon S3 加密

在使用 Amazon EMR 版本 5.10.0 或更高版本时,可以根据集群用户、组或 EMRFS 数据在 Amazon S3 中的位置,使用不同 IAM 角色通过 EMRFS 对 Amazon S3 发出请求。有关更多信息,请参阅 为处理 EMRFS 对 Amazon S3 的请求配置 IAM 角色