元数据由Amazon DataSync - Amazon DataSync
在具有相似元数据结构的系统之间复制元数据在具有不同元数据结构的系统之间复制元数据
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

元数据由Amazon DataSync

传输期间如何Amazon DataSync处理文件或对象元数据取决于您使用的存储系统。

注意

DataSync 不复制系统级设置。例如，在复制对象时， DataSync 不会复制存储系统的加密设置。如果您从 SMB 共享中进行复制，则 DataSync 不会复制您在文件系统级别配置的权限。

在具有相似元数据结构的系统之间复制元数据

DataSync 保留具有相似元数据结构的存储系统之间的元数据。

NFS 传输

下表描述了在使用网络文件系统 (NFS) 的位置之间 DataSync 可以复制哪些元数据。

在这些位置之间复制时 DataSync 可以复制

  • NFS

  • Amazon EFS

  • Amazon FSx for Lustre

  • Amazon FSx for OpenZFS

  • 适用于 NetApp ONTAP 的亚马逊 FSx（使用 NFS）

  • 文件和文件夹修改时间戳

  • 文件和文件夹访问时间戳（DataSync 只能在尽最大努力的基础上做到这一点）

  • 用户 ID (UID) 和组 ID (GID)

  • POSIX 权限

中小企业转账

下表描述了在使用服务器消息块 (SMB) 的位置之间 DataSync 可以复制哪些元数据。

在这些位置之间复制时 DataSync 可以复制

  • SMB

  • Amazon FSx for Windows File Server

  • 适用于 ONTAP 的 FSx（使用 SMB）

  • 文件时间戳：访问时间、修改时间和创建时间

  • 文件所有者安全标识符 (SID)

  • 标准文件属性：只读 (R)、存档 (A)、系统 (S)、隐藏 (H)、压缩 (C)、未索引的内容 (N)、加密 (E)、临时 (T)、脱机 (O) 和稀疏 (P)

    DataSync 尝试复制存档、压缩和稀疏属性。如果这些属性未应用于目的地，则在任务验证期间会忽略它们。

  • NTFS 自由访问列表（DACL），用于确定是否向对象授予访问权限。

  • NTFS 系统访问控制列表（SACL），管理员将使用这些列表记录对受保护对象的访问尝试。

    注意：如果您使用 SMB 版本 1.0，则不会复制 SACL。

    复制 DACL 和 SACL 需要向 DataSync 使用 SMB 访问您位置的 Windows 用户授予特定权限。有关更多信息，请参阅为 SMB 创建位置、为 FS x for Windows File Server 创建 FSx 或为 ONTAP 创建 FSx（取决于传输中的位置类型）。

HFFS 传输

下表描述了当传输涉及 Hadoop Distributed File System（HDFS）位置时， DataSync 可以复制哪些元数据。

从此位置复制时 到其中一个地点 DataSync 可以复制

  • HDFS

  • Amazon EFS

  • FSx for Lustre

  • FSx for OPSx for

  • 适用于 ONTAP 的 FSx（使用 NFS）

  • 文件和文件夹修改时间戳

  • 文件和文件夹访问时间戳（DataSync 只能在尽最大努力的基础上做到这一点）

  • POSIX 权限

HDFS 使用字符串来存储文件和文件夹的用户和群组所有权，而不是数字标识符（例如 UID 和 GID）。UID 和 GID 的默认值应用于目标文件系统。有关默认值的更多信息，请参阅应用的默认 POSIX 元数据由 DataSync。

Amazon S3 转

下表描述了在传输涉及 Amazon S3 位置时 DataSync 可以复制哪些元数据。

更新为Amazon S3

从这些位置之一复制时 更新为这个位置 DataSync 可以复制

  • NFS

  • Amazon EFS

  • FSx for Lustre

  • FSx for OPSx for

  • 适用于 ONTAP 的 FSx（使用 NFS）

  • Amazon S3

以下是 Amazon S3 用户元数据：

  • 文件和文件夹修改时间戳

  • 文件和文件夹访问时间戳（DataSync 只能在尽最大努力的基础上做到这一点）

  • 用户 ID 和组 ID

  • POSIX 权限

存储在 Amazon S3 用户元数据中的文件元数据可与文件网关上的 NFS 共享进行互操作Amazon Storage Gateway。文件网关允许从本地网络低延迟访问复制到 Amazon S3 的数据 DataSync。此元数据还可以与 FsX for Lustre 进行互操作。

将包含此元数据的对象 DataSync 复制回 NFS 服务器时，文件元数据将恢复。恢复元数据需要向 NFS 服务器授予更高的权限。有关更多信息，请参阅为创建 NFS 位置Amazon DataSync：

在 HFFS 和 Amazon S3 之间

在这些位置之间复制时 DataSync 可以复制

  • Hadoop Distributed File System（HDFS）

  • Amazon S3

以下是 Amazon S3 用户元数据：

  • 文件和文件夹修改时间戳

  • 文件和文件夹访问时间戳（DataSync 只能在尽最大努力的基础上做到这一点）

  • 用户 ID 和组 ID

  • POSIX 权限

HDFS 使用字符串来存储文件和文件夹的用户和群组所有权，而不是数字标识符，例如 UID 和 GID。

在对象存储和Amazon S3 之间

在这些位置之间复制时 DataSync 可以复制

  • 对象存储

  • Amazon S3

  • 用户定义的对象元数据

  • 对象标签

  • 以下系统定义的对象元数据：

    • Content-Disposition

    • Content-Encoding

    • Content-Language

    • Content-Type

    注意：在初始传输期间 DataSync 复制所有对象的系统元数据。如果您将任务配置为仅传输已更改的数据，则除非对象的内容或用户元数据也已修改，否则 DataSync 不会在后续传输中复制系统元数据。

DataSync 不复制其他对象元数据，例如对象访问控制列表 (ACL) 或之前的对象版本。

重要：如果您要从 Google Cloud Storage 存储分区传输对象，则复制对象标签可能会导致 DataSync 任务失败。为防止出现这种情况，请在配置任务设置时取消选择 “复制对象标签” 选项。有关更多信息，请参阅管理文件、对象和元数据的Amazon DataSync传输方式：

在具有不同元数据结构的系统之间复制元数据

在没有相似元数据结构的存储系统之间进行复制时，使用以下规则 DataSync 处理元数据。

从这些位置之一复制时 到其中一个地点 DataSync 可以复制

  • SMB

  • FSx for Windows File Server

  • 适用于 ONTAP 的 FSx（使用 SMB）

  • Amazon EFS

  • FSx for Lustre

  • FSx for OPSx for

  • 适用于 ONTAP 的 FSx（使用 NFS）

  • Amazon S3

  • 对象存储

  • NFS

目标文件系统上所有文件和文件夹或目标 S3 存储桶中对象的默认 POSIX 元数据。该方法包括使用默认 POSIX 用户 ID 和组 ID 值。

不会保留基于 Windows 的元数据（例如 ACL）。

  • FSx for Windows File Server

  • 适用于 ONTAP 的 FSx（使用 SMB）

  • HDFS

 源位置的文件和文件夹时间戳。文件或文件夹所有者是根据您在创建 HDFS 位置时指定的 HDFS 用户或 Kerberos 委托人设置的。Hadoop 集群上的组映射配置决定了群组。

  • Amazon EFS

  • FSx for Lustre

  • FSx for OPSx for

  • 适用于 ONTAP 的 FSx（使用 NFS）

  • Amazon S3

  • 对象存储

  • NFS

  • HDFS

  • SMB

  • FSx for Windows File Server

  • 适用于 ONTAP 的 FSx（使用 SMB）

 源位置的文件和文件夹时间戳。所有权是根据中 DataSync 指定的访问亚马逊 FSx 或 SMB 共享的 Windows 用户设置的。权限继承自父目录。

应用的默认 POSIX 元数据由 DataSync

当您的源位置和目标位置没有相似的元数据结构时，或者缺少源元数据时，会 DataSync 应用默认 POSIX 元数据。

这是在以下情况下专门 DataSync 应用默认 POSIX 元数据的方式：

  • 从 Amazon S3 或对象存储（在Amazon S3 对象没有 DataSync POSIX 元数据的情况下）传输到亚马逊 EFS、FsX for Lustre、FsX for OpenZFS、FSx for ONTAP（使用 NFS）、NFS 或 HDFS 时

  • 从 SMB 传输到 NFS、HDFS、Amazon S3、FsX for Lustre、FsX for OpenZFS、FSx for ONTAP（使用 NFS）或亚马逊 EFS 时

下表描述了 DataSync 适用的默认 POSIX 元数据和权限。

权限 值

UID

65534

GID

65534

文件夹权限

0755

文件权限

0644

HDFS 使用字符串而不是数字标识符（例如 UID 和 GID）存储文件和文件夹的用户和群组所有权。当源位置上没有等效的元数据时，文件和文件夹所有权将根据您在创建 DataSync 位置时指定的 HDFS 用户或 Kerberos 主体进行设置。该组由 Hadoop 集群上的组映射配置确定。