Options - Amazon DataSync
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Options

配置您的Amazon DataSync任务设置。这些选项包括如何 DataSync 处理文件、对象及其关联的元数据。您还可以指定如何 DataSync 验证数据完整性、为任务设置带宽限制以及其他选项。

每个任务设置都有默认值。除非需要,否则Options在开始任务之前不必对其进行任何配置。

目录

Atime

指定是否保留表示上次读取或写入文件的元数据。如果您设置为AtimeBEST_EFFORT,则将 DataSync尝试在所有源文件(即任务执行PREPARING阶段之前的版本)上保留原始Atime属性。

注意

的行为Atime并不是完全标准的,因此 DataSync 只能在尽最大努力的基础上做到这一点。

默认值:BEST_EFFORT

BEST_EFFORT:尝试保留每个文件的 Atime 值(推荐)。

NONE:忽略 Atime

注意

如果 Atime 被设置为 BEST_EFFORT,则 Mtime 必须被设置为 PRESERVE

如果 Atime 设置为 NONE,则 Mtime 也必须为 NONE

类型:字符串

有效值: NONE | BEST_EFFORT

必需:否

BytesPerSecond

限制 DataSync 任务使用的带宽。例如,如果您希望 DataSync 最多使用 1MB,请将此值设置为1048576 (=1024*1024)。

类型:长整型

有效范围:最小值为 -1。

必需:否

Gid

指定文件拥有者的 POSIX 组 ID (GID)。

有关更多信息,请参阅复制的元数据 DataSync

默认值:INT_VALUE。这将保留 ID 的整数值。

INT_VALUE:保留用户 ID (UID) 和 GID(推荐)的整数值。

NONE:忽略 UID 和 GID。

类型:字符串

有效值: NONE | INT_VALUE | NAME | BOTH

必需:否

LogLevel

指定 DataSync 发布到 Amazon Lo CloudWatch gs 日志组的日志类型。要指定日志组,请参见CloudWatchLogGroupArn

如果设置为LogLevelOFF,则不发布任何日志。 BASIC发布传输的单个文件的错误日志。 TRANSFER发布传输的每个文件或对象的日志,并检查完整性。

类型:字符串

有效值: OFF | BASIC | TRANSFER

必需:否

Mtime

指定是否保留元数据,表示在任务执行PREPARING阶段之前最后一次文件被写入的时间。当您需要多次运行任务时,必须使用此选项。

默认值: PRESERVE

PRESERVE:保留原始 Mtime(推荐)

NONE:忽略 Mtime

注意

如果 Mtime 被设置为 PRESERVE,则 Atime 必须被设置为 BEST_EFFORT

如果 Mtime 被设置为 NONE,则 Atime 也必须被设置为 NONE

类型:字符串

有效值: NONE | PRESERVE

必需:否

ObjectTags

指定在对象存储系统之间传输时是否保留对象标签。如果您希望 DataSync 任务忽略对象标签,请指定NONE值。

默认值: PRESERVE

类型:字符串

有效值: PRESERVE | NONE

必需:否

OverwriteMode

指定是应覆盖还是保留目标位置的数据。如果设置为NEVER,则例如,目标文件将不会被源文件替换(即使目标文件不同于源文件)。如果修改目标位置的文件并同步文件,则可以使用此值来防止覆盖这些更改。

有些存储类别的特定行为会影响您的 Amazon S3 存储成本。有关详细信息,请参阅中使用 Amazon S3 存储类时的注意事项 DataSync

类型:字符串

有效值: ALWAYS | NEVER

必需:否

PosixPermissions

指定哪些用户或组可以出于特定目的(例如读取、写入或执行文件)访问文件的用户或组。

有关更多信息,请参阅复制的元数据 DataSync

默认值:PRESERVE

PRESERVE:保留 POSIX 式权限(推荐)。

NONE:忽略权限。

注意

Amazon DataSync 可以保留源位置的现有权限。

类型:字符串

有效值: NONE | PRESERVE

必需:否

PreserveDeletedFiles

指定是否应保留源中不存在的目标位置的文件。此选项可能会影响您的 Amazon S3 存储成本。如果您的任务删除对象,则您可能需要为某些存储类别支付最低存储期限费用。有关详细信息,请参阅中使用 Amazon S3 存储类时的注意事项 DataSync

默认值:PRESERVE

PRESERVE:忽略此类目标文件(推荐)。

REMOVE:删除源中不存在的目标文件。

注意

如果将此参数设置为REMOVE,则无法设置TransferModeALL。当你传输所有数据时, DataSync 不会扫描你的目标位置,也不知道要删除什么。

类型:字符串

有效值: PRESERVE | REMOVE

必需:否

PreserveDevices

指定是否 DataSync 应在源位置保留数据块设备和字符设备的元数据,并在目标上使用该设备名称和元数据重新创建文件。 DataSync 仅复制此类设备的名称和元数据。

注意

DataSync 无法复制这些设备的实际内容,因为它们是非终端设备,不返回 end-of-file (EOF)标记。

默认值:NONE

NONE:忽略特殊设备(推荐)。

PRESERVE:保留字符和数据块设备元数据。Amazon EFS 目前不支持此选项。

类型:字符串

有效值: NONE | PRESERVE

必需:否

SecurityDescriptorCopyFlags

指定将 SMB 安全描述符的哪些组件从源对象复制到目标对象。

此值仅用于 SMB 和 Amazon FSx Windows Windows Windows Windows Windows Windows WindFSx for Windows File Server 有关更多信息,请参阅如何 DataSync 处理元数据

默认值:OWNER_DACL

OWNER_DACL:对于每个复制的对象, DataSync 复制以下元数据:

  • 对象所有者。

  • NTFS 自由访问控制列表(DACL),用于确定是否向对象授予访问权限。

    DataSync 不会使用此选项复制 NTFS 系统访问控制列表 (SACL)。

OWNER_DACL_SACL:对于每个复制的对象, DataSync 复制以下元数据:

  • 对象所有者。

  • NTFS 自由访问控制列表(DACL),用于确定是否向对象授予访问权限。

  • SACL,管理员将使用 SACL 记录对受保护对象的访问尝试。

    复制 SACL 需要向 DataSync 用于访问您的 SMB 位置的 Windows 用户授予其他权限。有关如何选择可确保对文件、文件夹和元数据具有足够权限的用户的信息,请参阅用户

NONE:不会复制任何 SMB 安全描述符组件。目标对象由为访问目标位置而提供的用户所有。DACL 和 SACL 根据目标服务器的配置进行设置。

类型:字符串

有效值: NONE | OWNER_DACL | OWNER_DACL_SACL

必需:否

TaskQueueing

指定在执行任务之前是否应将任务排队。默认值为ENABLED,这意味着任务将排队。

如果使用同一个代理来运行多个任务,则可以启用这些任务连续运行。有关更多信息,请参阅任务执行排队

类型:字符串

有效值: ENABLED | DISABLED

必需:否

TransferMode

确定仅 DataSync 传输源位置和目标位置之间不同的数据和元数据,还是(不比较目标位置之间不同的数据和元数据)。

CHANGED:仅 DataSync 将新内容或不同内容的数据或元数据从源位置复制到目标位置。

ALL: DataSync 将所有源位置内容复制到目标位置(不比较目标位置的内容)。

类型:字符串

有效值: CHANGED | ALL

必需:否

Uid

指定文件拥有者的 POSIX 用户 ID (UID)。

有关更多信息,请参阅复制的元数据 DataSync

默认值:INT_VALUE。这将保留 ID 的整数值。

INT_VALUE:保留 UID 和组 ID (GID) 的整数值(推荐)。

NONE:忽略 UID 和 GID。

类型:字符串

有效值: NONE | INT_VALUE | NAME | BOTH

必需:否

VerifyMode

指定在传输期间如何和何时 DataSync 检查数据的完整性。

默认值:POINT_IN_TIME_CONSISTENT

ONLY_FILES_TRANSFERRED(推荐): DataSync 计算源位置传输的文件和元数据的校验和。在传输结束时,将 DataSync 此校验和与在目标文件上计算的校验和进行比较。

在传输到 S3 Glacier Flexible Retrieval 或 S3 Glacier Deep Archi 有关更多信息,请参阅 Amazon S3 S3 存储类注意事项

POINT_IN_TIME_CONSISTENT:在传输结束时, DataSync扫描整个源位置和目标位置之间是否完全同步。

在传输到 S3 Glacier Flexible Archive 存储类时,您不能使用此选项。有关更多信息,请参阅 Amazon S3 S3 存储类注意事项

NONE: 在传输结束时 DataSync 不运行额外验证。在传输过程中,仍将通过校验和验证来检查所有数据传输的完整性。

类型:字符串

有效值: POINT_IN_TIME_CONSISTENT | ONLY_FILES_TRANSFERRED | NONE

必需:否

另请参阅

有关在特定语言的 Amazon 软件开发工具包中使用此 API 的更多信息,请参阅以下内容: