View a markdown version of this page

第 2 步:运行导出任务 - Amazon Keyspaces(Apache Cassandra 兼容)
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

第 2 步:运行导出任务

在此步骤中,您将运行在上一步中创建的 Amazon Glue 导出作业。开始导出后,您可以使用statuslogs命令监控任务进度。

运行和监控导出作业
  1. 运行导出命令。指定要导出到的密钥空间、表和亚马逊 S3 存储桶。使用在上一步中通过 bootstrap 命令创建的存储桶。YOURACCOUNTID替换为您的 Amazon 账户 ID。

    $ ./keyspaces-bulk-cli export --keyspace catalog --table book_awards \ --s3-uri s3://amazon-keyspaces-bulk-cli-aksglue-YOURACCOUNTID
    • 运行导出时,您可以覆盖其他参数。以下命令增加了 Amazon Glue 工作人员的数量。从默认的 2 个工作程序开始,然后根据表大小和导出持续时间根据需要增加。使用status命令监控作业,如果导出时间超过预期,则扩大规模。

      $ ./keyspaces-bulk-cli export --keyspace catalog --table book_awards \ --s3-uri s3://amazon-keyspaces-bulk-cli-aksglue-YOURACCOUNTID --workers 8
  2. 监控导出任务的状态。您可以检查当前运行状态并查看日志。

    $ ./keyspaces-bulk-cli status export

    输出显示了作业运行的详细信息。等到该State字段显示SUCCEEDED

    Job Run: jr_6f8de24d7131da54... ┏━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┓ ┃ Field ┃ Value ┃ ┡━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┩ │ Job Name │ AmazonKeyspacesExportToS3-aksglue │ │ State │ SUCCEEDED │ │ Started │ 2025-01-30 14:54:22 │ │ Completed │ 2025-01-30 14:56:45 │ │ Execution Time │ 143s │ │ Workers │ 2 │ │ Worker Type │ G.2X │ └────────────────┴────────────────────────────────────────────┘

    要查看正在运行或已完成的作业的日志,请使用以下命令。

    $ ./keyspaces-bulk-cli logs export

    要仅查看错误日志,请使用以下命令。

    $ ./keyspaces-bulk-cli logs export --log-type error
  3. 通过列出 Amazon S3 存储桶内容来确认导出已完成。根据表的大小,导出可能需要一些时间。导出任务完成后,您可以在存储桶中看到以下文件夹。YOURACCOUNTID替换为您的 Amazon 账户 ID。

    $ aws s3 ls s3://amazon-keyspaces-bulk-cli-aksglue-YOURACCOUNTID

    输出显示存储桶中的以下结构:

    PRE conf/ PRE export/ PRE jars/ PRE scripts/ PRE spark-logs/

    您导出的数据文件采用以下文件夹结构(日期和时间值反映您自己的导出运行情况):

    \------- export \----- catalog \----- book_awards \----- snapshot \----- year=2025 \----- month=01 \----- day=30 \----- hour=14 \----- minute=54 \--- part-00000-*.snappy.parquet

要安排您刚才手动运行的 Amazon Glue 作业,请继续步骤 3:(可选)创建触发器来计划导出任务