本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
第 2 步:运行导出任务
在此步骤中,您将运行在上一步中创建的 Amazon Glue 导出作业。开始导出后,您可以使用status和logs命令监控任务进度。
运行和监控导出作业
-
运行导出命令。指定要导出到的密钥空间、表和亚马逊 S3 存储桶。使用在上一步中通过 bootstrap 命令创建的存储桶。
YOURACCOUNTID替换为您的 Amazon 账户 ID。$./keyspaces-bulk-cli export --keyspacecatalog--tablebook_awards\ --s3-uri s3://amazon-keyspaces-bulk-cli-aksglue-YOURACCOUNTID-
运行导出时,您可以覆盖其他参数。以下命令增加了 Amazon Glue 工作人员的数量。从默认的 2 个工作程序开始,然后根据表大小和导出持续时间根据需要增加。使用
status命令监控作业,如果导出时间超过预期,则扩大规模。$./keyspaces-bulk-cli export --keyspacecatalog--tablebook_awards\ --s3-uri s3://amazon-keyspaces-bulk-cli-aksglue-YOURACCOUNTID--workers8
-
监控导出任务的状态。您可以检查当前运行状态并查看日志。
$./keyspaces-bulk-cli status export输出显示了作业运行的详细信息。等到该
State字段显示SUCCEEDED:Job Run: jr_6f8de24d7131da54... ┏━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┓ ┃ Field ┃ Value ┃ ┡━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┩ │ Job Name │ AmazonKeyspacesExportToS3-aksglue │ │ State │ SUCCEEDED │ │ Started │ 2025-01-30 14:54:22 │ │ Completed │ 2025-01-30 14:56:45 │ │ Execution Time │ 143s │ │ Workers │ 2 │ │ Worker Type │ G.2X │ └────────────────┴────────────────────────────────────────────┘要查看正在运行或已完成的作业的日志,请使用以下命令。
$./keyspaces-bulk-cli logs export要仅查看错误日志,请使用以下命令。
$./keyspaces-bulk-cli logs export --log-type error通过列出 Amazon S3 存储桶内容来确认导出已完成。根据表的大小,导出可能需要一些时间。导出任务完成后,您可以在存储桶中看到以下文件夹。
YOURACCOUNTID替换为您的 Amazon 账户 ID。$aws s3 ls s3://amazon-keyspaces-bulk-cli-aksglue-YOURACCOUNTID输出显示存储桶中的以下结构:
PRE conf/ PRE export/ PRE jars/ PRE scripts/ PRE spark-logs/您导出的数据文件采用以下文件夹结构(日期和时间值反映您自己的导出运行情况):
\------- export \----- catalog \----- book_awards \----- snapshot \----- year=2025 \----- month=01 \----- day=30 \----- hour=14 \----- minute=54 \--- part-00000-*.snappy.parquet
要安排您刚才手动运行的 Amazon Glue 作业,请继续步骤 3:(可选)创建触发器来计划导出任务。