在 DynamoDB 和 Amazon S3 之间复制数据 - Amazon DynamoDB
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

在 DynamoDB 和 Amazon S3 之间复制数据

如果 DynamoDB 表中有数据,可以使用 Hive 将数据复制到 Amazon S3 存储桶。

如果要创建 DynamoDB 表数据的存档,则可以执行此操作。例如,假设有一个测试环境,在其中使用 DynamoDB 的基准测试数据集。可以将基准数据复制到 Amazon S3 存储桶,然后运行测试。之后,您可以将基准数据从 Amazon S3 存储桶恢复到 DynamoDB,重置测试环境。

如果已完成 教程:使用 Amazon DynamoDB 和 Apache Hive,则已经有一个 Amazon S3 存储桶,包含 Amazon EMR 日志。如果知道存储桶的根路径,可以为本节的示例使用此存储桶:

  1. 打开 Amazon EMR 控制台:https://console.aws.amazon.com/elasticmapreduce/

  2. 对于名称,选择集群。

  3. URI 在配置详细信息下面的日志 URI 中列出。

  4. 记下存储桶的完整路径。命名约定如下:

    s3://aws-logs-accountID-region

    accountID 是您的 Amazon 账户 ID,区域是存储桶的 Amazon 区域。

注意

对于这些示例,我们将在存储桶中使用子路径,如下例所示:

s3://aws-logs-123456789012-us-west-2/hive-test

以下过程假设您已完成教程中的步骤,并在 DynamoDB 中有一个名为 ddb_features 的外部表。

使用 Hive 默认格式复制数据

例 从 DynamoDB 到 Amazon S3

使用 INSERT OVERWRITE 语句直接写入 Amazon S3。

INSERT OVERWRITE DIRECTORY 's3://aws-logs-123456789012-us-west-2/hive-test' SELECT * FROM ddb_features;

Amazon S3 的数据文件如下所示:

920709^ASoldiers Farewell Hill^ASummit^ANM^A32.3564729^A-108.33004616135 1178153^AJones Run^AStream^APA^A41.2120086^A-79.25920781260 253838^ASentinel Dome^ASummit^ACA^A37.7229821^A-119.584338133 264054^ANeversweet Gulch^AValley^ACA^A41.6565269^A-122.83614322900 115905^AChacaloochee Bay^ABay^AAL^A30.6979676^A-87.97388530

每个字段由一个 SOH 字符分隔(标题开头,0x01)。在文件中,SOH 显示为 ^A

例 从 Amazon S3 到 DynamoDB

  1. 创建指向 Amazon S3 中未设置格式的数据的外部表。

    CREATE EXTERNAL TABLE s3_features_unformatted (feature_id BIGINT, feature_name STRING , feature_class STRING , state_alpha STRING, prim_lat_dec DOUBLE , prim_long_dec DOUBLE , elev_in_ft BIGINT) LOCATION 's3://aws-logs-123456789012-us-west-2/hive-test';
  2. 将数据复制到 DynamoDB。

    INSERT OVERWRITE TABLE ddb_features SELECT * FROM s3_features_unformatted;

使用用户指定格式复制数据

如果要指定自己的字段分隔符,可以创建映射到 Amazon S3 存储桶的外部表。您可以使用此技术创建具有逗号分隔值 (CSV) 的数据文件。

例 从 DynamoDB 到 Amazon S3

  1. 创建映射到 Amazon S3 的 Hive 外部表。执行此操作时,请确保数据类型与 DynamoDB 外部表的数据类型一致。

    CREATE EXTERNAL TABLE s3_features_csv (feature_id BIGINT, feature_name STRING, feature_class STRING, state_alpha STRING, prim_lat_dec DOUBLE, prim_long_dec DOUBLE, elev_in_ft BIGINT) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' LOCATION 's3://aws-logs-123456789012-us-west-2/hive-test';
  2. 从 DynamoDB 复制数据。

    INSERT OVERWRITE TABLE s3_features_csv SELECT * FROM ddb_features;

Amazon S3 的数据文件如下所示:

920709,Soldiers Farewell Hill,Summit,NM,32.3564729,-108.3300461,6135 1178153,Jones Run,Stream,PA,41.2120086,-79.2592078,1260 253838,Sentinel Dome,Summit,CA,37.7229821,-119.58433,8133 264054,Neversweet Gulch,Valley,CA,41.6565269,-122.8361432,2900 115905,Chacaloochee Bay,Bay,AL,30.6979676,-87.9738853,0

例 从 Amazon S3 到 DynamoDB

使用单个 HiveQL 语句,可以用 Amazon S3 的数据填充 DynamoDB 表:

INSERT OVERWRITE TABLE ddb_features SELECT * FROM s3_features_csv;

复制没有列映射的数据

可以采用原始格式从 DynamoDB 复制数据,写入 Amazon S3,无需指定任何数据类型或列映射。您可以使用此方法创建 DynamoDB 数据存档,存储在 Amazon S3。

注意

如果 DynamoDB 表包含 Map、List、Boolean 或 Null 类型的属性,则这是使用 Hive 将数据从 DynamoDB 复制到 Amazon S3 的唯一方法。

例 从 DynamoDB 到 Amazon S3

  1. 创建与 DynamoDB 表关联的外部表。(此 HiveQL 语句中没有 dynamodb.column.mapping。)

    CREATE EXTERNAL TABLE ddb_features_no_mapping (item MAP<STRING, STRING>) STORED BY 'org.apache.hadoop.hive.dynamodb.DynamoDBStorageHandler' TBLPROPERTIES ("dynamodb.table.name" = "Features");

  2. 创建另一个与 Amazon S3 存储桶关联的外部表。

    CREATE EXTERNAL TABLE s3_features_no_mapping (item MAP<STRING, STRING>) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' LINES TERMINATED BY '\n' LOCATION 's3://aws-logs-123456789012-us-west-2/hive-test';
  3. 将数据从 DynamoDB 复制到 Amazon S3。

    INSERT OVERWRITE TABLE s3_features_no_mapping SELECT * FROM ddb_features_no_mapping;

Amazon S3 的数据文件如下所示:

Name^C{"s":"Soldiers Farewell Hill"}^BState^C{"s":"NM"}^BClass^C{"s":"Summit"}^BElevation^C{"n":"6135"}^BLatitude^C{"n":"32.3564729"}^BId^C{"n":"920709"}^BLongitude^C{"n":"-108.3300461"} Name^C{"s":"Jones Run"}^BState^C{"s":"PA"}^BClass^C{"s":"Stream"}^BElevation^C{"n":"1260"}^BLatitude^C{"n":"41.2120086"}^BId^C{"n":"1178153"}^BLongitude^C{"n":"-79.2592078"} Name^C{"s":"Sentinel Dome"}^BState^C{"s":"CA"}^BClass^C{"s":"Summit"}^BElevation^C{"n":"8133"}^BLatitude^C{"n":"37.7229821"}^BId^C{"n":"253838"}^BLongitude^C{"n":"-119.58433"} Name^C{"s":"Neversweet Gulch"}^BState^C{"s":"CA"}^BClass^C{"s":"Valley"}^BElevation^C{"n":"2900"}^BLatitude^C{"n":"41.6565269"}^BId^C{"n":"264054"}^BLongitude^C{"n":"-122.8361432"} Name^C{"s":"Chacaloochee Bay"}^BState^C{"s":"AL"}^BClass^C{"s":"Bay"}^BElevation^C{"n":"0"}^BLatitude^C{"n":"30.6979676"}^BId^C{"n":"115905"}^BLongitude^C{"n":"-87.9738853"}

每个字段以 STX 字符(文本开头,0x02)开头,以 ETX 字符(文本末尾,0x03)结尾。在文件中,STX 显示为 ^B,ETX 显示为 ^C

例 从 Amazon S3 到 DynamoDB

使用单个 HiveQL 语句,可以用 Amazon S3 的数据填充 DynamoDB 表:

INSERT OVERWRITE TABLE ddb_features_no_mapping SELECT * FROM s3_features_no_mapping;

查看 Amazon S3 中的数据

如果使用 SSH 连接主节点,则可以使用 Amazon Command Line Interface (Amazon CLI) 访问 Hive 写入 Amazon S3 的数据。

以下步骤假设已使用本节介绍的一种方法,将数据从 DynamoDB 复制到 Amazon S3。

  1. 如果当前处于 Hive 命令提示符下,请退出到 Linux 命令提示符。

    hive> exit;
  2. 列出 Amazon S3 存储桶的 hive-test 目录内容。(这是 Hive 从 DynamoDB 复制数据的位置。)

    aws s3 ls s3://aws-logs-123456789012-us-west-2/hive-test/

    结果应如下所示:

    2016-11-01 23:19:54 81983 000000_0

    文件名 (000000_0) 由系统生成。

  3. (可选)可以将数据文件从 Amazon S3 复制到主节点的本地文件系统。执行此操作后,可以使用标准 Linux 命令行实用程序处理文件中的数据。

    aws s3 cp s3://aws-logs-123456789012-us-west-2/hive-test/000000_0 .

    结果应如下所示:

    download: s3://aws-logs-123456789012-us-west-2/hive-test/000000_0 to ./000000_0

    注意

    主节点的本地文件系统容量有限。请勿将此命令用于大于本地文件系统可用空间的文件。