在 DynamoDB 与 HDFS 之间复制数据

使用 INSERT OVERWRITE 语句直接写入 HDFS。

INSERT OVERWRITE DIRECTORY 'hdfs:///user/hadoop/hive-test'
SELECT * FROM ddb_features;
 

HDFS 中的数据文件类似如下示例：

920709^ASoldiers Farewell Hill^ASummit^ANM^A32.3564729^A-108.33004616135
1178153^AJones Run^AStream^APA^A41.2120086^A-79.25920781260
253838^ASentinel Dome^ASummit^ACA^A37.7229821^A-119.584338133
264054^ANeversweet Gulch^AValley^ACA^A41.6565269^A-122.83614322900
115905^AChacaloochee Bay^ABay^AAL^A30.6979676^A-87.97388530
 

每个字段用 SOH 字符分隔 (标题以 0x01 开头)。在文件中，SOH 显示为 ^A。

1. 创建一个映射到 HDFS 中的非格式化数据的外部表。

   
   CREATE EXTERNAL TABLE hdfs_features_unformatted
       (feature_id       BIGINT,
       feature_name      STRING ,
       feature_class     STRING ,
       state_alpha       STRING,
       prim_lat_dec      DOUBLE ,
       prim_long_dec     DOUBLE ,
       elev_in_ft        BIGINT)
   LOCATION 'hdfs:///user/hadoop/hive-test';
    

2. 将数据复制到 DynamoDB。

   
   INSERT OVERWRITE TABLE ddb_features
   SELECT * FROM hdfs_features_unformatted;
    

1. 创建一个映射到 HDFS 的 Hive 外部表。当您执行此操作时，请确保数据类型与 DynamoDB 外部表的数据类型一致。

   
   CREATE EXTERNAL TABLE hdfs_features_csv
       (feature_id       BIGINT,
       feature_name      STRING ,
       feature_class     STRING ,
       state_alpha       STRING,
       prim_lat_dec      DOUBLE ,
       prim_long_dec     DOUBLE ,
       elev_in_ft        BIGINT)
   ROW FORMAT DELIMITED
   FIELDS TERMINATED BY ','
   LOCATION 'hdfs:///user/hadoop/hive-test';
    

2. 从 DynamoDB 复制数据。

   
   INSERT OVERWRITE TABLE hdfs_features_csv
   SELECT * FROM ddb_features;
    

HDFS 中的数据文件类似如下示例：

920709,Soldiers Farewell Hill,Summit,NM,32.3564729,-108.3300461,6135
1178153,Jones Run,Stream,PA,41.2120086,-79.2592078,1260
253838,Sentinel Dome,Summit,CA,37.7229821,-119.58433,8133
264054,Neversweet Gulch,Valley,CA,41.6565269,-122.8361432,2900
115905,Chacaloochee Bay,Bay,AL,30.6979676,-87.9738853,0
 

您可以通过一个 HiveQL 语句，使用 HDFS 中的数据填充 DynamoDB 表：

INSERT OVERWRITE TABLE ddb_features
SELECT * FROM hdfs_features_csv;
 

1. 创建一个与您的 DynamoDB 表关联的外部表。(此 HiveQL 语句中不包含 dynamodb.column.mapping。)

   
   CREATE EXTERNAL TABLE ddb_features_no_mapping 
       (item MAP<STRING, STRING>)
   STORED BY 'org.apache.hadoop.hive.dynamodb.DynamoDBStorageHandler' 
   TBLPROPERTIES ("dynamodb.table.name" = "Features");
    

2. 创建另一个与 HDFS 目录关联的外部表。

   
   CREATE EXTERNAL TABLE hdfs_features_no_mapping 
       (item MAP<STRING, STRING>)
   ROW FORMAT DELIMITED
   FIELDS TERMINATED BY '\t'
   LINES TERMINATED BY '\n'
   LOCATION 'hdfs:///user/hadoop/hive-test';
    

3. 将数据从 DynamoDB 复制到 HDFS。

   
   INSERT OVERWRITE TABLE hdfs_features_no_mapping
   SELECT * FROM ddb_features_no_mapping;
    

HDFS 中的数据文件类似如下示例：

Name^C{"s":"Soldiers Farewell Hill"}^BState^C{"s":"NM"}^BClass^C{"s":"Summit"}^BElevation^C{"n":"6135"}^BLatitude^C{"n":"32.3564729"}^BId^C{"n":"920709"}^BLongitude^C{"n":"-108.3300461"}
Name^C{"s":"Jones Run"}^BState^C{"s":"PA"}^BClass^C{"s":"Stream"}^BElevation^C{"n":"1260"}^BLatitude^C{"n":"41.2120086"}^BId^C{"n":"1178153"}^BLongitude^C{"n":"-79.2592078"}
Name^C{"s":"Sentinel Dome"}^BState^C{"s":"CA"}^BClass^C{"s":"Summit"}^BElevation^C{"n":"8133"}^BLatitude^C{"n":"37.7229821"}^BId^C{"n":"253838"}^BLongitude^C{"n":"-119.58433"}
Name^C{"s":"Neversweet Gulch"}^BState^C{"s":"CA"}^BClass^C{"s":"Valley"}^BElevation^C{"n":"2900"}^BLatitude^C{"n":"41.6565269"}^BId^C{"n":"264054"}^BLongitude^C{"n":"-122.8361432"}
Name^C{"s":"Chacaloochee Bay"}^BState^C{"s":"AL"}^BClass^C{"s":"Bay"}^BElevation^C{"n":"0"}^BLatitude^C{"n":"30.6979676"}^BId^C{"n":"115905"}^BLongitude^C{"n":"-87.9738853"}
 

每个字段以 STX 字符开头 (文本以 0x02 开头)，并以 ETX 字符结尾 (文本以 0x03 结尾)。在文件中，STX 显示为 ^B，ETX 显示为 ^C。

您可以通过一个 HiveQL 语句，使用 HDFS 中的数据填充 DynamoDB 表：

INSERT OVERWRITE TABLE ddb_features_no_mapping
SELECT * FROM hdfs_features_no_mapping;