使用亚马逊 Athena 分析导出的数据

导航到 Amazon Glue 控制台。

在导航窗格中，选择 Crawlers (爬网程序)。

选择 Add crawler (添加爬网程序)。

在 Add crawler (添加爬网程序) 页面上，执行以下操作：

1. 输入爬网程序的名称（例如，IoTSiteWiseDataCrawler），然后选择 Next (下一步)。

2. 对于 Crawler source type (爬网程序源类型)，选择 Data stores (数据存储)，然后选择 Next (下一步)。

3. 在 Add a data store (添加数据存储) 页面上，执行以下操作：

   1. 对于 Choose a data store (选择数据存储)，请选择 S3。

   2. 在 Include path (包括路径) 中，输入 s3://DOC-EXAMPLE-BUCKET1 以将资产数据存储桶添加为数据存储。将 DOC-EXAMPLE-BUCKET1 替换为您在创建堆栈时选择的存储段名称。

   3. 选择下一步。

      

4. 在 Add another data store (添加另一个数据存储) 页面上，选择 No (否)，然后选择 Next (下一步)。

5. 在选择 IAM 角色页面上，执行以下操作：

   1. 要创建允许Amazon Glue访问 S3 存储桶的新服务角色，请选择创建 IAM 角色。

   2. 输入角色名称的后缀，例如 IoTSiteWiseDataCrawler。

   3. 选择下一步。

6. 对于 Frequency (频率)，选择 Hourly (每小时)，然后选择 Next (下一步)。爬网程序每次运行时都会使用新数据更新表，因此您可以选择适合您使用案例的任何频率。

7. 在 Configure the crawler's output (配置爬网程序的输出) 页面上，执行以下操作：

   1. 选择 Add database (添加数据库) 为资产数据创建 Amazon Glue 数据库。

   2. 输入数据库的名称，例如 iot_sitewise_asset_database。

   3. 选择创建。

   4. 选择下一步。

8. 检查爬网程序详细信息，然后选择 Finish (完成)。

   

在 Crawlers (爬网程序) 页面上，选中新爬网程序的复选框，然后选择 Run crawler (运行爬网程序)。

等到爬网程序完成并且状态为 Ready (就绪)。

运行爬网程序可能需要几分钟时间，并且其状态会自动更新。

在导航窗格中，选择表。

您应该看到两个新表：asset_metadata 和 asset_property_updates。

导航到 Athena 控制台。

如果出现 Getting started (入门) 页面，请选择 Get Started (开始)”。

如果您是第一次使用 Athena，请完成以下步骤，为查询结果配置 S3 存储桶。Athena 将您的查询结果存储在此存储桶中。

1. 选择 Settings。

2. 在查询结果位置中，输入 Athena 查询结果的 S3 存储桶。存储桶必须以 / 结尾。

   

3. 选择保存。

左侧面板包含要查询的数据源。执行以下操作：

1. 对于数据源 AwsDataCatalog，选择使用Amazon Glue Data Catalog。

2. 对于 Database (数据库)，选择使用爬网程序创建的 Amazon Glue 数据库。

   

您应该看到两个表：asset_metadata 和 asset_property_updates。

要根据资产属性数据和元数据的组合创建视图，请输入以下查询，然后选择 Run query (运行查询)。

CREATE
        OR REPLACE VIEW iot_sitewise_asset_data AS
SELECT "from_unixtime"("time_in_seconds" + ("offset_in_nanos" / 1000000000)) "timestamp",
         "metadata"."asset_name",
         "metadata"."asset_property_name",
         "data"."asset_property_value",
         "metadata"."asset_property_unit",
         "metadata"."asset_property_alias"
FROM ( "iot_sitewise_asset_database".asset_property_updates data
INNER JOIN "iot_sitewise_asset_database".asset_metadata metadata
    ON ( ("data"."asset_id" = "metadata"."asset_id")
        AND ("data"."asset_property_id" = "metadata"."asset_property_id") ) );

此查询连接与资产 ID 和属性 ID 相关的资产属性数据和元数据表以创建视图。您可以多次运行此查询，如果视图已存在，它将替换现有视图。

要添加新查询，请选择 + 图标。

要查看资产数据示例，请输入以下查询，然后选择 Run query (运行查询)。将时间戳替换为存储桶包含数据的时间间隔。

SELECT *
FROM "iot_sitewise_asset_database"."iot_sitewise_asset_data"
WHERE "timestamp"
    BETWEEN TIMESTAMP '2020-05-14 12:00:00.000'
        AND TIMESTAMP '2020-05-14 13:00:00.000'
ORDER BY  "timestamp" DESC LIMIT 50;

此查询在两个时间戳之间输出多达 50 个数据点，先显示最近的条目。

您的查询输出可能与以下结果类似。