使用 Athena 控制台 - Amazon Athena
连接到数据来源
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

使用 Athena 控制台

要选择、命名和部署数据源连接器，请在集成过程中使用 Athena 和 Lambda 控制台。

部署数据源连接器

  1. 从 https://console.aws.amazon.com/athena/ 打开 Athena 控制台。

  2. 如果控制台导航窗格不可见，请选择左侧的扩展菜单。

    选择扩展菜单。

  3. 在导航窗格中，选择 Data sources（数据来源）。

  4. 在 Data sources（数据源）页面上，选择 Create data source（创建数据源）。

  5. 对于 Choose Data source（选择数据源），请选择想要 Athena 查询的数据源，同时考虑以下准则：

    • 选择与数据源对应的联合查询选项。Athena 具有预构建的数据源连接器，您可以为 MySQL、Amazon DocumentDB 和 PostgreSQL 等源配置这些连接器。

    • 如果您想查询 Amazon S3 中的数据，但您没有使用 Apache Hive 元数据仓或本页面上的其他联合查询数据源选项之一，请选择 S3 - Amazon Glue Data Catalog。Athena 使用 Amazon Glue Data Catalog 在 Amazon S3 中存储数据源的元数据和架构信息。这是默认的（非联合）选项。有关更多信息，请参阅 使用 Amazon Glue 连接到 Simple Storage Service（Amazon S3）中的数据来源。

    • 选择 S3 - Apache Hive metastore（S3 - Apache Hive 元数据仓），查询在 Amazon S3 中使用 Apache Hive 元数据仓的数据集。有关此选项的更多信息，请参阅 将 Athena 连接到 Apache Hive 元存储。

    • 如果您想创建自己的数据源连接器，以便与 Athena 一起使用，请选择 Custom or shared connector（自定义或共享连接器）。有关编写数据源连接器的信息，请参阅 使用 Athena Query Federation SDK 编写数据来源连接器。

    本教程选择 Amazon CloudWatch Logs 作为联合数据源。

  6. 选择下一步。

  7. 在 Enter data source details（输入数据源详细信息）页面中，对于 Data source name（数据源名称），请输入从 Athena 查询数据源时要在 SQL 语句中使用的名称（例如 CloudWatchLogs）。名称最多可以包括 127 个字符，并且在您的账户中必须是唯一的。它在创建后即无法更改。有效字符包括 a-z、A-Z、0-9、_（下划线）、@（at 符号）和 -（连字符）。名称 awsdatacatalog、hive、jmx 和 system 是 Athena 预留的名称，无法用于数据源名称。

  8. 对于 Lambda function（Lambda 函数），请选择 Create Lambda function（创建 Lambda 函数）。您选择的连接器的函数页将在 Amazon Lambda 控制台中打开。该页面包括连接器的详细信息。

  9. 在 Application settings（应用程序设置）项下，请仔细阅读每个应用程序设置的说明，然后输入符合您要求的值。

    您看到的应用程序设置因数据源的连接器而异。所需的最低设置包括：

    • AthenaCatalogName – 指明其目标数据源的小写 Lambda 函数名称，例如 cloudwatchlogs。

    • SpillBucket – 您的账户中用于存储超出 Lambda 函数响应大小限制的数据的 Amazon S3 存储桶。

      注意

      溢出的数据不会在后续的执行中重复使用，并且可以在 12 小时后安全地删除。Athena 不会为您删除这些数据。要管理这些对象，请考虑添加一个将从 Amazon S3 溢出存储桶中删除旧数据的对象生命周期策略。有关更多信息，请参阅《Amazon S3 用户指南》中的对象生命周期管理。

  10. 选中 I acknowledge that this app creates custom IAM roles and resource policies（我确认此应用程序创建自定义 IAM 角色和资源策略）。有关更多信息，请选择 Info (信息) 链接。

  11. 选择部署。部署完成后，Lambda 函数将显示在 Lambda 控制台中的 Resource（资源）部分。

连接到数据来源

将数据源连接器部署到您的账户后，可以将 Athena 连接到此数据源连接器。

使用已部署到账户的连接器将 Athena 连接到数据源

  1. 返回至 Athena 控制台中的 Enter data source details（输入数据源详细信息）页面。

  2. 在 Connection details（连接详细信息）部分中，选择 Select or enter a Lambda function（选择或输入 Lambda 函数）搜索框旁的刷新图标。

  3. 在 Lambda 控制台上选择刚创建的函数名称。将显示 Lambda 函数的 ARN。

  4. （可选）对于 Tags（标签），添加要与此数据源关联的键值对。有关标签的更多信息，请参阅 为 Athena 资源添加标签。

  5. 选择下一步。

  6. 在 Review and create（审核和创建）页面中，查看数据源的详细信息，然后选择 Create data source（创建数据源）。

  7. 数据源此页面的 Data source details（数据源详细信息）部分显示了有关新连接器的信息。现在，您可以在 Athena 查询中使用连接器。

    有关在查询中使用数据连接器的信息，请参阅 编写联合查询。