Amazon Glue 中的 Amazon Q 数据集成 - Amazon Glue
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

Amazon Glue 中的 Amazon Q 数据集成

Amazon Glue 中的 Amazon Q 数据集成为预览版,可能会发生变化。

Amazon Glue 中的 Amazon Q 数据集成是 Amazon Glue 的一项新的生成式人工智能功能,它使数据工程师和 ETL 开发人员能够使用自然语言构建数据集成作业。工程师和开发人员可以请求 Q 来编写作业、解决问题并回答有关 Amazon Glue 和数据集成的问题。

什么是 Amazon Q?

注意

由 Amazon Bedrock 提供支持:Amazon 实施自动化滥用检测。由于 Amazon Q 数据集成功能基于 Amazon Bedrock 构建,因此用户可以充分利用 Amazon Bedrock 中实施的控制措施,以便安全、负责任地使用人工智能(AI)。

Amazon Q 是一款由生成式人工智能(AI)提供支持的对话助手,可以帮助您理解、构建、扩展和操作 Amazon 应用程序。为 Amazon Q 提供支持的模型辅以高质量的 Amazon 内容,可为您提供更全面、更具可操作性和参考性的答案,让您可以更快在 Amazon 上构建。有关更多信息,请参阅什么是 Amazon Q?

什么是 Amazon Glue 中的 Amazon Q 数据集成?

Amazon Glue 中的 Amazon Q 数据集成包括以下功能:

  • 聊天 – Amazon Glue 中的 Amazon Q 数据集成可以用英语回答有关 Amazon Glue 和数据集成的自然语言问题,例如 Amazon Glue 源和目标连接器、Amazon Glue ETL 作业、数据目录、爬网程序和 Amazon Lake Formation,以及其他功能文档和最佳实践。Amazon Glue 中的 Amazon Q 数据集成以分步说明作为回复,并包括对其信息源的引用。

  • 数据集成代码生成 – Amazon Glue 中的 Amazon Q 数据集成可以回答有关 Amazon Glue ETL 脚本的问题,并根据以英语提出的自然语言问题生成新代码。

  • 疑难解答 – Amazon Glue 中的 Amazon Q 数据集成旨在帮助您了解 Amazon Glue 作业中的错误,并提供分步说明,以从根本上解决问题。

注意

Amazon Glue 中的 Amazon Q 数据集成不会使用您的对话情境为对话期间的未来回复提供信息。与 Amazon Glue 中的 Amazon Q 数据集成的每次对话都与之前或将来的对话无关。

使用 Amazon Glue 中的 Amazon Q 数据集成?

在 Amazon Q 面板中,您可以请求 Amazon Q 为 Amazon Glue ETL 脚本生成代码,回答有关 Amazon Glue 功能的问题,或对错误进行问题排查。响应将是 PySpark 中的 ETL 脚本,其中包含自定义脚本、查看和执行脚本的分步说明。对于问题,将根据数据集成知识库生成回复,并含有摘要和来源 URL 供参考。

例如,您可以要求 Amazon Q“编写一个 Amazon Glue 脚本从 S3 读取 CSV 数据,应用 DropNullFields 转换并写入 Redshift”,作为响应,Amazon Glue 中的 Amazon Q 数据集成将返回一个可以执行所请求操作的 Amazon Glue 作业脚本。您可以查看生成的代码,确保其满足请求的意图。如果满意,可以将其部署为生产环境中的 Amazon Glue 作业。您可以要求集成说明错误和故障,并提出解决方案,从而对作业进行故障排除。Amazon Q 可以回答有关 Amazon Glue 或数据集成最佳实践的问题。

以下是示例问题,演示了 Amazon Glue 中的 Amazon Q 数据集成如何帮助您基于 Amazon Glue 构建:

Amazon Glue ETL 代码生成:

  • 编写一个从 S3 读取 JSON、使用应用映射转换字段并写入 Amazon Redshift 的 Amazon Glue 脚本

  • 如何编写 Amazon Glue 脚本,用于从 DynamoDB 读取、应用 DropNullFields 转换并作为 Parquet 写入 S3?

  • 给我一个 Amazon Glue 脚本,该脚本可以从 MySQL 读取,根据我的业务逻辑删除一些字段,然后写入 Snowflake

  • 编写一个 Amazon Glue 作业,从 DynamoDB 读取然后以 JSON 的形式写入 S3

  • 帮我开发一个 S3 Amazon Glue 数据目录的 Amazon Glue 脚本

  • 编写一个 Amazon Glue 作业,从 S3 读取 JSON,删除空值然后写入 Redshift

Amazon Glue 功能说明:

  • 如何使用 Amazon Glue 数据质量自动监测功能?

  • 如何使用 Amazon Glue 作业书签?

  • 如何启用 Amazon Glue 自动扩缩功能?

  • Amazon Glue 动态帧与 Spark 数据帧有什么区别?

  • Amazon Glue 支持哪些不同类型的连接?

Amazon Glue 故障排除:

  • 如何解决 Amazon Glue 作业中的内存不足(OOM)错误?

  • 在设置 Amazon Glue 数据质量自动监测功能时,您可能会看到哪些错误消息?如何进行修复?

  • 如何修复出现 Amazon S3 访问被拒绝错误的 Amazon Glue 作业?

  • 如何解决 Amazon Glue 作业中的数据随机排序?