开发蓝图的先决条件 - Amazon连接词
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

开发蓝图的先决条件

要开发蓝图,应熟悉使用Amazon为 Apache 火花 ETL 作业或 Python 外壳作业粘合 Glue 和编写脚本。此外,您还必须完成以下设置任务。其中一些任务仅供公众预览使用。

  • 下载四个Amazon要在蓝图布局脚本中使用的 Python 库。

  • 设置Amazon适用于公开预览的开发工具包。

  • 设置预览AmazonCLI。

下载 Python 库

从 GitHub 下载以下库,并将它们安装到您的项目中:

设置Amazon适用于公共预览的 Java 软件开发工具包

对于AmazonJava 软件开发工具包,您必须添加jar文件,其中包含蓝图 API。

  1. 如果您还没有这样做,请将AmazonSDK for Java。

  2. 下载预览客户端jar文件,该文件有权访问蓝图的 API。

    • 对于 Java 1.x:s3://AWSGLE 自定义蓝图-预览-工件/AWSGL-Java SDK 预览/AWSGUE Javaclient-1.11.x.jar

    • 对于 Java 2.x:s3://awsglu-自定义蓝图-预览-工件/AWSGL-V2 预览/AWSJAVS-胶合 2.0.jar

  3. 添加预览客户端jar添加到 Java 类路径的前面,以覆盖AmazonGlue 客户端提供AmazonJava 开发工具包。

    export CLASSPATH=<path-to-preview-client-jar>:$CLASSPATH
  4. (可选)使用以下 Java 应用程序测试预览软件开发工具包。应用程序应输出空列表。

    ReplaceaccessKeysecretKey替换为您的凭据,然后将us-east-1与您的区域。

    import com.amazonaws.auth.AWSCredentials; import com.amazonaws.auth.AWSCredentialsProvider; import com.amazonaws.auth.AWSStaticCredentialsProvider; import com.amazonaws.auth.BasicAWSCredentials; import com.amazonaws.services.glue.AWSGlue; import com.amazonaws.services.glue.AWSGlueClientBuilder; import com.amazonaws.services.glue.model.ListBlueprintsRequest; public class App{ public static void main(String[] args) { AWSCredentials credentials = new BasicAWSCredentials("accessKey", "secretKey"); AWSCredentialsProvider provider = new AWSStaticCredentialsProvider(credentials); AWSGlue glue = AWSGlueClientBuilder.standard().withCredentials(provider) .withRegion("us-east-1").build(); ListBlueprintsRequest request = new ListBlueprintsRequest().withMaxResults(2); System.out.println(glue.listBlueprints(request)); } }

设置Amazon用于公共预览的 Python 软件开发工具包

以下步骤假定您的计算机上安装了 Python 版本 2.7 或更高版本,或 3.6 或更高版本。

  1. 下载下面的 boto3 轮文件。如果提示打开或保存文件,请保存文件。s3: //awsglu-自定义蓝图/预视/aws-python-sdk 预览 /boto3-1.17.31-py2.py3-非-任何 .whl

  2. 下载以下肉核心轮文件:s3://awsglu-自定义蓝图-预览-工件/aws-python-SDK 预览/肉毒核心-1.20.31-py2.py3-非任何 .whl

  3. 检查您的 Python 版本。

    python --version
  4. 根据您的 Python 版本,输入以下命令(适用于 Linux):

    • 适用于 Python 2.7 或更高版本。

      python3 -m pip install --user virtualenv source env/bin/activate
    • 适用于 Python 3.6 或更高版本。

      python3 -m venv python-sdk-test source python-sdk-test/bin/activate
  5. 安装身体核心轮文件。

    python3 -m pip install <download-directory>/botocore-1.20.31-py2.py3-none-any.whl
  6. 安装 boto3 轮文件。

    python3 -m pip install <download-directory>/boto3-1.17.31-py2.py3-none-any.whl
  7. 配置您的凭据和默认区域~/.aws/credentials~/.aws/config文件。有关更多信息,请参阅 。配置AmazonCLI中的Amazon命令行界面用户指南

  8. (可选)测试设置。以下命令应返回空列表。

    us-east-1 替换为您的区域。

    $ python >>> import boto3 >>> glue = boto3.client('glue', 'us-east-1') >>> glue.list_blueprints()

设置预览AmazonCLI

  1. 如果您还没有这样做,请安装和/或更新Amazon命令行界面 (AmazonCLI)。执行此操作的最简单方法是使用pip,Python 安装程序实用程序:

    pip install awscli --upgrade --user

    您可以找到有关AmazonCLI 此处: 安装Amazon命令行界面

  2. 下载AmazonCLI 轮文件来自:s3://awsglu-自定义-蓝图-预览-工件/awscli-预览-构建/awscli-1.19.31-py2.py3-非-任何 .whl

  3. 安装AmazonCLI 轮文件。

    python3 -m pip install awscli-1.19.31-py2.py3-none-any.whl
  4. 运行 aws configure 命令。配置Amazon凭据(包括访问密钥和私有密钥)和Amazon区域。您可以找到有关配置AmazonCLI 此处: 配置AmazonCLI

  5. 测试AmazonCLI。以下命令应该返回空列表。

    us-east-1 替换为您的区域。

    aws glue list-blueprints --region us-east-1