在 AWS Glue 中添加 Python Shell 作业

创建 Python.egg 或 .whl 文件

1. 在 Virtual Private Cloud (VPC) 中创建 Amazon Redshift 集群，并且将一些数据添加到表。

2. 为您用于创建集群的 VPC-SecurityGroup-Subnet 组合创建 AWS Glue 连接。测试连接是否成功。

3. 创建一个名为 redshift_example 的目录，并且创建一个名为 setup.py 的文件。将以下代码粘贴到 setup.py 中。

   from setuptools import setup
   
   setup(
       name="redshift_module",
       version="0.1",
       packages=['redshift_module']
   ) 
   

4. 在 redshift_example 目录中，创建一个 redshift_module 目录。在 redshift_module 目录，创建文件 __init__.py 和 pygresql_redshift_common.py。

5. 将 __init__.py 文件留空。在 pygresql_redshift_common.py 中，粘贴以下代码。将 port、db_name、user 和 password_for_user 替换为特定于您的 Amazon Redshift 集群的详细信息。将 table_name 替换为 Amazon Redshift 中表的名称。

   import pg
   
   
   def get_connection(host):
       rs_conn_string = "host=%s port=%s dbname=%s user=%s password=%s" % (
           host, port, db_name, user, password_for_user)
   
       rs_conn = pg.connect(dbname=rs_conn_string)
       rs_conn.query("set statement_timeout = 1200000")
       return rs_conn
   
   
   def query(con):
       statement = "Select * from table_name;"
       res = con.query(statement)
       return res
       
   

6. 如果您尚未在此处，请切换到 redshift_example 目录。

7. 请执行下列操作之一：

   • 要创建 .egg 文件，请运行以下命令。

     python setup.py bdist_egg

   • 要创建 .whl 文件，请运行以下命令。

     python setup.py bdist_wheel

8. 安装上述命令中所需的依赖项。

9. 此命令会在 dist 目录中创建一个文件：

   • 如果您创建了一个 egg 文件，则此文件的名称为 redshift_module-0.1-py2.7.egg。

   • 如果您创建了一个 wheel 文件，则此文件的名称为 redshift_module-0.1-py2.7-none-any.whl。

   将此文件上传到 Amazon S3。

   在此示例中，上传的文件路径为 s3://MyBucket/python/library/redshift_module-0.1-py2.7.egg 或 s3://MyBucket/python/library/redshift_module-0.1-py2.7-none-any.whl。

10. 创建一个要用作 AWS Glue 作业的脚本的 Python 文件，并将以下代码添加到该文件。

    from redshift_module import pygresql_redshift_common as rs_common
    
    con1 = rs_common.get_connection(redshift_endpoint)
    res = rs_common.query(con1)
    
    print "Rows in the table cities are: "
    
    print res
          
    

11. 将上述文件上传到 Amazon S3。在此示例中，上传的文件路径为 s3://MyBucket/python/library/redshift_test.py。

12. 使用此脚本创建一个 Python shell 作业。在 AWS Glue 控制台的 Job properties (作业属性) 页面上，在 Python library path (Python 库路径) 框中指定 .egg/.whl 文件的路径。如果您有多个 .egg/.whl 文件和 Python 文件，请在此框中提供逗号分隔的列表。

    修改或重命名 .egg 文件时，文件名必须使用由“python setup.py bdist_egg”命令生成的默认名称，或者必须遵守 Python 模块命名约定。有关更多信息，请参阅 Python 代码风格指南。

    借助 AWS CLI，使用命令创建作业，如以下示例中所示。

    aws glue create-job --name python-redshift-test-cli --role Role --command '{"Name" :  "pythonshell", "ScriptLocation" : "s3://MyBucket/python/library/redshift_test.py"}' 
         --connections Connections="connection-name" --default-arguments '{"--extra-py-files" : ["s3://MyBucket/python/library/redshift_module-0.1-py2.7.egg", "s3://MyBucket/python/library/redshift_module-0.1-py2.7-none-any.whl"]}'
    

    当作业运行时，该脚本会输出在 Amazon Redshift 集群中的 table_name 表中创建的行。