使用 Spark 连接器时的注意事项和限制 - Amazon EMR
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

使用 Spark 连接器时的注意事项和限制

  • 建议您为从 Spark on Amazon EMR 到 Amazon Redshift 的 JDBC 连接启用 SSL。

  • 作为最佳实践,建议您在 Amazon Secrets Manager 中管理 Amazon Redshift 集群的凭证。有关示例 Amazon Secrets Manager ,请参阅使用检索连接至亚马逊 Redshift 的凭证

  • 建议使用参数 aws_iam_role 为 Amazon Redshift 身份验证参数传递 IAM 角色。

  • 参数 tempformat 目前不支持 Parquet 格式。

  • tempdir URI 指向 Amazon S3 位置。此临时目录不会自动清理,因此可能会增加额外成本。

  • 请考虑以下针对 Amazon Redshift 的建议:

  • 请考虑以下针对 Amazon S3 的建议:

有关使用连接器及其支持参数的更多信息,请参阅以下资源: