CREATE TABLE - Amazon Athena
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

CREATE TABLE

使用您指定的名称和参数创建表。

Synopsis

CREATE EXTERNAL TABLE [IF NOT EXISTS] [db_name.]table_name [(col_name data_type [COMMENT col_comment] [, ...] )] [COMMENT table_comment] [PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)] [CLUSTERED BY (col_name, col_name, ...) INTO num_buckets BUCKETS] [ROW FORMAT row_format] [STORED AS file_format] [WITH SERDEPROPERTIES (...)] ] [LOCATION 's3://bucket_name/[folder]/'] [TBLPROPERTIES ( ['has_encrypted_data'='true | false',] ['classification'='aws_glue_classification',] property_name=property_value [, ...] ) ]

Parameters

EXTERNAL

指定表基于存储在 Amazon S3 中您所指定的 LOCATION 中的底层数据文件。在 Athena 中创建的所有表(使用 CTAS 创建的表除外)都必须为 EXTERNAL。 创建外部表时,引用的数据必须符合默认格式或您使用 ROW FORMATSTORED ASWITH SERDEPROPERTIES 子句指定的格式。

[IF NOT EXISTS]

如果已存在名为 table_name 的表,则会导致错误消息被隐藏。

[db_name.]table_name

指定要创建的表的名称。可选的 db_name 参数指定表所在的数据库。如果省略,则会采用当前数据库。如果表名称包含数字,请将 table_name 用引号引起来,例如 "table123"。 如果 table_name 以下划线开头,请使用反引号,例如 `_mytable`。 不支持特殊字符(下划线除外)。

Athena 表名称不区分大小写;但是,如果您使用 Apache Spark,则 Spark 需要小写表名称。

[ ( col_name data_type [COMMENT col_comment] [, ...] ) ]

为要创建的每个列指定名称,以及列的数据类型。列名称不允许下划线 (_) 之外的特殊字符。 如果 col_name 以下划线开头,请将列名称括在反引号内,例如 `_mycolumn`

data_type 值可能为以下任一值:

  • BOOLEAN。 值为 truefalse

  • TINYINT。 一个 8 位有符号的 INTEGER,采用二进制补码格式,最小值为 -2^7,最大值为 2^7-1。

  • SMALLINT。 一个 16 位有符号的 INTEGER,采用二进制补码格式,最小值为 -2^15,最大值为 2^15-1。

  • INT。Athena 结合了两个不同的 INTEGER 数据类型实施。在数据定义语言 (DDL) 查询中,Athena 使用 INT 数据类型。在所有其他查询中,Athena 使用 INTEGER 数据类型,其中 INTEGER 以二进制补码格式表示为 32 位有符号值,最小值为 -2^31,最大值为 2^31-1。在 JDBC 驱动程序中,将返回 INTEGER 以确保与业务分析应用程序兼容。

  • BIGINT。 一个 64 位有符号的 INTEGER,采用二进制补码格式,最小值为 -2^63,最大值为 2^63-1。

  • DOUBLE

  • FLOAT

  • DECIMAL [ (precision, scale) ],其中 precision 是总位数,而 scale(可选)是小数部分的位数,默认值为 0。例如,使用以下类型定义:DECIMAL(11,5), DECIMAL(15).

    要将十进制值指定为文字(例如在查询 DDL 表达式中选择具有特定十进制值的行时),请指定 DECIMAL 类型定义,并在查询中将十进制值列为文字(带单引号),如下例所示:decimal_value = DECIMAL '0.12'.

  • CHAR。 固定长度字符数据,具有介于 1 和 255 之间的指定长度,例如 char(10)。 有关更多信息,请参阅 CHAR Hive 数据类型

  • VARCHAR。 可变长度字符数据,具有介于 1 和 65535 之间的指定长度,例如 varchar(10)。 有关更多信息,请参阅 VARCHAR Hive 数据类型

  • STRING。 用单引号或双引号括起的字符串文本。

    注意

    STRING 中,无法将非字符串数据类型强制转换为 Athena;而是将这些数据类型强制转换为 VARCHAR

  • BINARY(适用于 Parquet 中的数据)

  • 日期和时间类型

  • DATE ISO 格式的日期,例如 YYYY-MM-DD。 例如,DATE '2008-09-15'

  • TIMESTAMP 兼容格式的瞬间日期和时间,例如 java.sql.Timestampyyyy-MM-dd HH:mm:ss[.f...] 例如,TIMESTAMP '2008-09-15 03:04:05.324'。 此格式使用会话时区。

  • ARRAY < data_type >

  • MAP < primitive_type, data_type >

  • STRUCT < col_name : data_type [COMMENT col_comment] [, ...] >

[COMMENT table_comment]

创建 comment 表属性并用您指定的 table_comment 填充它。

[PARTITIONED BY (col_name data_type [ COMMENT col_comment ], ... ) ]

使用指定了 col_namedata_typecol_comment 的一个或多个分区列创建分区表。一个表可以有一个或多个分区,这些分区由多个不同的列名称和值组合组成。将会为每个指定的组合创建一个单独的数据目录,这在某些情况下可提高查询性能。已分区列在表数据本身中不存在。如果您将与表列相同的某个值用于 col_name,则会产生错误。有关更多信息,请参阅分区数据.

注意

在创建包含分区的表后,请运行包含 MSCK REPAIR TABLE 子句的后续查询以刷新分区元数据,例如,MSCK REPAIR TABLE cloudfront_logs;。 对于不兼容 Hive 的分区,请使用 ALTER TABLE ADD PARTITION 加载分区,以便您可以查询数据。

[CLUSTERED BY (col_name、col_name、...) INTO num_存储桶 BUCKETS]

将指定 col_name 列中的数据划分为称为存储桶 的数据子集(带或不带分区)。参数指定要创建的存储桶的数量。num_buckets分桶可以提高某些查询针对大型数据集的性能。

[ROW FORMAT row_format]

指定表及其底层源数据 (如果适用) 的行格式。对于 row_format,您可以使用 DELIMITED 子句指定一个或多个分隔符,或者如下所述使用 SERDE 子句。如果省略了 ROW FORMAT 或指定了 ROW FORMAT DELIMITED,则使用本机 SerDe。

  • [DELIMITED FIELDS TERMINATED BY char [ESCAPED BY char]]

  • [DELIMITED COLLECTION ITEMS TERMINATED BY char]

  • [MAP KEYS TERMINATED BY char]

  • [LINES TERMINATED BY char]

  • [NULL DEFINED AS char]

    仅当使用 Hive 0.13 且 STORED AS 文件格式为 时才可用。TEXTFILE.

--OR--

  • SERDE 'serde_name' [WITH SERDEPROPERTIES ("property_name" = "property_value", "property_name" = "property_value" [, ...] )]

    指示要使用的 serde_name。SerDe子句允许您提供 WITH SERDEPROPERTIES 允许的一个或多个自定义属性。SerDe

[STORED AS file_format]

为表数据指定文件格式。如果省略,则 TEXTFILE 是默认值。file_format 的选项是:

  • SEQUENCEFILE

  • TEXTFILE

  • RCFILE

  • ORC

  • PARQUET

  • AVRO

  • INPUTFORMAT input_format_classname OUTPUTFORMAT output_format_classname

[LOCATION 's3://bucket_name/[folder]/']

指定从中创建表的底层数据在 Amazon S3 中的位置。位置路径必须是存储桶名称或存储桶名称以及一个或多个文件夹。如果您使用分区,请指定分区数据的根目录。有关表位置的更多信息,请参阅Amazon S3 中的表位置. 有关数据格式和权限的信息,请参阅针对 Athena 中的表和 Amazon S3 中的数据的要求.

为您的文件夹或存储桶使用尾部斜杠。请勿使用文件名或 glob 字符。

使用:

s3://mybucket/

s3://mybucket/folder/

s3://mybucket/folder/anotherfolder/

请勿使用:

s3://path_to_bucket

s3://path_to_bucket/*

s3://path_to-bucket/mydatafile.dat

[TBLPROPERTIES ( ['has_encrypted_data'='true | false',] ['classification'='aws_glue_classification',] property_name=property_value [, ...] ) ]

除预定义的表属性外,还指定表定义的自定义元数据键-值对,例如 "comment".

Athena 具有内置属性 has_encrypted_data。 将此属性设置为 true 可指示 LOCATION 指定的底层数据集已加密。如果省略,并且如果工作组的设置不覆盖客户端设置,则假设 false 如果加密了底层数据时将它省略或设置为 false,则查询会导致错误。有关更多信息,请参阅 静态加密.

要运行 ETL 作业, AWS Glue 要求您使用 classification 属性创建一个表,以将 AWS Glue 的数据类型指示为 csvparquetorcavrojson。 例如,'classification'='csv'。 如果未指定该属性,ETL 作业将失败。随后,您可以使用 AWS Glue 控制台、API 或 CLI 来指定它。有关更多信息,请参阅 AWS Glue 开发人员指南中的将针对 ETL 的 AWS Glue 任务与 Athena 一起使用在 Glue 中编写任务.

有关创建表的更多信息,请参阅在 Athena 中创建表.