CREATE TABLE - Amazon Athena
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

CREATE TABLE

使用您指定的名称和参数创建表。

Synopsis

CREATE EXTERNAL TABLE [IF NOT EXISTS] [db_name.]table_name [(col_name data_type [COMMENT col_comment] [, ...] )] [COMMENT table_comment] [PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)] [CLUSTERED BY (col_name, col_name, ...) INTO num_buckets BUCKETS] [ROW FORMAT row_format] [STORED AS file_format] [WITH SERDEPROPERTIES (...)] [LOCATION 's3://bucket_name/[folder]/'] [TBLPROPERTIES ( ['has_encrypted_data'='true | false',] ['classification'='aws_glue_classification',] property_name=property_value [, ...] ) ]

Parameters

EXTERNAL

指定表基于存储在 Amazon S3 中的底层数据文件内,位于LOCATION您指定的。在 Athena 中创建的所有表,除了使用CTAS,必须为。EXTERNAL。当您创建外部表时,引用的数据必须符合默认格式或您使用 ROW FORMATSTORED ASWITH SERDEPROPERTIES 子句指定的格式。

[IF NOT EXISTS]

如果已存在名为 table_name 的表,则会导致错误消息被隐藏。

[db_name.]table_name

指定要创建的表的名称。可选的 db_name 参数指定表所在的数据库。如果省略,则会采用当前数据库。如果表名称包含数字,请用引号将 table_name 引起来,例如 "table123"。如果 table_name 以下划线开头,请使用反引号,例如 `_mytable`。不支持特殊字符 (下划线除外)。

Athena 表名称不区分大小写;但是,如果您使用 Apache Spark,则 Spark 需要小写表名称。

[ ( col_name data_type [COMMENT col_comment] [, ...] ) ]

为要创建的每个列指定名称,以及列的数据类型。列名称不允许下划线 (_) 以外的特殊字符。如果 col_name 以下划线开头,请将列名称放入反引号内,例如 `_mycolumn`

data_type 值可能为以下任一值:

  • BOOLEAN。 值有truefalse

  • TINYINT。 一个 8 位有符号INTEGER,采用二进制补码格式,最小值为-2^7,最大值为 2^7-1。

  • SMALLINT。 一个 16 位有符号INTEGER,采用二进制补码格式,最小值为-2^15,最大值为 2^15-1。

  • INT。 Athena 结合了两个不同的实现INTEGER数据类型。在数据定义语言 (DDL) 查询中,Athena 使用INT数据类型。在所有其他查询中,Athena 使用INTEGER数据类型,其中INTEGER以二进制补码格式表示为 32 位有符号值,采用二进制补码格式,最小值为-2^31,最大值为 2^31-1。在 JDBC 驱动程序中,将返回 INTEGER 以确保与业务分析应用程序兼容。

  • BIGINT。 64 位有符号INTEGER,采用二进制补码格式,最小值为-2^63,最大值为 2^63-1。

  • DOUBLE

  • FLOAT

  • DECIMAL [ (precision, scale) ],其中 precision 是总位数,而 scale(可选)是小数部分的位数,默认值为 0。例如,使用以下类型定义:DECIMAL(11,5)DECIMAL(15)

    要将十进制值指定为文字(例如在查询 DDL 表达式中选择具有特定十进制值的行时),请指定 DECIMAL 类型定义,并在查询中将十进制值列为文字(带单引号),如下例所示:decimal_value = DECIMAL '0.12'

  • CHAR。 固定长度字符数据,具有介于 1 和 255 之间的指定长度,例如char(10)。有关更多信息,请参阅 CHAR Hive 数据类型

  • VARCHAR。 可变长度字符数据,具有介于 1 和 65535 之间的指定长度,例如varchar(10)。有关更多信息,请参阅 VARCHAR Hive 数据类型

  • STRING。 用单引号或双引号括起的字符串文本。

    注意

    无法将非字符串数据类型强制转换为STRING在 Athena; 将它们投射到VARCHAR相反。

  • BINARY(适用于 Parquet 中的数据)

  • 日期和时间类型

  • DATEISO 格式的日期,例如YYYY-MM-DD。例如:DATE '2008-09-15'

  • TIMESTAMP中的日期和时间即时java.sql.Timestamp兼容的格式,例如yyyy-MM-dd HH:mm:ss[.f...]。例如:TIMESTAMP '2008-09-15 03:04:05.324'

  • ARRAY < data_type >

  • MAP < primitive_type, data_type >

  • STRUCT < col_name : data_type [COMMENT col_comment] [, ...] >

[COMMENT table_comment]

创建 comment 表属性并用您指定的 table_comment 填充它。

[PARTITIONED BY (col_name data_type [ COMMENT col_comment ], ... ) ]

使用指定了 col_namedata_typecol_comment 的一个或多个分区列创建分区表。一个表可以有一个或多个分区,这些分区由多个不同的列名称和值组合组成。将会为每个指定的组合创建一个单独的数据目录,这在某些情况下可提高查询性能。已分区列在表数据本身中不存在。如果您将与表列相同的某个值用于 col_name,则会产生错误。有关更多信息,请参阅分区数据

注意

在您创建具有分区的表后,请运行后续查询,其中包含 MSCK REPAIR TABLE 子句用以刷新分区元数据,例如,MSCK REPAIR TABLE cloudfront_logs;。对于不兼容 Hive 的分区,请使用 ALTER TABLE ADD PARTITION 加载分区,以便您可以查询数据。

[集群方式(柯尔名称,柯尔 _ 名称,...) 进入数量桶桶]

除分区或不使用分区的指定col_name列转换为数据子集,名为存储段。这些区域有:num_buckets参数指定要创建的存储桶数。存储区可以提高对大型数据集的某些查询的性能。

[ROW FORMAT row_format]

指定表及其底层源数据 (如果适用) 的行格式。对于 row_format,您可以使用 DELIMITED 子句指定一个或多个分隔符,或者如下所述使用 SERDE 子句。如果省略 ROW FORMAT 或指定 ROW FORMAT DELIMITED,则会使用本机 SerDe。

  • [DELIMITED FIELDS TERMINATED BY char [ESCAPED BY char]]

  • [DELIMITED COLLECTION ITEMS TERMINATED BY char]

  • [MAP KEYS TERMINATED BY char]

  • [LINES TERMINATED BY char]

  • [NULL DEFINED AS char]

    仅当使用 Hive 0.13 且 STORED AS 文件格式为 TEXTFILE 时才可用。

--OR--

  • SERDE 'serde_name' [WITH SERDEPROPERTIES ("property_name" = "property_value", "property_name" = "property_value" [, ...] )]

    serde_name 指示要使用的 SerDe。WITH SERDEPROPERTIES 子句能让您提供 SerDe 允许的一个或多个自定义属性。

[STORED AS file_format]

为表数据指定文件格式。如果省略,则 TEXTFILE 是默认值。file_format 的选项是:

  • SEQUENCEFILE

  • TEXTFILE

  • RCFILE

  • ORC

  • PARQUET

  • AVRO

  • INPUTFORMAT input_format_classname OUTPUTFORMAT output_format_classname

[LOCATION 's3://bucket_name/[folder]/']

指定从中创建表的底层数据在 Amazon S3 中的位置。位置路径必须是存储桶名称或存储桶名称以及一个或多个文件夹。如果您使用分区,请指定分区数据的根目录。有关表位置的更多信息,请参阅Amazon S3 中的表位置。有关数据格式和权限的信息,请参阅针对 Athena 中的表和 Amazon S3 中的数据的要求

为您的文件夹或存储桶使用尾部斜杠。请勿使用文件名或 glob 字符。

使用:

s3://mybucket/

s3://mybucket/folder/

s3://mybucket/folder/anotherfolder/

请勿使用:

s3://path_to_bucket

s3://path_to_bucket/*

s3://path_to-bucket/mydatafile.dat

[TBLPROPERTIES ( ['has_encrypted_data'='true | false',] ['classification'='aws_glue_classification',] property_name=property_value [, ...] ) ]

除预定义的表属性外,还指定表定义的自定义元数据键-值对,例如 "comment"

Athena 具有内置属性,has_encrypted_data。将此属性设置为 true 以指示 LOCATION 指定的底层数据集是加密的。如果省略,并且如果工作组的设置不覆盖客户端设置,则假设 false。如果加密了底层数据时将它省略或设置为 false,则查询会导致错误。有关更多信息,请参阅 静态加密

要运行 ETL 作业,Amazon Glue要求您创建一个包含classification属性来指示Amazon Glue作为csvparquetorcavro,或者json。例如:'classification'='csv'。如果您不指定此属性,则 ETL 任务将会失败。随后,您可以使用Amazon Glue控制台、API 或 CLI。有关更多信息,请参阅 。使用Amazon Glue就业 ETL 与 Athena在 Glue 中编写作业中的Amazon Glue开发人员指南

有关创建表的更多信息,请参阅在 Athena 中创建表