JSON 格式 - Amazon CloudWatch
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

JSON 格式

在使用 JSON 格式的 CloudWatch 指标流中,每个 Kinesis Data Firehose 道记录都包含多个由换行符 (\ n) 分隔的 JSON 对象。每个对象都包含单个衡量指标的单个数据点。

使用的 JSON 格式与Amazon Glue和 Amazon Athena。如果您有 Kinesis Data Firehose 传输流和Amazon Glue表格格式正确,格式可以自动转换为镶木地板格式或优化行列 (ORC) 格式,然后再存储在 S3 中。有关转换格式的更多信息,请参阅在 Kinesis Data Firehose 中转换输入记录格式。有关正确格式的更多信息Amazon Glue,请参阅哪个Amazon Glue模式我应该用于 JSON 输出格式?

在 JSON 格式中,unit的值与unit中的MetricDatumAPI 结构。有关更多信息,请参阅 。MetricDatum 面。的值timestamp字段以毫秒为单位,例如1616004674229

以下是格式的示例。在本示例中,JSON 设置为便于阅读的格式;但实际上,整个格式位于单行上。

{ "metric_stream_name": "MyMetricStream", "account_id": "1234567890", "region": "us-east-1", "namespace": "AWS/EC2", "metric_name": "DiskWriteOps", "dimensions": { "InstanceId": "i-123456789012" }, "timestamp": 1611929698000, "value": { "count": 3.0, "sum": 20.0, "max": 18.0, "min": 0.0 }, "unit": "Seconds" }\n

哪个Amazon Glue模式我应该用于 JSON 输出格式?

以下是 JSON 表示的示例StorageDescriptor用于Amazon Glue表,然后由 Kinesis Data Firehose 使用。有关 的更多信息StorageDescriptor,请参阅StorageDescriptor

{ "Columns": [ { "Name": "metric_stream_name", "Type": "string" }, { "Name": "account_id", "Type": "string" }, { "Name": "region", "Type": "string" }, { "Name": "namespace", "Type": "string" }, { "Name": "metric_name", "Type": "string" }, { "Name": "timestamp", "Type": "timestamp" }, { "Name": "dimensions", "Type": "map<string,string>" }, { "Name": "value", "Type": "struct<min:double,max:double,count:double,sum:double>" }, { "Name": "unit", "Type": "string" } ], "Location": "s3://my-s3-bucket/", "InputFormat": "org.apache.hadoop.mapred.TextInputFormat", "OutputFormat": "org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat", "SerdeInfo": { "SerializationLibrary": "org.apache.hive.hcatalog.data.JsonSerDe" }, "Parameters": { "classification": "json" } }

上面的示例适用于以 JSON 格式在 Amazon S3 上写入的数据。将以下字段中的值替换为指定的值,以便以镶木地板格式或优化行列 (ORC) 格式存储数据。

  • Parquet:

    • 输入格式:组织 Apache.hadoop.Hive.QL.io.I.O.P. 地图交易输入格式

    • 输出格式:组织 Apache.hadoop.Hive.QL.io.I.O.P. 映射文件输出格式

    • Serdeinfo.序列化库:组织 .apache.hadoop.hive.ql.ive.ql.io.parquet.Parquet.Serquet.Serquet.Serquet.Parquet.Parquet.Parquet.Parquet.Parquet.Parquet.Parquet.Parquet.quet.

    • 参数。分类:实木

  • 兽人:

    • 输入格式:组织 Apache.Hadoop.Hive.Io.O.O.

    • 输出格式:组织 Apache.Hadoop.Hive.QL.O.O 或者输出格式

    • Serdeinfo.Srave.ql.io.orc.orc.orcSerde

    • 参数. 分类:兽人