示例：将字符串分割为多个字段(variable_column_log_parsefunction) - Amazon Kinesis Data Analytics for SQL 应用程序开发人员指南
步骤 1. 创建 Kinesis 数据流步骤 2. 创建 Kinesis Data Analytics 应用程序
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅中国的 AWS 服务入门。

如果我们为英文版本指南提供翻译，那么如果存在任何冲突，将以英文版本指南为准。在提供翻译时使用机器翻译。

示例：将字符串分割为多个字段(variable_column_log_parsefunction)

此示例使用 VARIABLE_COLUMN_LOG_PARSE 函数处理 Kinesis Data Analytics 中的字符串。VARIABLE_COLUMN_LOG_PARSE 将输入字符串分割为分隔符字符或分隔符字符串分隔的字段。有关更多信息，请参阅 https://docs.amazonaws.cn/kinesisanalytics/latest/sqlref/sql-reference-variable-column-log-parse.html 中的 Amazon Kinesis Data Analytics SQL 参考VARIABLE_COLUMN_LOG_PARSE。

在本示例中，您将半结构化记录写入到 Amazon Kinesis 数据流中。示例记录如下所示：

{ "Col_A" : "string",
  "Col_B" : "string",
  "Col_C" : "string",
  "Col_D_Unstructured" : "value,value,value,value"}
{ "Col_A" : "string",
  "Col_B" : "string",
  "Col_C" : "string",
  "Col_D_Unstructured" : "value,value,value,value"}

然后，您在控制台上创建一个 Amazon Kinesis 数据分析应用程序，并将 Kinesis 流作为流式传输源。发现过程读取流式传输源上的示例记录，并推断出具有四个列的应用程序内部架构，如下所示：

控制台屏幕截图，显示具有 4 个列的应用程序内部架构。

然后，您将使用应用程序代码和 VARIABLE_COLUMN_LOG_PARSE 函数解析逗号分隔的值，将规范化的行插入到其他应用程序内部流，如下所示：

控制台屏幕截图，显示 Real-time analytics (实时分析) 选项卡和应用程序内部流。

步骤 1. 创建 Kinesis 数据流

创建一个 Amazon Kinesis 数据流并填充日志记录，如下所示：

  1. 登录 AWS 管理控制台并通过以下网址打开 Kinesis 控制台：https://console.amazonaws.cn/kinesis。

  2. 在导航窗格中，选择 Data Streams (数据流)。

  3. 选择 Create Kinesis stream (创建 Kinesis 流)，然后创建带有一个分片的流。有关更多信息，请参阅 https://docs.amazonaws.cn/streams/latest/dev/learning-kinesis-module-one-create-stream.html 开发人员指南中的Amazon Kinesis Data Streams创建流。

  4. 运行以下 Python 代码以便填充示例日志记录。这段简单代码不断地将同一日志记录写入到流中。

     
import json
import boto3
import random

kinesis = boto3.client('kinesis')

def getHighHeartRate():
    data = {}
    data['Col_A'] = 'a'
    data['Col_B'] = 'b'
    data['Col_C'] = 'c'
    data['Col_E_Unstructured'] = 'x,y,z'
    return data

while True:
        data = json.dumps(getHighHeartRate())
        print(data)
        kinesis.put_record(
                StreamName="ExampleInputStream",
                Data=data,
                PartitionKey="partitionkey")

步骤 2. 创建 Kinesis Data Analytics 应用程序

创建一个 Amazon Kinesis 数据分析应用程序，如下所示：

  1. 打开 Kinesis Data Analytics 控制台 ( https://console.amazonaws.cn/kinesisanalytics)。

  2. 选择 Create application (创建应用程序)，键入应用程序名称，然后选择 Create application (创建应用程序)。

  3. 在应用程序详细信息页面上，选择 Connect streaming data (连接流数据)。

  4. 在 Connect to source (连接到源) 页面上，执行以下操作：

    1. 选择在上一部分中创建的流。

    2. 选择创建 IAM 角色的选项。

    3. 选择 Discover schema (发现架构)。等待控制台显示推断的架构和为创建的应用程序内部流推断架构所使用的示例记录。请注意推断的架构仅包含一列。

    4. 选择 Save and continue。

  5. 在应用程序详细信息页面上，选择 Go to SQL editor (转到 SQL编辑器)。要启动应用程序，请在显示的对话框中选择 Yes, start application (是，启动应用程序)。

  6. 在 SQL 编辑器中，编写应用程序代码并确认结果：

    1. 复制下面的应用程序代码并将其粘贴到编辑器中：

      CREATE OR REPLACE STREAM "DESTINATION_SQL_STREAM"(
            "column_A" VARCHAR(16),
            "column_B" VARCHAR(16),
            "column_C" VARCHAR(16),
            "COL_1" VARCHAR(16),             
            "COL_2" VARCHAR(16),            
            "COL_3" VARCHAR(16));

CREATE OR REPLACE PUMP "SECOND_STREAM_PUMP" AS
INSERT INTO "DESTINATION_SQL_STREAM"
   SELECT STREAM  t."Col_A", t."Col_B", t."Col_C",
                  t.r."COL_1", t.r."COL_2", t.r."COL_3"
   FROM (SELECT STREAM 
           "Col_A", "Col_B", "Col_C",
           VARIABLE_COLUMN_LOG_PARSE ("Col_E_Unstructured",
                                     'COL_1 TYPE VARCHAR(16), COL_2 TYPE VARCHAR(16), COL_3 TYPE VARCHAR(16)',
                                     ',') AS r 
         FROM "SOURCE_SQL_STREAM_001") as t;

    2. 选择 Save and run SQL。在 Real-time analytics (实时分析) 选项卡上，可以查看应用程序已创建的所有应用程序内部流并验证数据。