转换数据

Amazon SageMaker Data Wrangler 提供了大量 ML 数据转换功能，可简化数据的清理、转换和功能化。当您添加转换时，它会向数据流添加一个步骤。您添加的每个转换都会修改您的数据集并生成一个新的数据框。所有后续转换都适用于生成的数据框。

Data Wrangler 包含内置变换，无需任何代码即可使用它来转换列。您还可以使用 Python（用户定义函数） PySpark、pandas 和 PySpark SQL 添加自定义转换。有些变换就地运行，而另一些则在数据集中创建新的输出列。

您可以一次将转换应用于多列。例如，您可以在一个步骤中删除多列。

只能将 “处理数值” 和 “处理缺失变换” 应用于单列。

使用此页面了解有关这些内置和自定义转换的更多信息。

转换UI

大多数内置转换都位于 Data Wrangler 用户界面的 “准备” 选项卡中。您可以通过数据流视图访问联接和串联转换。使用下表预览这两个视图。

Join（

您可以直接在数据流中加入数据框。当您连接两个数据集时，生成的连接数据集将出现在您的流程中。Data Wrangler 支持以下连接类型。

可以按照以下步骤连接两个数据框。

串联数据集

余额数据

您可以平衡代表性不足的类别的数据集的数据。平衡数据集可以帮助您为二进制分类创建更好的模型。

您可以使用平衡数据操作使用以下运算符之一来平衡数据：

您可以对包含数值和非数字要素的数据集使用所有变换。SMOTE 使用相邻样本对值进行插值。Data Wrangler 使用 R 平方距离来确定邻域以插值额外样本。Data Wrangler 仅使用数字特征来计算代表性不足的组中样本之间的距离。

对于代表性不足组中的两个实数样本，Data Wrangler 使用加权平均值对数字特征进行插值。它随机为 [0, 1] 范围内的样本分配权重。对于数值特征，Data Wrangler 使用样本的加权平均值对样本进行插值。对于样本 A 和 B，Data Wrangler 可以将 0.7 的权重随机分配给 A，为 B 分配0.3 的权重。插值样本的值为 0.7A + 0.3B。

Data Wrangler 通过复制任一插值的真实样本来插值非数字特征。它以随机分配给每个样本的概率复制样本。对于样本 A 和 B，它可以为 A 分配概率 0.8，为 B 分配概率 0.2。对于它分配的概率，它有 80% 的时间会复制 A。

自定义转换

自定义变换组允许您使用 Python（用户定义函数） PySpark、pandas 或 PySpark (SQL) 来定义自定义转换。对于所有三个选项，您可以使用变量访问df要对其应用转换的数据框。要将自定义代码应用于数据框，请为数据框分配您对变df量所做的转换。如果您不使用 Python（用户定义函数），则无需包含 rustun 语句。选择 “预览” 可预览自定义变换的结果。选择 “添加” 将自定义转换添加到您的先前步骤列表中。

您可以使用自定义转换代码块中的import语句导入常用库，如下所示：

df.rename(columns={"A column": "A_column", "B column": "B_column"})

如果在代码块中包含打印语句，则在选择 “预览” 时会显示结果。您可以调整自定义代码转换器面板的大小。调整面板大小可为编写代码提供更多空间。下图显示了面板的大小。

以下部分提供了编写自定义转换代码的其他上下文和示例。

Python（用户定义函数）

Python 函数使您无需了解 Apache Spark 或 Pandas 即可编写自定义转换。Data Wrangler 经过优化，可以快速运行您的自定义代码。使用自定义 Python 代码和 Apache Spark 插件可以获得类似的性能。

要使用 Python（用户定义函数）代码块，请指定以下内容：

使用熊猫模式可以提供更好的性能。Python 模式使您可以更轻松地使用纯 Python 函数编写转换。

以下视频显示了如何使用自定义代码创建转换的示例。它使用泰坦尼克号数据集创建一个包含该人称呼的专栏。

PySpark

以下示例从时间戳中提取日期和时间。

from pyspark.sql.functions import from_unixtime, to_date, date_format
df = df.withColumn('DATE_TIME', from_unixtime('TIMESTAMP'))
df = df.withColumn( 'EVENT_DATE', to_date('DATE_TIME')).withColumn(
'EVENT_TIME', date_format('DATE_TIME', 'HH:mm:ss'))

大熊猫

以下示例概述了要向其添加转换的数据框。

df.info()

PySpark (SQL)

以下示例创建了一个包含四列的新数据框：姓名、票价、舱位、存活日期。

SELECT name, fare, pclass, survived FROM df

如果您不知道如何使用 PySpark，可以使用自定义代码片段来帮助您入门。

Data Wrangler 有一组可搜索的代码片段。您可以使用代码片段来执行诸如删除列、按列分组或建模之类的任务。

要使用代码片段，请选择搜索示例代码片段并在搜索栏中指定查询。您在查询中指定的文本不必与代码片段的名称完全匹配。

以下示例显示了 “删除重复行” 代码片段，该代码片段可以删除数据集中包含相似数据的行。您可以通过搜索以下内容之一来找到该代码片段：

以下代码段包含注释，可帮助您了解需要进行的更改。对于大多数代码片段，您必须在代码中指定数据集的列名。

# Specify the subset of columns
# all rows having identical values in these columns will be dropped

subset = ["col1", "col2", "col3"]
df = df.dropDuplicates(subset)  

# to drop the full-duplicate rows run
# df = df.dropDuplicates()            
                        
        

要使用代码片段，请将其内容复制并粘贴到自定义转换字段中。您可以将多个代码片段复制并粘贴到自定义转换字段中。

自定义公式

使用自定义公式定义新列，使用 Spark SQL 表达式查询当前数据框中的数据。查询必须使用 Spark SQL 表达式的约定。

df.rename(columns={"A column": "A_column", "B column": "B_column"})

您可以使用此转换对列执行操作，按名称引用列。例如，假设当前数据框包含名为 col_a 和 col_b 的列，则可以使用以下操作生成一个输出列，该列是这两列的乘积，其代码如下：

col_a * col_b

其他常见操作包括以下内容，假设数据框包含col_a和col_b列：

有关更多信息，请参阅有关选择数据的 Spark 文档。

降低数据集内的维度

使用主成分分析 (PCA) 降低数据的维度。数据集的维度对应于要素的数量。当你在 Data Wrangler 中使用降维时，你会得到一组名为组件的新功能。每个组成部分都解释了数据中的一些差异。

第一个成分是数据中变异量最大的组成部分。第二个分量占数据的第二大变异量，依此类推。

您可以使用降维来减小用于训练模型的数据集的大小。您可以改用主组件，而不是使用数据集中的功能。

为了执行 PCA，Data Wrangler 会为您的数据创建轴。轴是数据集中各列的仿射组合。第一个主分量是轴上方差最大的值。第二个主分量是轴上方差第二大的值。第 n 个主分量是轴上具有第 n 个最大方差的值。

您可以配置 Data Wrangler 返回的主组件的数量。您可以直接指定主成分的数量，也可以指定方差阈值百分比。每个主成分都解释了数据中的方差量。例如，您可能具有一个值为 0.5 的主成分。该组件将解释数据中50％的变异。当您指定方差阈值百分比时，Data Wrangler 会返回满足您指定百分比的最小分量组件。

以下是主分量示例，其方差量由它们在数据中解释。

如果您将方差阈值百分比指定为94或95，Data Wrangler 将返回组件 1 和组件 2。如果您指定的方差阈值百分比为96，Data Wrangler 将返回所有三个主分量。

您可以使用以下过程在数据集中运行 PCA 的过程中的过程如下：

对分类进行编码

类别数据通常由有限数量的类别组成，其中每个类别用一个字符串表示。例如，如果您有一个客户数据表，则表示某人居住的国家/地区的列是分类的。类别将是阿富汗、阿尔巴尼亚、阿尔及利亚等。类别数据可以是名义数据也可以是序数数据。序数类别有固有的顺序，而名义类别没有。获得的最高学位（高中、学士、硕士学位等）是序数类别的一个示例。

对分类数据进行编码是为类别创建数字表示的过程。例如，如果您的类别是 “狗” 和 “猫”，则可以将此信息编码为两个向量，[1,0]分别表示 “狗” 和[0,1] “猫”。

对序数类别进行编码时，可能需要将类别的自然顺序转换为编码。例如，您可以使用以下地图表示获得的最高学位：{"High school": 1, "Bachelors": 2, "Masters":3}。

使用分类编码将字符串格式的分类数据编码为整数数组。

Data Wrangler 分类编码器为定义步骤时列中存在的所有类别创建编码。如果在时间 t 启动 Data Wrangler 作业处理数据集时已向列中添加了新类别，并且此列是时间 t -1 时的 Data Wrangler 分类编码转换的输入，则这些新类别被认为是 Data Wrangler 作业中缺少这些新类别。您为 “无效处理策略” 选择的选项将应用于这些缺失值。何时可能发生这种情况的示例有：

在这些情况下，这些新类别被视为 Data Wrangler 作业中的缺失值。

您可以选择并配置序数编码和单热编码。使用以下部分了解有关选项的更多信息，请按照以下部分了解有关选项的更多信息：

两种转换都会创建一个名为输出列名的新列。您可以使用输出样式指定此列的输出格式：

序数编码

选择序数编码将类别编码为介于 0 和所选输入列中的类别总数之间的整数。

无效的处理策略：选择一种方法来处理无效或缺失的值。

一键编码

为 Transf or m 选择 “单热编码” 以使用单热编码。使用以下方法配置此转换：

相似度编码

当你有以下情况时使用相似度编码：

相似度编码器为包含类别数据的列创建嵌入式。嵌入是将离散对象（例如单词）映射到实数向量。它将相似的字符串编码为包含相似值的向量。例如，它为 “加利福尼亚州” 和 “加利福尼亚州” 创建了非常相似的编码。

Data Wrangler 使用 3 克分词器将数据集中的每个类别转换为一组标记。它使用最小哈希编码将令牌转换为嵌入式。

以下示例说明相似度编码器如何从字符串创建向量，如下示例展示了示例：

Data Wrangler 创建的相似度编码：

出于上述原因，相似度编码比单热编码更通用。

要将相似度编码转换添加到数据集中，请按照以下过程操作：

精选文本

使用 Feat urize Text 转换组检查字符串类型的列，并使用文本嵌入来对这些列进行特征化。

该功能组包含两个功能：角色统计和矢量化。使用以下部分来了解有关这些变换的更多信息。对于这两个选项，输入列必须包含文本数据（字符串类型）。

角色统计数据

使用字符统计数据为包含文本数据的列中的每一行生成统计信息。

此转换计算每行的以下比率和计数，并创建一个新列来报告结果。使用输入列名作为前缀和特定于比率或计数的后缀来命名新列。

矢量化

文本嵌入涉及将词汇表中的单词或短语映射到实数向量。使用 Data Wrangler 文本嵌入转换将文本数据标记化和矢量化为术语频率—反向文档频率 (TF-IDF) 矢量。

当为一列文本数据计算 TF-IDF 时，每个句子中的每个单词都将转换为代表其语义重要性的实数。数字越高，单词频率越低，这往往更有意义。

定义矢量化变换步骤时，Data Wrangler 使用数据集中的数据来定义计数向量器和 TF-IDF 方法。运行 Data Wrangler 作业使用同样的方法。

您可以使用以下方式配置此转换：

转换时间序列

在 Data Wrangler 中，您可以转换时间序列数据。时间序列数据集中的值以特定时间为索引。例如，显示一天中每小时商店中客户数量的数据集就是时间序列数据集。下表显示了时间序列数据集的示例。

在上表中，客户数量列包含时间序列数据。根据时间（小时）列中的每小时数据对时间序列数据进行索引。

您可能需要对数据进行一系列转换，以使其成为可用于分析的格式。使用时间序列变换组来转换您的时间序列数据。有关您可以执行的转换的更多信息，请参阅以下各节。

按时间序列分组

您可以使用分组按操作对列中特定值的时间序列数据进行分组。

例如，您的下表跟踪了家庭的平均日用电量。

如果您选择按 ID 分组，则会得到下表。

时间序列中的每个条目都按相应的时间戳排序。序列的第一个元素对应于该系列的第一个时间戳。对于household_0，30是用电量序列的第一个值。的值对30应于的第一个时间戳1/1/2020。

您可以包括开始时间戳和结束时间戳。下表显示了信息的显示方式，如下表所示。

您可以使用以下过程按时间序列列分组：

对时间序列数据进行重新采样

时间序列数据的观测值通常不是按固定间隔进行的。例如，数据集可能包含一些每小时记录的观测值，而其他观测值则每两小时记录一次。

许多分析，例如预测算法，都要求定期进行观测。重采样使您能够为数据集中的观测值建立固定间隔。

您可以对时间序列进行上采样或向下采样。缩减采样会增加数据集中观测之间的间隔。例如，如果您对每小时或每两小时采集的观测值进行降采样，则数据集中的每个观测值每两小时采集一次。使用诸如均值或中位数之类的聚合方法将每小时的观测值聚合为单个值。

向上采样可缩短数据集中观测之间的间隔。例如，如果您将每两小时采集的观测值提升为每小时的观测值，则可以使用插值方法从每两小时采集的观测值中推断出每小时的观测值。有关插值方法的信息，请参阅 p andas。 DataFrame. 插值。

您可以对数字和非数字数据进行重新采样。

使用重采样操作对时间序列数据进行重新采样。如果您的数据集中有多个时间序列，Data Wrangler 会标准化每个时间序列的时间间隔。

下表显示了使用均值作为聚合方法对时间序列数据进行缩减采样的示例。数据从每两小时缩减采样到每小时一次。

您可以使用以下过程对时间序列数据重新采样：

处理丢失的时间序列数据

如果数据中缺少值，则执行以下操作之一：

补偿缺失值包括通过指定值或使用推断方法来替换数据。以下是可用于归纳的方法：

某些估算方法可能无法归因数据集中的所有缺失值。例如，向前填充无法估算出现在时间序列开头的缺失值。您可以使用向前填充或向后填充来估算值。

可以在单元格内或列内填入缺失值。

以下示例说明如何在单元中输入值，如下示例说明如何将值归入单元格内：

以下示例说明如何在列中输入值，如下示例说明如何将值归入列中：

您可以使用以下过程处理缺失值，请按照以下过程处理。

验证您的时间序列数据的时间戳

您的时间戳数据可能无效。您可以使用验证时间戳函数来确定数据集中的时间戳是否有效。您的时间戳可能由于以下一个或多个原因而无效：

如果数据集中的时间戳无效，则无法成功执行分析。您可以使用 Data Wrangler 识别无效的时间戳，并了解需要在何处清理数据。

时间序列验证采用以下两种方式之一：

可以在 Data Wrangler 配置为在数据中遇到缺失值，以执行以下操作之一：

您可以验证具有timestamp类型或类型的列上的时间戳。string如果列的string类型为，则 Data Wrangler 会将该列的类型转换为timestamp并执行验证。

您可以使用以下过程验证数据集中的时间戳，请按照以下过程验证：

标准化时间序列的长度

如果您将时间序列数据存储为数组，则可以将每个时间序列标准化为相同的长度。标准化时间序列数组的长度可能会使您更容易对数据进行分析。

对于需要固定数据长度的数据转换，您可以对时间序列进行标准化。

许多 ML 算法要求您在使用时间序列数据之前将其扁平化。扁平化时间序列数据就是将时间序列的每个值分成数据集中自己的列。数据集中的列数无法更改，因此需要对时间序列的长度进行标准化，然后将每个数组扁平化为一组特征。

每个时间序列都设置为您指定的时间序列集的分位数或百分位数的长度。例如，您可以拥有三个长度如下长度的序列：

您可以将所有序列的长度设置为长度为第 50 个百分位数的序列的长度。

比您指定的长度短的时间序列数组会添加缺失值。以下是将时间序列标准化为更长长度的示例格式：[2、4、5、NaN、NaN、NaN]。

您可以使用不同的方法来处理缺失值。有关这些方法的信息，请参见处理丢失的时间序列数据。

长度超过您指定长度的时间序列数组将被截断。

您可以使用以下过程标准化时间序列的长度：

从您的时间序列数据中提取特征

如果您正在对时间序列数据运行分类或回归算法，我们建议在运行算法之前从时间序列中提取特征。提取功能可能会提高算法的性能。

使用以下选项选择从数据中提取要素的方式：

使用以下步骤从时间序列数据中提取要素。

使用时间序列数据中的延迟特征

对于许多用例，预测时间序列future 行为的最佳方法是使用其最新行为。

延迟功能的最常见用法如下：

在时间序列中创建日期时间范围

您的时间序列数据可能没有时间戳。如果您知道观测值是定期进行的，则可以在单独的列中为时间序列生成时间戳。要生成时间戳，请指定开始时间戳的值和时间戳的频率。

例如，您可能有以下关于餐厅顾客数量的时间序列数据。

如果您知道餐厅在下午 5:00 营业，并且每小时进行一次观测，则可以添加与时间序列数据对应的时间戳列。可以在下表中看到时间戳列。

使用以下过程将日期时间范围添加到数据中添加日期时间范围：

在时间序列中使用滚动窗口

您可以在一段时间内提取要素。例如，对于时间、t 和时间窗长度为 3，对于表示第 t 个时间戳的行，我们追加从时间序列中提取的时间 t-3、t -2 和 t-1 处的特征。有关提取要素的信息，请参见从您的时间序列数据中提取特征。

您可以使用以下步骤提取一段时间内的要素。

功能化日期时间

使用 Featurize 日期/时间创建表示日期时间字段的矢量嵌入。要使用这种转换，您的日期时间数据必须采用以下格式之一：

您可以选择推断日期时间格式并提供日期时间格式。如果您提供日期时间格式，则必须使用 Python 文档中描述的代码。您为这两种配置选择的选项会影响操作速度和最终结果。

使用此转换时，需要指定一个包含上述格式之一的日期时间数据的输入列。转换会创建一个名为输出列名的输出列。输出列的格式取决于您使用以下内容的配置：

此外，必须选择嵌入模式。对于线性模型和深度网络，我们建议选择循环。对于基于树的算法，我们建议选择序数。

格式化字符串

格式化字符串转换包含标准的字符串格式化操作。例如，您可以使用这些操作来删除特殊字符、规范字符串长度和更新字符串大小写。

此功能组包含以下变换。所有转换都会返回 “输入” 列中字符串的副本，并将结果添加到新的输出列中。

处理异常值

机器学习模型对特征值的分布和范围很敏感。异常值或稀有值可能会对模型精度产生负面影响，并导致更长的训练时间。使用此功能组检测和更新数据集中的异常值。

当您定义 Hand le 异常值转换步骤时，用于检测异常值的统计数据是在 Data Wrangler 中定义该步骤时提供的数据上生成的。运行 Data Wrangler 作业时使用相同的统计信息。

使用以下部分了解有关该组包含的变换的更多信息。您指定输出名称，这些变换中的每一个都会生成一个包含结果数据的输出列。

稳健的标准差数字异常值

此变换使用对异常值具有可靠性的统计数据来检测和修复数字要素中的异常值。

必须为用于计算异常值的统计数据定义上分位数和下分位数。您还必须指定标准差的数量，值必须与均值不同才能被视为异常值。例如，如果您为标准差指定 3，则值必须与均值相差超过 3 个标准差才能被视为异常值。

修复方法是在检测到异常值时用于处理异常值的方法。可从以下选项中进行选择：

标准差数字异常值

此变换使用均值和标准差检测并修复数字要素中的异常值。

您可以指定标准差的数量，该值必须与均值不同才能被视为异常值。例如，如果您为标准差指定 3，则值必须与均值相差超过 3 个标准差才能被视为异常值。

修复方法是在检测到异常值时用于处理异常值的方法。可从以下选项中进行选择：

分位数异常值

使用此变换使用分位数检测和修复数值特征中的异常值。您可以定义上分位数和下分位数。所有高于上分位数或低于下分位数的值都被视为异常值。

修复方法是在检测到异常值时用于处理异常值的方法。可从以下选项中进行选择：

最小-最大数值异常值

此变换使用上限和下限阈值检测并修复数值要素中的异常值。如果您知道标记异常值的阈值，请使用此方法。

您可以指定上限阈值和下限阈值，如果值分别高于或低于这些阈值，则它们被视为异常值。

修复方法是在检测到异常值时用于处理异常值的方法。可从以下选项中进行选择：

替换稀有

使用 Replace 稀有变换时，需要指定一个阈值，Data Wrangler 会查找所有满足该阈值的值并将其替换为您指定的字符串。例如，您可能需要使用此转换将列中的所有异常值归类为 “其他” 类别。

处理缺的值

缺失值在机器学习数据集中很常见。在某些情况下，使用计算值（例如平均值或类别公用值）来估算缺失的数据是适当的。您可以使用 “处理缺失值” 转换组处理缺失值。该组包含以下变换。

填补缺的

使用 “填充缺失” 变换将缺失值替换为您定义的填充值。

缺指缺指

使用 Impute miss ing 变换创建一个新列，其中包含在输入类别和数值数据中找到缺失值的估算值。配置取决于您的数据类型。

对于数值数据，选择估算策略，即用于确定要估算的新值的策略。您可以选择将均值或中位数归入数据集中存在的值。Data Wrangler 使用其计算出的值来估算缺失的值。

对于分类数据，Data Wrangler 使用列中最常见的值来估算缺失值。要填充自定义字符串，请改用 “填充缺失” 变换。

添加缺失指标

使用添加缺失转换指示符来创建新的指示器列，"false"如果行包含值以及行包含缺失值，"true"则该列包含布尔值。

Drop 缺了

使用 “删除缺失” 选项从输入列中删除包含缺失值的行。

管理列

您可以使用以下转换来快速更新和管理数据集中的列：

管理行

使用此转换组可以快速对行执行排序和随机排序操作。此组包含以下内容：

管理向量

使用此变换组来合并或展平矢量列。该组包含以下变换。

处理数字

使用 “处理数字” 功能组来处理数值数据。该组中的每个标量都是使用 Spark 库定义的。支持以下标量：

采样

导入数据后，您可以使用采样转换器对其进行一个或多个样本。当您使用采样转换器时，Data Wrangler 会对您的原始数据集进行采样。

您可以选择以下示例方法之一：

您可以对随机样本进行分层以确保它代表数据集的原始分布。

您可能正在为多个用例进行数据准备。对于每个用例，您可以采集不同的样本并应用一组不同的转换。

以下过程描述了创建随机样本的过程。

以下过程描述了创建分层样本的过程。

搜索和编辑

使用此部分搜索和编辑字符串中的特定模式。例如，您可以查找和更新句子或文档中的字符串、按分隔符拆分字符串以及查找特定字符串的出现次数。

搜索和编辑支持以下转换。所有转换都会返回 “输入” 列中字符串的副本，并将结果添加到新的输出列中。

拆分数据

使用拆分数据转换将您的数据集拆分为两个或三个数据集。例如，您可以将数据集拆分为用于训练模型的数据集和用于测试模型的数据集。您可以确定每次拆分的数据集的比例。例如，如果您要将一个数据集拆分成两个数据集，则训练数据集可以包含 80% 的数据，而测试数据集可以包含 20% 的数据。

将数据拆分成三个数据集使您能够创建训练、验证和测试数据集。您可以通过删除目标列来查看模型在测试数据集上的表现如何。

您的用例决定了每个数据集获得的原始数据集的多少以及用于拆分数据的方法。例如，您可能需要使用分层拆分来确保目标列中观测值在数据集中的分布相同。你可以使用以下分割变换：

分割数据后，可以对每个数据集应用其他转换。对于大多数使用案例，它们不是必需的。

Data Wrangler 根据性能计算拆分比例。您可以选择错误阈值来设置分割的精度。较低的错误阈值可以更准确地反映您为分割指定的比例。如果设置更高的错误阈值，则性能会更好，但精度会降低。

要实现完美分割数据，请将错误阈值设置为 0。您可以指定介于 0 到 1 之间的阈值以获得更好的性能。如果您指定的值大于 1，则 Data Wrangler 将把值解释为 1 的值。

如果您的数据集有 10000 行，并且指定了 80/20 分割，误差为 0.001，则您将获得近似于以下结果之一的观测值：

前面的示例中测试集的观测值在 8010 到 7990 之间的间隔内。

默认情况下，Data Wrangler 使用随机种子来使拆分可重现。您可以为种子指定不同的值，以创建不同的可重现分割。

将值解析为类型

使用此转换将列转换为新类型。支持的 Data Wrangler 数据类型为：

验证字符串

使用验证字符串转换来创建一个新列，指示一行文本数据满足指定条件。例如，您可以使用验证字符串转换来验证字符串是否仅包含小写字符。验证字符串支持以下转换。

此转换组中包含以下变换。如果变换输出布尔值，True则用 a 表示1，False用 a 表示0。

取消嵌套 JSON 数据

如果您有.csv 文件，则数据集中的值可能是 JSON 字符串。同样，您可能在 Parquet 文件或 JSON 文档的列中嵌套数据。

使用 Flatten 结构化运算符将第一级密钥分成单独的列。第一级密钥是不嵌套在值中的键。

例如，您可能有一个数据集，其中包含一个人物列，其中每个人的人口统计信息存储为 JSON 字符串。JSON 字符串可能与以下内容类似。

 "{"seq": 1,"name": {"first": "Nathaniel","last": "Ferguson"},"age": 59,"city": "Posbotno","state": "WV"}"
            

Flatten 结构化运算符将以下第一级密钥转换为数据集中的其他列：

Data Wrangler 将键的值作为值放在列下。以下显示了 JSON 的列名和值。

seq, name,                                    age, city, state
1, {"first": "Nathaniel","last": "Ferguson"}, 59, Posbotno, WV
            

对于包含 JSON 的数据集中的每个值，Flatten 结构化运算符会为第一级键创建列。要为嵌套键创建列，请再次调用运算符。对于上述示例，调用运算符创建了列：

以下示例显示了再次调用该操作所产生的数据集。

seq, name,                                    age, city, state, name_first, name_last
1, {"first": "Nathaniel","last": "Ferguson"}, 59, Posbotno, WV, Nathaniel, Ferguson
            

选择要扁平化的密钥以指定要提取为单独列的第一级密钥。如果您不指定任何密钥，则 Data Wrangler 默认提取所有密钥，则 Data Wrangler 将提取所有密钥：

爆炸数组

使用 Explode 数组将数组的值扩展为单独的输出行。例如，该操作可以获取数组中的每个值 [[1、2、3、]、[4、5、6]、[7、8、9]]，然后创建一个包含以下行的新列：

                [1, 2, 3]
                [4, 5, 6]
                [7, 8, 9]
            

Data Wrangler 将新列命名为 input_column_name_flatten。

您可以多次调用 Explode 数组操作，将数组的嵌套值放入单独的输出列中。以下示例显示了在带有嵌套数组的数据集上多次调用该操作的结果。