可以使用 Java 转换开发一个映射，以定义转换功能。在 Hadoop 环境下，在 Spark 引擎上运行映射，以转换数据并将结构数据写入 Avro 文件。

创建映射并配置以下转换：

读取转换，从平面文件源读取客户信息
Java 转换，作为活动转换，将平面数据转换为结构数据并删除不一致的数据
写入转换，将结构数据写入 Avro 文件

下图显示了包含读取转换、Java 转换和写入转换的映射。

在映射编辑器的“类型定义库”选项卡上，创建复杂的数据类型定义 Customer。复杂数据类型定义表示结构数据的架构。将类型定义库重命名为 CustomerInfo。将以下元素添加到复杂的数据类型定义：

字符串类型的名称
整数类型的年龄
具有字符串元素的数组类型的电话

下图显示了类型定义库中的复杂数据类型定义：

在 Java 转换中，添加一个结构输出端口并指定该端口的类型配置，以引用您创建的复杂数据类型定义。Java 转换生成具有 setter 和 getter 的 Customer 类，以读取和设置成员字段。该类包含以下成员字段：

_name
_age
_phones

下图显示了在

Java

视图的

完整代码

选项卡中为结构端口创建的类：

结构端口的 Java 数据类型使用类型定义库的名称和复杂数据类型定义。下图显示了生成代码中 cust 字段的 Java 数据类型名称 CustomerInfo.Customer：

在 Java 转换的

Java

视图中，导入转换需要的第三方、内置的或者自定义 Java 包。写入和编译 Java 代码，将平面数据转换为结构数据，在客户名称为空时删除客户行。

下图显示了

输入

选项卡中的代码：

在 Spark 引擎上验证映射并运行映射，将转换后的数据写入 Avro 文件输出。