目录

Search

  1. 前言
  2. 转换简介
  3. 转换端口
  4. 转换缓存
  5. 地址验证器转换
  6. 汇总器转换
  7. 关联转换
  8. 离散记录异常转换
  9. 大小写转换器转换
  10. 分类器转换
  11. 比较转换
  12. 合并转换
  13. 数据屏蔽转换
  14. 数据处理器转换
  15. 判定转换
  16. 重复记录异常转换
  17. 表达式转换
  18. 筛选器转换
  19. 层次结构到关系转换
  20. Java 转换
  21. Java 转换 API 引用
  22. Java 表达式
  23. 联接器转换
  24. 键生成器转换
  25. 标签创建器转换
  26. 查找转换
  27. 查找缓存
  28. 动态查找缓存
  29. 宏转换
  30. 匹配转换
  31. 字段分析中的匹配转换
  32. 标识分析中的匹配转换
  33. 规范器转换
  34. 合并转换
  35. 解析器转换
  36. Python 转换
  37. 等级转换
  38. 读取转换
  39. 关系到层次结构转换
  40. REST Web 服务使用者转换
  41. 路由器转换
  42. 序列生成器转换
  43. 排序器转换
  44. SQL 转换
  45. 标准创建器转换
  46. 联合转换
  47. 更新策略转换
  48. Web 服务使用者转换
  49. 解析 Web 服务 SOAP 消息
  50. 生成 Web 服务 SOAP 消息
  51. 加权平均值转换
  52. 窗口转换
  53. 写入转换
  54. 附录 , A: 转换分隔符

Developer 转换指南

Developer 转换指南

合并映射

合并映射

要合并记录,请创建一个可创建相关记录组的映射。将合并转换添加到映射中,并将该转换配置为将每个记录组合并到单个主记录。
根据业务目标和数据要求,将合并转换连接到其他转换。要合并匹配的记录,可以将合并转换连接到匹配转换。要将记录合并到异常记录管理中,请将该合并转换连接到某个异常转换。如果使用键生成器转换对记录进行分组,可以将某个合并转换直接连接到该键生成器转换。合并转换会为由键生成器转换创建的每个组创建一条合并的记录。

本地和 Hadoop 环境中的映射输出

当您分别在本地环境和 Hadoop 环境中运行合并映射时,合并转换可能会产生不同的结果。因为映射运行于 Hadoop 中的多个节点上,所以输入记录可能会以与本地环境中不同的顺序输入合并转换。其结果是,对于同一个输入数据集,转换可能会在每个环境中生成不同的残存记录集。对于每种情况下的输入行顺序,转换计算和合并后的结果都是准确的。
要在本地和 Hadoop 环境中生成相同的残存记录,请将合并转换配置为按以下顺序排列记录:
  • 首先,在“分组依据”端口上对记录进行排序。
  • 然后,按照输入端口在转换中的出现顺序对记录进行排序。