目录

Search

  1. 前言
  2. 转换简介
  3. 转换端口
  4. 转换缓存
  5. 地址验证器转换
  6. 汇总器转换
  7. 关联转换
  8. 离散记录异常转换
  9. 大小写转换器转换
  10. 分类器转换
  11. 比较转换
  12. 合并转换
  13. 数据屏蔽转换
  14. 数据处理器转换
  15. 判定转换
  16. 重复记录异常转换
  17. 表达式转换
  18. 筛选器转换
  19. 层次结构到关系转换
  20. Java 转换
  21. Java 转换 API 引用
  22. Java 表达式
  23. 联接器转换
  24. 键生成器转换
  25. 标签创建器转换
  26. 查找转换
  27. 查找缓存
  28. 动态查找缓存
  29. 匹配转换
  30. 字段分析中的匹配转换
  31. 标识分析中的匹配转换
  32. 规范器转换
  33. 合并转换
  34. 解析器转换
  35. Python 转换
  36. 等级转换
  37. 读取转换
  38. 关系到层次结构转换
  39. REST Web 服务使用者转换
  40. 路由器转换
  41. 序列生成器转换
  42. 排序器转换
  43. SQL 转换
  44. 标准创建器转换
  45. 联合转换
  46. 更新策略转换
  47. Web 服务使用者转换
  48. 解析 Web 服务 SOAP 消息
  49. 生成 Web 服务 SOAP 消息
  50. 加权平均值转换
  51. 窗口转换
  52. 写入转换
  53. 转换分隔符

Developer 转换指南

Developer 转换指南

重复记录异常转换概览

重复记录异常转换概览

重复记录异常转换是一种主动转换,可用于读取数据质量处理的输出并标识需要手动查看的重复记录。重复记录异常转换属于多组转换。
重复记录异常转换从其他转换或其他映射中的数据对象接收输入。异常转换的输入必须包含数值匹配得分,转换可使用该得分确定记录是否重复。在重复记录异常转换中设置匹配得分阈值的上界和下界。
重复记录异常转换执行以下操作之一:
  • 如果匹配得分大于或等于阈值上界,则转换会将该记录视为重复记录并将其写入数据库目标。
  • 如果匹配得分小于阈值上界且大于阈值下界,则转换会将该记录视为可能重复的记录并将其写入其他目标供手动查看。如果记录属于某一群集,则转换会将该群集中的所有记录写入目标。
  • 如果群集中的任意匹配得分都小于阈值下界,则群集中的所有记录将进入唯一记录输出组。大小为 1 的群集将路由至唯一组,不管其匹配得分为何。默认情况下,异常转换不会将唯一记录写入目标。您可以配置转换以返回唯一记录。
  • 如果群集中的任意匹配得分都不在 0 - 100 范围内,异常转换将忽略群集中的所有行。数据集成服务会记录一条包含 clusterID 的消息。