重複排除および統合のルールとガイドライン

ID分析のためのフィールドのマッピング

トランスフォーメーションに追加する重複排除アセットは、個人名や組織名などのIDのタイプを指定します。アセットでは、IDタイプが重複排除操作の

目的

と見なされます。IDのタイプにより、トランスフォーメーションによるインデックスでの検出が想定される情報のタイプを定義します。

トランスフォーメーションの適切な入力フィールドを、トランスフォーメーションが示すターゲットフィールドにマッピングする必要があります。必要に応じて、追加の入力フィールドをトランスフォーメーションの他のフィールドにマッピングすることもできます。

グループとシーケンスIDの値

重複分析では、グループは、特定のフィールドに同一の値を含むレコードのセットです。実行時に、重複排除トランスフォーメーションは各グループ内のレコードのインデックスデータのみを分析し、その後それぞれのグループからの結果を1つのデータセットに結合します。グループを定義するには、

［フィールドマッピング］

タブのGroupKeyフィールドを使用します。適切なフィールドにグループを作成すると、重複分析の精度を大幅に損なうことなく、トランスフォーメーションで実行する必要がある比較の総数を減らすことができます。

GroupKeyフィールドは必須です。入力データをグループとして並べ替えないようにする場合は、すべての行に同じ値を持つカラムをデータセットに追加し、そのカラムをGroupKeyフィールドにマッピングします。

シーケンスID値は、トランスフォーメーションで入力レコードを読み取る順序を決定します。SequenceIdフィールドへデータを提供できるフィールドが入力レコードに含まれていない場合、トランスフォーメーションではレコードが入力データセットに出現する順序で読み取られます。詳細モードでマッピングを実行する場合、SequenceIdフィールドは必須です。

クラスタとスコア

2つ以上のレコードが一致する場合、トランスフォーメーションによって同じ一致セットにレコードが割り当てられ、セットのメンバーとして識別されるID値が各レコードに追加されます。

グループ内の一致レコードのセットは

クラスタ

とも呼ばれ、一致レコードを関連付けるID値は

クラスタID

と呼ばれます。

トランスフォーメーションは、出力データセット内の

リンクスコア

と

ドライバスコア

の値を持つ一致レコード間のリレーションを表します。リンクスコアとは、同一クラスタのメンバとして識別する2つのレコード間のスコアです。ドライバスコアとは、クラスタに追加された最初のレコードとクラスタ内の別のレコードの間のスコアです。

トランスフォーメーションでは、見つかった一致レコードのペアごとに1つのスコアが生成されることに注意してください。リンクとドライバのスコアは、異なるレコード間のリレーションのタイプを定義するものであり、異なる計算を表すものではありません。

メタデータフィールド

［出力フィールド］

タブでは、トランスフォーメーションにより、一致レコードのペアのスコア値を表示するフィールドが追加されます。また、これらのフィールドは、それぞれのレコードが属するクラスタを識別します。重複排除アセットで統合プロセスが指定されている場合、メタデータフィールドは各クラスタの優先レコードを指定します。トランスフォーメーションは、優先レコードを

存続

レコードと見なします。

このフィールドを使用してマッピング結果を把握します。

メタデータフィールドの詳細については、重複排除トランスフォーメーションのメタデータフィールドおよびリンクスコアとドライバスコアを参照してください。