はじめに
トランスフォーメーション
- アクティブなトランスフォーメーションとパッシブなトランスフォーメーション
- トランスフォーメーションタイプ
- ライセンス取得済みトランスフォーメーション
- 受信フィールド
  - フィールド名の競合
    - フィールド名の競合の解決の作成
  - フィールドルール
- データオブジェクトのプレビュー
- 変数フィールド
- トランスフォーメーションキャッシュ
- 式マクロ
- ファイルリスト
- マルチバイト階層データの設定
ソーストランスフォーメーション
- ソースオブジェクト
- ファイルソース
- データベースソース
- Webサービスソース
- パーティション
  - パーティション化に関するルールおよびガイドライン
  - パーティション化の例
- 詳細モードでの階層データの読み取り
- 詳細モードでのドキュメントの読み取り
- マルチバイト階層データの設定
- ソースフィールド
  - 複合ファイルソースのネイティブデータ型の編集
  - トランスフォーメーションのデータ型の編集
ターゲットトランスフォーメーション
- ターゲットオブジェクト
  - 詳細クラスタでのターゲットファイルの作成
- ファイルターゲット
- データベースのターゲット
- Webサービスのターゲット
  - ターゲットのWebサービス操作
  - Webサービスターゲットのフィールドマッピング
- パーティション
- 詳細モードでの階層データの書き込み
- マルチバイト階層データの設定
- ターゲットフィールド
- ターゲットトランスフォーメーションのフィールドマッピング
- ターゲットトランスフォーメーションの設定
アクセスポリシートランスフォーメーション
- アクセスポリシートランスフォーメーションでのパラメータの使用
- データフィルタポリシーのベストプラクティス
- アクセスポリシートランスフォーメーションの設定
- アクセスポリシートランスフォーメーションの例
アグリゲータトランスフォーメーション
- グループ化フィールド
- ソート済みデータ
- 集計フィールド
- 詳細プロパティ
- 詳細モードの階層データ
- アグリゲータトランスフォーメーションの例
B2Bトランスフォーメーション
- B2B受信フィールド
- B2B設定
- 出力フィールド
- フィールドマッピング
- 詳細設定
チャンキングトランスフォーメーション
- チャンキング方法
- チャンキング出力フィールド
クレンジングトランスフォーメーション
- クレンジングトランスフォーメーションの設定
  - クレンジングアセットの考慮事項
  - データ品質アセットの同期
- クレンジングトランスフォーメーションのフィールドマッピング
- クレンジングトランスフォーメーションの出力フィールド
- 詳細プロパティ
データマスキングトランスフォーメーション
- マスキング方法
- マスキング方法の設定プロパティ
- クレジットカードマスキング
- 電子メールマスキング
  - 詳細電子メールマスキング
- IPアドレスマスキング
- キーマスキング
- 電話番号マスキング
- ランダムマスキング
- 社会保険番号マスキング
- 社会保障番号（SSN）マスキング
- カスタム置換マスキング
- 依存マスキング
  - 依存マスキングパラメータ
- 置換マスキング
- URLアドレスマスキング
- マスクルールパラメータ
- マスクルールパラメータの例
  - パラメータを使用したマッピングの作成
  - マッピングを実行します
- データマスキングトランスフォーメーションの作成
- マスクされた一貫性のある出力
  - ルールおよびガイドライン
  - 例
- データマスキングトランスフォーメーション例
データサービストランスフォーメーション
- 動的サービス名
- ステータストレースメッセージ
- データサービスのプロパティ
- データサービストランスフォーメーションの入力フィールド
- データサービストランスフォーメーションの出力フィールド
- データサービストランスフォーメーションフィールドのマッピング
重複排除トランスフォーメーション
- 重複排除および統合操作
- IDポピュレーションデータ
- 重複分析におけるグループ
  - 例: グループキーカラムの選択
- 重複排除トランスフォーメーションの設定
- 重複排除トランスフォーメーションのフィールドマッピング
- 重複排除トランスフォーメーションのメタデータフィールド
- リンクスコアとドライバスコア
- 重複排除トランスフォーメーションの出力フィールド
- 詳細プロパティ
式トランスフォーメーション
- 式フィールド
- 式エディタ
- 式のトランスフォーメーション言語コンポーネント
- 式の構文
- 文字列リテラルと数値リテラル
- 式へのコメント追加
- 予約語
- ウィンドウ関数
  - フレーム
  - パーティションキーおよびオーダーキー
- 例: ウィンドウを使用した有効期限の計算
- 例: ウィンドウを使用したGPS pingのフラグ付け
- 例: ウィンドウでの集計関数の実行
- 詳細プロパティ
- 詳細モードの階層データ
フィルタトランスフォーメーション
- フィルタ条件
- 詳細プロパティ
- 詳細モードの階層データ
階層ビルダートランスフォーメーション
- 出力の設定
- データトランスフォーメーション用のフィールドの結合とマッピング
  - 受信データの結合
  - 階層フィールドへのリレーショナルフィールドのマッピング
- 詳細プロパティの設定
- マルチバイト階層データの設定
- 階層ビルダトランスフォーメーションの例
階層パーサートランスフォーメーション
- 階層パーサートランスフォーメーションの使用
- 階層パーサーのルールとガイドライン
- サンプルファイルまたはスキーマファイルの選択
- 階層スキーマ
  - 階層スキーマのルールとガイドライン
  - 階層スキーマの作成
- 入力設定
  - 階層スキーマの選択
  - サンプルからの階層スキーマの作成
- 入力フィールド選択
- フィールドマッピング
  - 変換する要素の選択
- 出力フィールド
- 出力グループの選択
- マルチバイト階層データの設定
- 階層パーサートランスフォーメーションの例
階層プロセッサトランスフォーメーション
- 階層プロセッサトランスフォーメーションの概要
- リレーショナル出力の処理
- 階層出力の処理
- フラット化された出力の処理
入力トランスフォーメーション
- 入力フィールド
Javaトランスフォーメーション
- Javaトランスフォーメーションの定義
- クラスパス設定
- Javaトランスフォーメーションのフィールド
- Javaトランスフォーメーションプロパティの設定
- Javaコードの開発
- コードのコンパイル
  - クラスコード全体の表示
- Javaトランスフォーメーションのトラブルシューティング
  - コンパイルエラーのソースの検出
  - エラータイプの特定
- Javaトランスフォーメーションの例
JavaトランスフォーメーションAPIリファレンス
- failSession
- generateRow
- getInRowType
- incrementErrorCount
- invokeJExpression
- isNull
- logError
- logInfo
- setNull
- setOutRowType
ジョイナトランスフォーメーション
- 結合条件
- 結合タイプ
- 詳細プロパティ
- 詳細モードの階層データ
- ジョイナトランスフォーメーションの作成
- ジョイナトランスフォーメーションの例
ラベラトランスフォーメーション
- ラベラトランスフォーメーションの設定
- ラベラトランスフォーメーションのフィールドマッピング
- ラベラトランスフォーメーションの出力フィールド
ルックアップトランスフォーメーション
- ルックアップオブジェクト
  - ルックアップオブジェクトのプロパティ
    - 複数一致ポリシーの制限
  - カスタムクエリ
- ルックアップ条件
- ルックアップの戻りフィールド
- 詳細プロパティ
- ルックアップSQLオーバーライド
- ルックアップソースフィルタ
- 動的ルックアップキャッシュ
- 永続ルックアップキャッシュ
  - ルックアップキャッシュの再構築
- 接続されていないルックアップ
  - 接続されていないルックアップトランスフォーメーションの設定
  - 別のトランスフォーメーションからの接続されていないルックアップの呼び出し
- 接続されているルックアップの例
- 動的ルックアップの例
- 接続されていないルックアップの例
機械学習トランスフォーメーション
- RESTエンドポイントとしてのモデルのデプロイ
- 機械学習モデルへのアクセス
- 要求スキーマへのフィールドのマッピング
  - 階層フィールドのマッピング
  - 要求マッピングのオプション
- 応答フィールドの表示
- 一括要求の設定
  - 一括要求オプション
- APIプロキシの設定
- トラブルシューティング
- エラー処理
- 機械学習トランスフォーメーションの例
マップレットトランスフォーメーション
- マップレットトランスフォーメーションの設定
- マップレットの選択
- マップレットトランスフォーメーションのフィールドマッピング
- マップレットパラメータ
- マップレットトランスフォーメーションの出力フィールド
- マップレットトランスフォーメーション名
- マップレットの同期
ノーマライザトランスフォーメーション
- 正規化されたフィールド
- ノーマライザフィールドマッピング
  - ノーマライザフィールドマッピングのオプション
- 詳細プロパティ
- ノーマライザトランスフォーメーションのターゲット設定
- パラメータ化されたソースのノーマライザフィールドルール
- ノーマライザとアグリゲータのマッピング例
出力トランスフォーメーション
- 出力フィールド
  - 受信フィールドに基づいて出力フィールドを生成
- フィールドマッピング
解析トランスフォーメーション
- 解析トランスフォーメーションの設定
- 解析トランスフォーメーションのフィールドマッピング
- 解析トランスフォーメーションの出力フィールド
- 詳細プロパティ
Pythonトランスフォーメーション
- Pythonのインストールと設定
- Pythonトランスフォーメーションのフィールド
- アクティブPythonトランスフォーメーションとパッシブPythonトランスフォーメーション
- リソースファイル
- Pythonコードの開発
  - Pythonコードスニペットの作成
  - リソースファイルの参照
- 例: IDカラムの非パーティション化データへの追加
- 例: 最も高い給与を検索するパーティションの使用
- 例: トレーニング済みモデルの運用可能化
ランクトランスフォーメーション
- 文字列値のランク付け
- ランクキャッシュ
- ランクトランスフォーメーションの定義
- ランクトランスフォーメーションのフィールド
- ランクプロパティの定義
- ランクグループの定義
- 詳細プロパティ
- 詳細モードの階層データ
- ランクトランスフォーメーションの例
ルータトランスフォーメーション
- グループに関する作業
  - 出力グループを接続するためのガイドライン
- グループフィルタ条件
  - グループフィルタ条件の設定
- 詳細プロパティ
- 詳細モードの階層データ
- ルータトランスフォーメーションの例
ルール仕様トランスフォーメーション
- ルール仕様トランスフォーメーションの設定
- ルール仕様トランスフォーメーションのフィールドマッピング
- ルール仕様トランスフォーメーションの出力フィールド
- 詳細プロパティ
シーケンストランスフォーメーション
- シーケンストランスフォーメーションの使用
- シーケンスの出力フィールド
- シーケンスのプロパティ
  - 受信フィールドの無効化
- 詳細モードの階層データ
- シーケンストランスフォーメーションのルールおよびガイドライン
- シーケンストランスフォーメーションの例
ソータートランスフォーメーション
- ソート条件
- ソーターキャッシュ
- 詳細プロパティ
- 詳細モードの階層データ
- ソータートランスフォーメーションの例
SQLトランスフォーメーション
- ストアドプロシージャまたはストアド関数の処理
- ストアドプロシージャの処理のための接続済または未接続SQLトランスフォーメーション
- 接続されていないSQLトランスフォーメーション
- クエリ処理
- SQLトランスフォーメーションの設定
構造パーサートランスフォーメーション
- Hadoopファイルソースからの入力の処理
- フラットファイルソースからの入力の処理
  - フラットファイルソースの設定
  - フラットファイルにアクセスするための構造パーサートランスフォーメーションの設定
- 構造パーサーフィールドマッピング
- 出力フィールド
- 詳細プロパティ
- 構造パーサートランスフォーメーションの設定
- 構造パーサートランスフォーメーションのルールおよびガイドライン
- 構造パーサートランスフォーメーションの例
トランザクション制御トランスフォーメーション
- トランザクション制御条件
- マッピングでのトランザクション制御トランスフォーメーションの使用
  - 複数のターゲットを持つトランザクション制御マッピングの例
- マッピングでのトランザクション制御トランスフォーメーションの使用に関するガイドライン
- 詳細プロパティ
共有体トランスフォーメーション
- ジョイナトランスフォーメーションとの比較
- 共有体トランスフォーメーションの使用の計画
- 入力グループ
- 出力フィールド
- フィールドマッピング
- 詳細プロパティ
- 共有体トランスフォーメーション例
ベクトル埋め込みトランスフォーメーション
- ベクトル埋め込み方法
- ベクトル埋め込み出力フィールド
Velocityトランスフォーメーション
- Velocityトランスフォーメーションの入力形式
  - ファイルソースのソース設定
- Velocityテンプレート
- テンプレートのテスト
- Velocityトランスフォーメーションの出力
  - ファイルターゲットのターゲット設定
- Velocityトランスフォーメーションのパーサー
- 例
  - XML変換の例
  - JSON変換の例
ベリファイヤトランスフォーメーション
- アドレス参照データ
- ベリファイヤトランスフォーメーションの設定
- ベリファイヤトランスフォーメーションのフィールドマッピング
  - 入力マッピングおよび出力マッピングの理解
- ベリファイヤトランスフォーメーションの出力フィールド
- 詳細プロパティ
Webサービストランスフォーメーション
- Webサービスコンシューマ接続の作成
- ビジネスサービスを定義する
- Webサービストランスフォーメーションの設定
- Webサービストランスフォーメーションの例
- マルチバイト階層データの設定

トランスフォーメーション

前へ次へ

チャンキング方法

チャンキングトランスフォーメーションでは、テキストをチャンクに分割するために使用できるさまざまなチャンキング方法が提供されています。

次のいずれかのチャンキング方法を選択して、一度に1つの入力文字列フィールドをチャンキングできます。

文分割: テキストを文ごとに分割します。文分割は、テキスト構造を正確に分析して理解し、コンテンツを要約および分析するのに役立ちます。文の境界は、句読点と慣習的なリスト項目によって検出されます。例えば、文字や数字で始まるリスト項目（A)
や1.
など）は、末尾に句読点があるかどうかに関係なく、個々の文としてカウントされます。また、箇条書きやenダッシュで始まるリスト項目は、個々の文として自動的に検出されず、句読点に基づいてチャンキングされます。
例えば、「すばしっこい茶色のキツネがぐうたらな犬を飛び越えています。いい天気です。」は、次のような文のチャンクに分割されます。
"The quick brown fox jumps over the lazy dog.", "It is a sunny day."
単語分割: 設定した単語数に基づいてテキストを分割します。単語分割は、名前や場所など、単語の意味と関係を、文の境界に合わせることなく保持する場合に便利です。一般的なフレーズや完全な文をキャプチャする可能性が高い単語のチャンキング制限を設定します。
例えば、「すばしっこい茶色のキツネがぐうたらな犬を飛び越えています。いい天気です。」は、それぞれ5つの単語からなる次のチャンクに分割されます。
"The quick brown fox jumps", "jumps over the lazy dog.", "dog. It is a sunny", "sunny day."
固定長の文字分割: 設定した一定の文字数に基づいてテキストを分割します。この方法では、文の途中でテキストが分割される場合がありますが、単語全体は保持されます。固定長の文字分割は、チャンクサイズをほぼ一定にしたい場合に便利です。
例えば、「すばしっこい茶色のキツネがぐうたらな犬を飛び越えています。いい天気です。」は、それぞれ10文字からなる次のチャンクに分割されます。
"The quick ", " quick ", " brown fox", "fox jumped", "jumped ", " over the ", " lazy dog.", "It is a ", " sunny day", "day."

単語分割と固定長の文字分割では、単語全体と文を保持するために、チャンク間で10%の重複が発生します。チャンキングトランスフォーメーションは、重複を計算する際に切り上げを行います。例えば、単語のチャンキング制限が5単語に設定されている場合、10%は0.5単語の重複と等しいため、トランスフォーメーションによって1単語の重複が発生します。

チャンキングトランスフォーメーション

ガイドをダウンロード

ページをウォッチ

フィードバックを送信

コミュニティ

Knowledge Base

Success Portal

Rename Saved Search

目次

トランスフォーメーション

トランスフォーメーション

チャンキング方法

チャンキング方法