目次

Search

  1. はじめに
  2. Informatica Data Engineering Integrationについて
  3. マッピング
  4. マッピングの最適化
  5. ソース
  6. ターゲット
  7. トランスフォーメーション
  8. Pythonトランスフォーメーション
  9. クラスタワークフロー
  10. プロファイル
  11. 監視
  12. 階層データ処理
  13. 階層データ処理設定
  14. スキーマが変更された階層データの処理
  15. ブロックチェーン
  16. インテリジェント構造モデル
  17. ステートフルコンピューティング
  18. 接続
  19. データ型リファレンス
  20. 関数リファレンス

ユーザーガイド

ユーザーガイド

SparkエンジンのJSONレコードの解析

SparkエンジンのJSONレコードの解析

マッピングのランタイムプロパティで、Sparkエンジンがマッピング内のJSONソースから読み取るときに、破損したレコードや複数行のレコードをどのように解析するかを設定できます。
次のSparkランタイムプロパティを設定します。
infaspark.json.parser.mode
破損したJSONレコードの処理方法をパーサーに指定します。次のいずれかのモードに値を設定できます。
  • DROPMALFORMED。パーサーは破損したすべてのレコードを無視します。デフォルトのモードです。
  • PERMISSIVE。パーサーは、破損したレコードの標準ではないフィールドをNULLとして受け取ります。
  • FAILFAST。パーサーが破損したレコードを検出し、Sparkアプリケーションがダウンした場合、パーサーは例外を生成します。
infaspark.json.parser.multiLine
JSONファイルの複数行のレコードをパーサーが読み取れるかどうかを指定します。この値は、trueまたはfalseに設定できます。デフォルトはfalseです。Sparkバージョン2.2.x以上を使用する非ネイティブのディストリビューションにのみ適用します。