目次

Search

  1. はじめに
  2. Informatica Data Engineering Integrationについて
  3. マッピング
  4. マッピングの最適化
  5. ソース
  6. ターゲット
  7. トランスフォーメーション
  8. Pythonトランスフォーメーション
  9. データプレビュー
  10. クラスタワークフロー
  11. プロファイル
  12. 監視
  13. 階層データ処理
  14. 階層データ処理設定
  15. スキーマが変更された階層データの処理
  16. インテリジェント構造モデル
  17. ブロックチェーン
  18. ステートフルコンピューティング
  19. 付録 A: 接続リファレンス
  20. 付録 B: データ型リファレンス
  21. 付録 C: 関数リファレンス

Hadoopクラスタプロパティ

Hadoopクラスタプロパティ

データ統合サービスとHadoopクラスタ間の通信を有効にするには、Hadoop接続のプロパティを設定します。
以下の表に、Hadoop接続の一般的な接続プロパティを示します。
プロパティ
説明
名前
接続の名前。この名前では、大文字と小文字が区別されず、ドメイン内で一意にする必要があります。このプロパティは、接続を作成した後に変更できます。名前は128文字以内で指定し、空白および以下の特殊文字は使用できません。
~ ` ! $ % ^ & * ( ) - + = { [ } ] | \ : ; " ' < , > . ? /
ID
データ統合サービスが接続の識別に使用する文字列。IDでは大文字と小文字が区別されません。255文字以下で、ドメイン内で一意である必要があります。このプロパティは、接続を作成してから変更できません。デフォルト値は接続名です。
説明
接続の説明。接続を識別するために使用できる文字列を入力します。説明は、4,000文字を超えることはできません。
クラスタ設定
Hadoop環境に関連付けられているクラスタ設定の名前。
クラウドプロビジョニング設定を行わない場合に必要です。
クラウドプロビジョニング設定
Amazon AWSやMicrosoft Azureなどのクラウドプラットフォームに関連付けられているクラウドプロビジョニング設定の名前。
クラスタ設定を行わない場合に必要です。
クラスタ環境変数*
Hadoopクラスタが使用する環境変数。
Cloudera CDH 6.xまたはCloudera CDPクラスタを使用する場合は、ロケール設定をクラスタ環境変数として設定します。Cloudera Managerで、環境変数を次のYARNプロパティに追加する必要もあります。
yarn.nodemanager.env-whitelist
例えば、変数ORACLE_HOMEは、Oracleデータベースクライアントソフトウェアがインストールされているディレクトリを表します。
Hadoop環境のランタイムプロパティは、データ統合サービス、Hadoop接続、およびマッピングで構成できます。下位レベルで値を設定することにより、上位レベルで構成されたプロパティをオーバーライドできます。例えば、データ統合サービスのカスタムプロパティでプロパティを構成する場合は、Hadoop接続またはマッピングでオーバーライドできます。データ統合サービスは、次の優先順位に基づいてプロパティのオーバーライドを処理します。
  1. infacmd ms runMapping
    -cp
    オプションを指定して設定された、マッピングのカスタムプロパティ
  2. Hadoop環境のマッピングのランタイムプロパティ
  3. ランタイムエンジン用のHadoop接続の詳細プロパティ
  4. Hadoop接続の詳細な全般プロパティ、環境変数、およびクラスパス
  5. データ統合サービスのカスタムプロパティ
クラスタのライブラリパス*
クラスタ上の共有ライブラリのパス。
$DEFAULT_CLUSTER_LIBRARY_PATH変数には、デフォルトディレクトリの一覧が含まれています。
クラスタのクラスパス*
Hadoop jarファイルおよび必要なライブラリにアクセスするためのクラスパス。
$DEFAULT_CLUSTER_CLASSPATH変数には、デフォルトのjarファイルおよびライブラリへのパスの一覧が含まれています。
Hadoop環境のランタイムプロパティは、データ統合サービス、Hadoop接続、およびマッピングで構成できます。下位レベルで値を設定することにより、上位レベルで構成されたプロパティをオーバーライドできます。例えば、データ統合サービスのカスタムプロパティでプロパティを構成する場合は、Hadoop接続またはマッピングでオーバーライドできます。データ統合サービスは、次の優先順位に基づいてプロパティのオーバーライドを処理します。
  1. infacmd ms runMapping
    -cp
    オプションを指定して設定された、マッピングのカスタムプロパティ
  2. Hadoop環境のマッピングのランタイムプロパティ
  3. ランタイムエンジン用のHadoop接続の詳細プロパティ
  4. Hadoop接続の詳細な全般プロパティ、環境変数、およびクラスパス
  5. データ統合サービスのカスタムプロパティ
クラスタの実行可能ファイルパス*
クラスタ上の実行可能ファイルのパス。
$DEFAULT_CLUSTER_EXEC_PATH変数には、デフォルトの実行可能ファイルへのパスの一覧が含まれています。
* Informaticaは、サードパーティが提供するドキュメント、Informaticaが提供するドキュメント、またはInformaticaのグローバルカスタマサポートに問い合わせることなく、これらのプロパティ値を変更することはお勧めしません。プロパティに関する知識がないまま値を変更すると、パフォーマンスの低下やその他の予期しない結果が発生する可能性があります。