目次

Search

  1. はじめに
  2. Informatica Data Engineering Integrationについて
  3. マッピング
  4. マッピングの最適化
  5. ソース
  6. ターゲット
  7. トランスフォーメーション
  8. Pythonトランスフォーメーション
  9. データプレビュー
  10. クラスタワークフロー
  11. プロファイル
  12. 監視
  13. 階層データ処理
  14. 階層データ処理設定
  15. スキーマが変更された階層データの処理
  16. インテリジェント構造モデル
  17. ブロックチェーン
  18. ステートフルコンピューティング
  19. 付録 A: 接続リファレンス
  20. 付録 B: データ型リファレンス
  21. 付録 C: 関数リファレンス

ユーザーガイド

ユーザーガイド

HDFSまたはView File System(ViewFS)接続プロパティ

HDFSまたはView File System(ViewFS)接続プロパティ

Hadoopファイルシステム(HDFS)またはView File System(ViewFS)接続を使用して、Hadoopクラスタ内のデータにアクセスします。HDFS接続またはViewFS接続は、ファイルシステムタイプの接続です。HDFS接続またはViewFS接続は、Administrator tool、Analyst tool、またはDeveloper toolで作成および管理できます。HDFSまたはViewFS接続プロパティは、特に明記されている場合を除き、大文字と小文字が区別されます。
接続プロパティの順序は、表示するツールによって異なる場合があります。
以下の表に、HDFS接続のプロパティを示します。
プロパティ
説明
名前
接続の名前。この名前では、大文字と小文字が区別されず、ドメイン内で一意にする必要があります。名前は128文字以内で指定し、空白および以下の特殊文字は使用できません。
~ ` ! $ % ^ & * ( ) - + = { [ } ] | \ : ; " ' < , > . ? /
ID
データ統合サービスが接続の識別に使用する文字列。 IDの大文字と小文字は区別されません。 255文字以下で、ドメイン内で一意である必要があります。 このプロパティは、接続を作成した後で変更することはできません。 デフォルト値は接続名です。
説明
接続の説明。説明は、765文字を超えることはできません。
場所
接続を作成するドメイン。Analystツールでは使用できません。
タイプ
接続タイプ。デフォルトはHadoopファイルシステムです。
ユーザー名
HDFSにアクセスするためのユーザー名。
NameNodeのURI
ストレージシステムにアクセスするためのURI。
fs.defaultFS
の値は、クラスタ設定の
core-site.xml
設定セットで確認できます。
クラスタ設定をインポートするときに接続を作成する際は、NameNode URIプロパティがデフォルトで設定され、クラスタ設定を更新するたびに更新されます。
Cloudera CDP Public Cloudコンピューティングクラスタを使用しており、HDFSがCloudera Data Lakeクラスタ上にある場合は、Hadoop接続のSparkプロパティ内のプロパティ
spark.yarn.access.hadoopFileSystems
を、ここで設定した値と同じ値に設定します。

複数のストレージタイプへのアクセス

さまざまな種類のストレージに接続するには、接続パラメータのNameNode URIプロパティを使用します。次の表は、ストレージの種類とストレージの種類別のNameNode URI形式を示しています。
記憶領域
NameNode URI形式
HDFS
hdfs://<namenode>:<port>
ここで、
  • <namenode>
    は、NameNodeのホスト名またはIPアドレスです。
  • <port>
    は、NameNodeがリモートプロシージャコール(RPC)をリスンするポートです。
NameNode高可用性の場合の
hdfs://<nameservice>
View File System(ViewFS)
viewfs://<clusterX>
、ここで
clusterX
はクラスタのマウントテーブルです。
MapR-FS
maprfs:///
HDInsight内のWASB
wasb://<container_name>@<account_name>.blob.core.windows.net/<path>
ここで、
  • <container_name>
    は、特定のAzure Storage Blobコンテナを示します。
    <container_name>
    は省略可能です。
  • <account_name>
    は、Azure Storage Blobオブジェクトを示します。
例:
wasb://infabdmoffering1storage.blob.core.windows.net/infabdmoffering1cluster/mr-history
HDInsight内のADLS
adl://home
Azure HDInsightクラスタからクラスタ構成を作成する場合、クラスタ構成ではプライマリストレージとしてADLSまたはWASBのいずれかを使用します。ADLSまたはWASBをセカンダリストレージとして指定したクラスタ設定は作成できません。HDFS接続またはViewFS接続のNameNode URIプロパティを編集して、ローカルのHDFSまたはViewFSの場所に接続することができます。