Hi, I'm Ask INFA!
What would you like to know?
ASK INFAPreview
Please to access Ask INFA.

目次

Search

  1. はじめに
  2. コネクタと接続
  3. 接続設定
  4. 接続プロパティ
  5. REST V2接続用のSwaggerファイルの生成

接続

接続

Hadoop Files V2接続のプロパティ

Hadoop Files V2接続のプロパティ

Hadoop Files V2接続を設定する場合は、接続プロパティを設定する必要があります。
次の表に、Hadoop Files V2接続のプロパティを示します。
接続プロパティ
説明
接続名
Hadoop Files V2接続の名前。
説明
接続の説明。説明は、765文字を超えることはできません。
タイプ
接続タイプ。
[Hadoop Files V2]
を選択します。
ランタイム環境
タスクを実行するランタイム環境の名前。
ユーザー名
HDFSからデータを読み取るため必要。データの読み書きのために、単一ノードのHDFSの場所へのアクセス権限を持つユーザーの名前を入力します。
NameNodeのURI
HDFSにアクセスするためのURI。
Cloudera、Amazon EMR、Hortonworksディストリビューションでは、以下の形式を使用して名前ノードURIを指定します。
hdfs://<namenode>:<port>/
ここで
  • <namenode>
    は、名前ノードのホスト名またはIPアドレスです。
  • <port>
    は、名前ノードがリモートプロシージャコール(RPC)をリスンするポートです。
Hadoopクラスタが高可用性用に設定されている場合、
core-site.xml
ファイルの
fs.defaultFS
値をコピーし、
/
を追加して名前ノードURIを指定する必要があります。
例として、次のスニペットにサンプル
core-site.xml
ファイルの
fs.defaultFS
値を示します。
<property> <name>fs.defaultFS</name> <value>hdfs://nameservice1</value> <source>core-site.xml</source> </property>
上のスニペットで、
fs.defaultFS
値は次のとおりです。
hdfs://nameservice1
対応する名前ノードURIは次のとおりです。
hdfs://nameservice1/
名前ノードURIまたはローカルパスのいずれかを指定します。ローカルファイルシステムパスとの間でデータを読み書きする場合、名前ノードURIは指定しません。
ローカルパス
データを読み書きするためのローカルファイルシステムパス。ローカルパスを指定するには、次の条件を参照します。
  • 名前ノードURIを指定する場合、ローカルパスに
    NA
    を入力する必要があります。ローカルパスに
    NA
    が含まれていない場合、名前ノードURIは機能しません。
  • 名前ノードURIおよびローカルパスを指定する場合、ノーカルパスが優先されます。その接続は、すべてのタスクを実行するためにローカルパスを使用します。
  • ローカルパスを空欄にした場合、エージェントはその接続内でルートディレクトリ(/)を設定します。その接続は、すべてのタスクを実行するためにローカルパスを使用します。
  • ファイルまたはディレクトリがローカルシステム内にある場合は、ファイルまたはディレクトリの完全修飾パスを入力します。
    例えば、
    /user/testdir
    はローカルシステム内のディレクトリの場所を指定します。
[ローカルパス]のデフォルト値は[NA]です。
構成ファイルのパス
Hadoop構成ファイルを格納するディレクトリ。
core-site.xml、hdfs-site.xml、およびhive-site.xmlをHadoopクラスタからコピーし、Linux Boxのフォルダに追加します。
キータブファイル
マシンを認証するための暗号化キーとKerberosプリンシパルが格納されたファイル。
プリンシパル名
スーパーユーザー特権に割り当てられたユーザーは、管理者特権を持つユーザーが行うことができるすべてのタスクを実行することができます。
偽装ユーザー名
Kerberos認証を使用するHadoopクラスタ内でマッピングを実行する、またはKerberos認証を使用するソースおよびターゲットに接続するために、異なるユーザーを有効にできます。マッピングの実行またはビッグデータのソースおよびターゲットへの接続のために、異なるユーザーを有効にするには、ユーザーの偽装を設定する必要があります。
リモートファイルの読み取りまたは書き込みを行う場合、
[ネームノードURI]
フィールドと
[構成ファイルパス]
フィールドは必須です。ローカルファイルの読み取りまたは書き込みを行う場合、
[ローカルパス]
フィールドのみが必要です。