目次

Search

  1. はじめに
  2. Workflow Manager
  3. ワークフローとワークレット
  4. セッション
  5. セッション設定オブジェクト
  6. タスク
  7. ソース
  8. ターゲット
  9. 接続オブジェクト
  10. 検証
  11. ワークフローのスケジュール設定と実行
  12. メールの発信
  13. Workflow Monitor
  14. Workflow Monitorの詳細
  15. セッションとワークフローのログ
  16. 付録 A: セッションプロパティリファレンス
  17. 付録 B: ワークフロープロパティリファレンス

ワークフローベーシックガイド

ワークフローベーシックガイド

PowerExchange for Hadoop接続

PowerExchange for Hadoop接続

アクセスするHadoopソースまたはターゲットごとにHadoop HDFSアプリケーション接続オブジェクトを使用します。
Hadoopクラスタのネームノードサービスを実行するHDFSホスト経由で、Hadoopクラスタに接続します。
以下の表に、Hadoop HDFSアプリケーション接続について設定するプロパティを示します。
プロパティ
説明
名前
Workflow Managerが使用する接続名。Workflow Managerが使用する接続名には、空白やアンダースコア以外の特殊文字を含めることはできません。
ユーザー名
HDFSホストへのアクセスに使用するHadoopグループ内のユーザー名。
パスワード
HDFSホストにアクセスするためのパスワード。将来の使用のために予約済み。
HDFS接続URI
HDFSにアクセスするためのURI。NameNode URIの
fs.default.name
プロパティに対してこの値を使用します。NameNode URIのプロパティの値は検出可能です。
core-site.xml
構成セットで
fs.default.name
プロパティの値を確認できます。
Hadoopディストリビューションの構文
:
hdfs://<namenode>:<port>
ここで
  • <namenode>は、NameNodeのホスト名またはIPアドレスです。
  • <port>は、NameNodeがリモートプロシージャコール(RPC)をリスンするポートです。
MapRディストリビューションの構文
:
maprfs:///
HDInsightディストリビューションの構文
:
  • adl:// <nameservices>
  • wasb://<nameservices>
Hiveドライバ名
Hiveドライバの名前。
デフォルトのドライバ名は次のとおりです。
org.apache.hive.jdbc.HiveDriver
Hive URL
HiveホストへのURL。
MapR Ticketクラスタの場合は、次の形式でURLを指定します。
jdbc:hive2://
hostname
:
portnumber
/default;auth=MAPRSASL/default;auth=MAPRSASL
MapR Kerberosクラスタの場合は、次の形式でURLを指定します。
jdbc:hive2://
hostname
:
portnumber
/default;auth=MAPRSASL/default;principal=<spn>
Hiveユーザー名
Hiveユーザー名。将来の使用のために予約済み。
Hiveパスワード
Hiveユーザーのパスワード。将来の使用のために予約済み。
Hadoopディストリビューション
Hadoopディストリビューションの名前。
デフォルトはcloudera_cdhです。