目次

Search

  1. はじめに
  2. コネクタと接続
  3. 接続設定
  4. 接続プロパティ
  5. REST V2接続用のSwaggerファイルの生成

接続

接続

Hive接続のプロパティ

Hive接続のプロパティ

Hiveコネクタを
マッピング
タスクで使用するには、
データ統合
で接続を作成する必要があります。
Hive接続をセットアップする際には、接続プロパティを設定する必要があります。
次の表に、Hive接続のプロパティを示します。
接続プロパティ
説明
認証タイプ
以下のいずれかの認証タイプを選択できます。
  • Kerberos。Kerberosクラスタに対して
    [Kerberos]
    を選択します。
  • LDAP。LDAP対応クラスタに対して
    [LDAP]
    を選択します。
    LDAPは、詳細モードのマッピングには適用されません。
  • なし。保護されていない、またはLDAP対応でないHadoopクラスタの場合は
    [なし]
    を選択します。
JDBC URL
*
Hiveに接続するためのJDBC URL。
要件に基づいて、次の形式を指定します。
  • 単一のデータベースからテーブルを表示およびインポートするには、次の形式を使用します:
    jdbc:hive2://<host>:<port>/<database name>
  • 複数のデータベースからテーブルを表示およびインポートする場合は、データベース名を入力しないでください。次のJDBC URL形式を使用します:
    jdbc:hive2://<host>:<port>/
    ポート番号の後にスラッシュを入力します。
  • TLSが有効なHadoopクラスタのHiveにアクセスするには、次の形式でJDBC URLに詳細を指定します:
    jdbc:hive2://<host>:<port>/<database name>;ssl=true;sslTrustStore=<TrustStore_path>;trustStorePassword=<TrustStore_password>
    ここで、トラストストアパスは、エージェントマシン上のTLS証明書を含むトラストストアファイルのディレクトリパスです。
JDBCドライバ
*
Hiveに接続するためのJDBCドライバクラス。
ユーザー名
LDAPモードまたはなしモードでHiveに接続するためのユーザー名。
パスワード
LDAPモードまたはなしモードでHiveに接続するためのパスワード。
プリンシパル名
Kerberos認証を介してHiveに接続するためのプリンシパル名。
偽装ユーザー名
Hadoopクラスタでマッピングを実行するためにSecure Agentが偽装するユーザーのユーザー名。マッピングの実行またはHiveへの接続に別のユーザーを有効にするために、ユーザーの偽装を設定できます。HadoopクラスタがKerberos認証を使用する場合、Hadoop接続に偽装名が必要です。
キータブの場所
Kerberosログインのためのキータブファイルへのパスとファイル名。
構成ファイルパス
*
クライアントのためのHadoop設定ファイルが格納されているディレクトリ。
Hadoopクラスタからsite.xmlファイルをコピーし、Linuxボックスのフォルダに追加します。マッピングで接続を使用してHadoopクラスタ上のHiveにアクセスする前に、このフィールドにパスを指定します。
  • マッピングには、core-site.xml、hdfs-site.xml、およびhive-site.xmlファイルが必要です。
  • 詳細モードのマッピングには、core-site.xml、hdfs-site.xml、hive-site.xml、mapred-site.xml、およびyarn-site.xmlファイルが必要です。
DFS URI
*
Amazon S3、Microsoft Azure Data Lake Storage、HDFSなどの分散ファイルシステム(DFS)にアクセスするためのURI。
詳細クラスタ
で実行される詳細モードのマッピングの場合、Azure Data Lake Storage Gen2はAzure HDinsightクラスタでサポートされます。
アクセスするDFSに基づいて、必要なストレージとバケット名を指定します。
例えば、HDFSの場合は、Hadoopクラスタの
core-site.xml
ファイル内にある
fs.defaultFS
プロパティの値を参照し、同じ値を
[DFS URI]
フィールドに入力します。
DFSステージングディレクトリ
Secure AgentがデータをステージングするHadoopクラスタのステージングディレクトリ。DFSステージングディレクトリに対する完全な権限が必要です。
ステージングディレクトリとして、透過的な暗号化フォルダを指定します。
Hiveステージングデータベース
外部テーブルまたは一時テーブルが作成されるHiveデータベース。Hiveステージングデータベースに対する完全な権限が必要です。
追加プロパティ
詳細モードのマッピングに適用されます。
DFSにアクセスするために必要な追加のプロパティ。
プロパティを次のように設定します。
<DFS property name>=<value>;<DFS property name>=<value>
以下に例を示します。
Amazon S3ファイルシステムにアクセスするには、アクセスキー、秘密鍵、およびAmazon S3プロパティ名をそれぞれセミコロンで区切って指定します。
fs.s3a.<bucket_name>.access.key=<access key value>; fs.s3a.<bucket_name>.secret.key=<secret key value>; fs.s3a.impl=org.apache.hadoop.fs.s3a.S3AFileSystem;
Azure Data Lake Storage Gen2ファイルシステムにアクセスするには、認証タイプ、認証プロバイダ、クライアントID、クライアントシークレット、およびクライアントエンドポイントをそれぞれセミコロンで区切って指定します。
fs.azure.account.auth.type=<Authentication type>; fs.azure.account.oauth.provider.type=<Authentication_provider>; fs.azure.account.oauth2.client.id=<Client_ID>; fs.azure.account.oauth2.client.secret=<Client-secret>; fs.azure.account.oauth2.client.endpoint=<ADLS Gen2 endpoint>
*
これらのフィールドは必須パラメータです。