Hi, I'm Ask INFA!
What would you like to know?
ASK INFAPreview
Please to access Ask INFA.

目次

Search

  1. はじめに
  2. コネクタと接続
  3. 接続設定
  4. 接続プロパティ
  5. REST V2接続用のSwaggerファイルの生成

接続

接続

Databricks Delta接続のプロパティ

Databricks Delta接続のプロパティ

Databricks Delta接続をセットアップする際には、接続プロパティを設定します。
次の表に、Databricks Delta接続のプロパティを示します。
プロパティ
説明
接続名
接続の名前。
各接続名は組織内で一意である必要があります。接続名には、英数字、スペース、および次の特殊文字を含めることができます。_ .+ -,
最大長は255文字です。
説明
接続の説明。最大長は4000文字です。
タイプ
Databricks Delta接続タイプ。
ランタイム環境
タスクを実行するランタイム環境の名前。
Secure Agent、Hosted Agent、またはサーバーレスランタイム環境を指定できます。
Hosted Agentは、詳細モードのマッピングには適用されません。
Hosted Agentまたはサーバーレスランタイム環境で、アプリケーション取り込みタスク、データベース取り込みタスク、またはストリーミング取り込みタスクを実行することはできません。
Databricksホスト
Databricksアカウントが属するエンドポイントのホスト名。
以下の構文を使用します。
jdbc:spark://
<Databricks Host>
:443/default;transportMode=http;ssl=1;httpPath=sql/protocolv1/o/<Org Id>/<Cluster ID>;AuthMech=3;UID=token;PWD=<personal-access-token>
URLは、Databricks Deltaのアナリティクスクラスタまたは汎用クラスタにある、JDBCまたはODBCの[詳細オプション]から取得できます。
Databricksホスト、組織Id、およびクラスタIDのPWDの値は常に
<personal-access-token>
です。
クラスタID
DatabricksアナリティクスクラスタのID。
クラスタIDは、JDBC URLから取得できます。
以下の構文を使用します。
jdbc:spark://<Databricks Host>:443/default;transportMode=http;ssl=1;httpPath=sql/protocolv1/o/<Org Id>/
<Cluster ID>
;AuthMech=3;UID=token;PWD=<personal-access-token>
組織ID
Databricksのワークスペースの一意の組織ID。
以下の構文を使用します。
jdbc:spark://<Databricks Host>:443/default;transportMode=http;ssl=1;httpPath=sql/protocolv1/o/
<Org Id>
/<Cluster ID>;AuthMech=3;UID=token;PWD=<personal-access-token>
Databricksトークン
Databricksにアクセスするためのパーソナルアクセストークン。
クラスタに接続するための権限が、
[クラスタID]
プロパティに指定されていることを確認します。
マッピングの場合は、データエンジニアリングクラスタを作成するための追加の権限が必要です。
SQLエンドポイントJDBC URL
Databricks SQLエンドポイントのJDBC接続URL。
以下の構文を使用します。
jdbc:spark://<Databricks Host>:443/default;transportMode=http;ssl=1;AuthMech=3;httpPath=/sql/1.0/endpoints/<SQL endpoint cluster ID>;
アプリケーションの取り込みタスクとデータベースの取り込みタスクの場合、次のように、URLの先頭にプレフィックスjdbc:databricks://を付けます。
jdbc:databricks://<Databricks Host>:443/default;transportMode=http;ssl=1;AuthMech=3;httpPath=/sql/1.0/endpoints/<SQL endpoint cluster ID>;
このフィールドは、Databricks SQLエンドポイントに接続するために必要です。
データ統合の場合、このフィールドはDatabricks SQLエンドポイントに接続するために必要です。Secure Agentで必要な環境変数を設定してください。
[SQLエンドポイントJDBC URL]プロパティを設定した場合、[Databricksホスト]、[組織ID]、および[クラスタID]のプロパティは考慮されません。
Databricks Delta SQLエンドポイントの詳細については、Informaticaグローバルカスタマサポートにお問い合わせください。
データベース
接続先となるDatabricks Delta のデータベース。
データ統合の場合、デフォルトでは、ワークスペースで使用可能なすべてのデータベースが一覧表示されます。
JDBCドライバクラス名
JDBCドライバクラスの名前。
ドライバクラス名を
com.simba.spark.jdbc.Driver
として指定します。
アプリケーション取り込みタスクおよびデータベース取り込みタスクの場合は、ドライバクラス名を
com.databricks.client.jdbc.Driver
として指定します。
クラスタ環境
Databricksクラスタがデプロイされるクラウドプロバイダ。
次のオプションから選択します。
  • AWS
  • Azure
デフォルトはAWSです。
接続属性は、選択したクラスタ環境に応じて異なります。詳細については、AWSクラスタおよびAzureクラスタのプロパティに関するセクションを参照してください。
最小ワーカー数
1
Sparkジョブに使用される最小のワーカーノードの数。
マッピングの場合は必須で、最小値は1です。
最大ワーカー数
1
Sparkジョブに使用される最大のワーカーノードの数。
自動スケーリングを行わない場合は、最大ワーカー数を最小ワーカー数と同じに設定するか、最大ワーカー数を設定しないでください。
DBランタイムバージョン
1
Databricksランタイムバージョン。
リストから[7.3 LTS]を選択します。
ワーカーノードタイプ
1
Sparkジョブの実行に使用されるワーカーノードインスタンスタイプ。
例えば、AWSのワーカーノードタイプはi3.2xlargeにすることができます。AzureのワーカーノードタイプはStandard_DS3_v2にすることができます。
ドライバノードタイプ
1
Sparkワーカーからデータを収集するために使用されるドライバノードインスタンスタイプ。
例えば、AWSのドライバノードタイプはi3.2xlargeにすることができます。AzureのドライバノードタイプはStandard_DS3_v2にすることができます。
ドライバノードタイプを指定しない場合、Databricksはワーカーノードタイプのフィールドで指定した値を使用します。
インスタンスプールID
1
Sparkクラスタに使用されるインスタンスプールID。
マッピングを実行するために
インスタンスプールIDを指定すると、次の接続プロパティは無視されます。
  • ドライバノードタイプ
  • EBSボリューム数
  • EBSボリュームタイプ
  • EBSボリュームサイズ
  • Elastic Diskを有効にする
  • ワーカーノードタイプ
  • ゾーンID
Elastic Diskを有効にする
1
クラスタによる追加のディスク容量の取得を有効にします。
Sparkワーカーのディスク容量が不足している場合は、このオプションを有効にします。
Spark設定
1
Databricksクラスタで使用されるSpark設定。
設定は次の形式である必要があります。
"key1"="value1";"key2"="value2";....
以下に例を示します。
"spark.executor.userClassPathFirst"="False"
Spark環境変数
1
Sparkドライバとワーカーの起動前にエクスポートする環境変数。
この変数は、以下の形式で指定する必要があります。
"key1"="value1";"key2"="value2";....
以下に例を示します。
"MY_ENVIRONMENT_VARIABLE"="true"
1
詳細モードのマッピングには適用されません。
実行時にジョブクラスタを起動するには、
マッピング
タスクに次のプロパティが必要です。
  • 最小ワーカー数
  • 最大ワーカー数
  • DBランタイムバージョン
  • ワーカーノードタイプ
  • ドライバノードタイプ
  • Elastic Diskを有効にする
  • Spark設定
  • Spark環境変数
  • ゾーンID
  • EBSボリュームタイプ
  • EBSボリューム数
  • EBSボリュームサイズ