Hi, I'm Ask INFA!
What would you like to know?
ASK INFAPreview
Please to access Ask INFA.

目次

Search

  1. はじめに
  2. マッピング
  3. マッピングチュートリアル
  4. パラメータ
  5. CLAIREの推奨事項
  6. データカタログ検出

マッピング

マッピング

SQL ELTモードのマッピング

SQL ELTモードのマッピング

ターゲットがクラウドデータウェアハウスで、ソースが同じクラウドエコシステムまたは互換性のあるハイパースケーラーに存在し、すべてのデータ処理がベースとなるクラウドインフラストラクチャ内で行われるようにする場合は、SQL ELTモードでマッピングを作成します。例えば、Azure Data Lake Storageデータレイク内のデータをSnowflakeクラウドデータウェアハウスに移動する必要があり、すべてのデータ処理をSnowflakeエコシステム内で行う必要がある場合などが挙げられます。
SQL ELTモードのマッピングを実行すると、トランスフォーメーションロジックは、基盤となるクラウドインフラストラクチャで実行されるエコシステム固有のコマンドおよびSQL文に変換されます。データを変換するためにクラウドインフラストラクチャから移動しなくてすむため、全体的な処理速度が向上します。
SQL ELTモードのマッピングは、クラウドデータウェアハウスからデータを読み取り、同じクラウドデータウェアハウスに書き込むことができます。また、クラウドエコシステム内のデータレイクからデータを読み取り、同じエコシステム内のクラウドデータウェアハウスに書き込むこともできます。
SQL ELTモードのマッピングでは、次のターゲットにデータをロードし、ターゲットタイプに基づいて次のソースからデータを抽出することができます。
ターゲット
サポートされるソース
Amazon Redshift
  • Amazon Redshift
  • Amazon S3
Databricks
  • Databricks
  • Amazon S3
  • Microsoft Azure Data Lake Storage Gen2
Google BigQuery
  • Google BigQuery
  • Amazon S3
  • Google Cloud Storage
Microsoft Fabricデータウェアハウス
  • Microsoft Fabricデータウェアハウス
  • Microsoft Fabricレイクハウス
  • Microsoft Azure Data Lake Storage Gen2
Snowflake Data Cloud
  • Snowflake Data Cloud
  • Amazon S3
  • Microsoft Azure Data Lake Storage Gen2
SQL ELTモードのマッピングを作成するには、マッピングを作成し、マッピングタイプとして
[マッピング - SQL ELT]
を選択します。次に、ターゲット接続を選択するように求めるメッセージが表示されます。組織に接続がない場合は、接続を作成するように求めるメッセージが表示されます。
ターゲット接続を選択すると、Mapping Designerが開きます。
次の図は、SQL ELTモードのマッピングのMapping Designerを示しています。
Mapping Designerの上部に「SQL ELTモード」ラベルが表示され、その後にクラウドエコシステムを表すアイコンが表示されます。トランスフォーメーションパレットが左側に表示され、右側に[パラメータ]パネルと[検証]パネルが開きます。マッピングキャンバスには、ソース、フィルタトランスフォーメーション、およびターゲットを含むマッピングが表示されます。マッピングプロパティには、マッピングの名前、場所、および説明が表示されます。マッピングプロパティの下部には、クラウドプロバイダとターゲット接続も表示されます。
マッピングは、選択したターゲット接続で自動的に設定されます。ソース、ターゲット、およびトランスフォーメーションをマッピングに追加できます。トランスフォーメーションパレットで使用できるトランスフォーメーションは、ターゲットのクラウドデータウェアハウスで処理できるトランスフォーメーションです。例えば、SnowflakeはSQLトランスフォーメーションでロジックを処理できないため、SQL ELTモードのマッピングのトランスフォーメーションパレットにはSQLトランスフォーメーションは含まれていません。
SQL ELTモードのマッピングを実行するには、マッピングタスクを作成します。