目次

Search

  1. はじめに
  2. マッピング
  3. マッピングチュートリアル
  4. パラメータ
  5. CLAIREの推奨事項
  6. データカタログ検出
  7. Visioテンプレート

マッピング

マッピング

SQL ELTモードのマッピング

SQL ELTモードのマッピング

ソースとターゲットが同じクラウドエコシステム内にあり、すべてのマッピングロジックをクラウドエコシステムで処理する場合は、SQL ELTモードのマッピングを作成します。例えば、Azure Data Lake Storageデータレイク内のデータをSnowflakeクラウドデータウェアハウスに移動する必要があり、すべてのデータ処理をSnowflake内で行うようにしたいとします。
SQL ELTモードのマッピングを実行すると、トランスフォーメーションロジックは、基盤となるクラウドインフラストラクチャで実行されるエコシステム固有のコマンドおよびSQL文に変換されます。データを変換するためにクラウドインフラストラクチャから移動しなくてすむため、全体的な処理速度が向上します。
SQL ELTモードのマッピングは、クラウドデータウェアハウスからデータを読み取り、同じクラウドデータウェアハウスに書き込むことができます。また、クラウドエコシステム内のデータレイクからデータを読み取り、同じエコシステム内のクラウドデータウェアハウスに書き込むこともできます。
SQL ELTモードのマッピングでは、次のターゲットにデータをロードし、ターゲットタイプに基づいて次のソースからデータを抽出することができます。
ターゲット
サポートされるソース
Snowflake Data Cloud
  • Snowflake Data Cloud
  • Amazon S3
  • Microsoft Azure Data Lake Storage Gen2
Databricks
  • Databricks
  • Amazon S3
  • Microsoft Azure Data Lake Storage Gen2
Google BigQuery
  • Google BigQuery
  • Amazon S3
  • Google Cloud Storage
Amazon Redshift
  • Amazon Redshift
  • Amazon S3
SQL ELTモードのマッピングを作成するには、マッピングを作成し、マッピングタイプとして
[マッピング - SQL ELT]
を選択します。次に、ターゲット接続を選択するように求めるメッセージが表示されます。組織に接続がない場合は、接続を作成するように求めるメッセージが表示されます。
ターゲット接続を選択すると、Mapping Designerが開きます。
次の図は、SQL ELTモードのマッピングのMapping Designerを示しています。
Mapping Designerの上部に「SQL ELTモード」ラベルが表示され、その後にクラウドエコシステムを表すアイコンが表示されます。トランスフォーメーションパレットが左側に表示され、右側に[パラメータ]パネルと[検証]パネルが開きます。マッピングキャンバスには、ソース、フィルタトランスフォーメーション、およびターゲットを含むマッピングが表示されます。マッピングプロパティには、マッピングの名前、場所、および説明が表示されます。マッピングプロパティの下部には、クラウドプロバイダとターゲット接続も表示されます。
マッピングは、選択したターゲット接続で自動的に設定されます。ソース、ターゲット、およびトランスフォーメーションをマッピングに追加できます。トランスフォーメーションパレットで使用できるトランスフォーメーションは、ターゲットのクラウドデータウェアハウスで処理できるトランスフォーメーションです。例えば、SnowflakeはSQLトランスフォーメーションでロジックを処理できないため、SQL ELTモードのマッピングのトランスフォーメーションパレットにはSQLトランスフォーメーションは含まれていません。
SQL ELTモードのマッピングを実行するには、マッピングタスクを作成します。