はじめに
Informatica Data Engineering Integrationについて
- Informatica Data Engineering Integrationの概要
  - 例
- Data Engineering Integrationのコンポーネントアーキテクチャ
- Data Engineering Integrationのエンジン
- Data Engineeringプロセス
- データウェアハウス最適化のマッピングの例
マッピング
- マッピングの概要
- マッピングランタイムプロパティ
- JDBCソースへのPreSQLクエリとPostSQLクエリ
- Hadoop環境でのSqoopマッピング
- マッピング出力のバインディング
- 非ネイティブ環境のマッピングのルールとガイドライン
- 非ネイティブ環境でマッピングを実行するワークフロー
- 非ネイティブ環境で実行するマッピングの設定
  - Dataprocで実行するマッピングの設定
- 監査
- マッピング実行プラン
- 非ネイティブ環境でのマッピングのトラブルシューティング
- ネイティブ環境でのマッピング
マッピングの最適化
- マッピングの最適化
- マッピングの推奨事項と分析
- 一時ステージングテーブルでのデータ圧縮の有効化
  - 手順1.Hadoop接続でのデータ圧縮の有効化
  - 手順2.Hadoop環境でのデータ圧縮の有効化
- Hiveターゲットでのパーティションの切り詰め
- Hive Warehouse ConnectorおよびHive LLAP
  - Hive WarehouseコネクタとHive LLAPの有効化
- スケジュール、キュー、およびノードのラベル適用
- Data Engineering Recovery
- Sqoopパススルーマッピング向けのSparkエンジン最適化
ソース
- ソースの概要
- PowerExchangeアダプタソース
- Databricksのソース
- Hadoopのファイルソース
- Hadoopのリレーショナルソース
- HiveソースHadoop上
  - PreSQLコマンドおよびPostSQLコマンド
  - Blazeエンジン上のHiveソースのルールとガイドライン
- HadoopのSqoopソース
ターゲット
- ターゲットの概要
- PowerExchangeアダプタターゲット
- Databricksのターゲット
- Hadoopでのファイルターゲット
- Hadoopでのメッセージターゲット
- Hadoopのリレーショナルターゲット
- HadoopのHiveターゲット
- HadoopのSqoopターゲット
  - Sqoopターゲットのルールとガイドライン
トランスフォーメーション
- トランスフォーメーションの概要
- 非ネイティブ環境でのアドレスバリデータトランスフォーメーション
  - Blazeエンジンでのアドレスバリデータトランスフォーメーション
  - Sparkエンジンでのアドレスバリデータトランスフォーメーション
    - アドレスバリデータトランスフォーメーションストリーミングマッピングでの
  - アドレスバリデータトランスフォーメーション（Databricks Sparkエンジン）
- 非ネイティブ環境でのアグリゲータトランスフォーメーション
  - Blazeエンジンでのアグリゲータトランスフォーメーション
  - Sparkエンジンでのアグリゲータトランスフォーメーション
    - ストリーミングマッピングでのアグリゲータトランスフォーメーション
  - Databricks Sparkエンジンでのアグリゲータトランスフォーメーション
- 非ネイティブ環境での大文字小文字変換トランスフォーメーション
- 非ネイティブ環境での分類子トランスフォーメーション
- 非ネイティブ環境での比較トランスフォーメーション
- 非ネイティブ環境での統合トランスフォーメーション
  - Blazeエンジンでの統合トランスフォーメーション
  - Sparkエンジンでの統合トランスフォーメーション
  - Databricks Sparkエンジンでの統合トランスフォーメーション
- 非ネイティブ環境でのデータマスキングトランスフォーメーション
  - Blazeエンジンでのデータマスキングトランスフォーメーション
  - Sparkエンジンでのデータマスキングトランスフォーメーション
    - データマスキングトランスフォーメーションストリーミングマッピングでの
- 非ネイティブ環境でのデータプロセッサトランスフォーメーション
- 非ネイティブ環境でのディシジョントランスフォーメーション
  - Sparkエンジンでのディシジョントランスフォーメーション
  - Databricks Sparkエンジンでのディシジョントランスフォーメーション
- 非ネイティブ環境での式トランスフォーメーション
  - Blazeエンジンでの式トランスフォーメーション
  - Sparkエンジンでの式トランスフォーメーション
    - ストリーミングマッピングでの式トランスフォーメーション
  - Databricks Sparkエンジンでの式トランスフォーメーション
- 非ネイティブ環境でのフィルタトランスフォーメーション
  - Blazeエンジンでのフィルタトランスフォーメーション
- 階層型からリレーショナルへのトランスフォーメーション（非ネイティブ環境）
- 非ネイティブ環境でのJavaトランスフォーメーション
  - BlazeエンジンでのJavaトランスフォーメーション
  - SparkエンジンでのJavaトランスフォーメーション
    - ストリーミングマッピングでのJavaトランスフォーメーション
- 非ネイティブ環境でのジョイナトランスフォーメーション
  - Blazeエンジンでのジョイナトランスフォーメーション
  - Sparkエンジンでのジョイナトランスフォーメーション
    - ストリーミングマッピングでのジョイナトランスフォーメーション
  - Databricks Sparkエンジンでのジョイナトランスフォーメーション
- 非ネイティブ環境でのキージェネレータトランスフォーメーション
  - Blazeエンジンでのキージェネレータトランスフォーメーション
  - Sparkエンジンでのキージェネレータトランスフォーメーション
  - Databricks Sparkエンジンでのキージェネレータトランスフォーメーション
- 非ネイティブ環境でのラベラトランスフォーメーション
- 非ネイティブ環境でのルックアップトランスフォーメーション
  - Lookup Transformation on the Blaze Engine
  - Lookup Transformation on the Spark Engine
    - ストリーミングマッピングでのルックアップトランスフォーメーション
  - Lookup Transformation on the Databricks Spark Engine
- 非ネイティブ環境でのマクロトランスフォーメーション
- 非ネイティブ環境での一致トランスフォーメーション
  - Blazeエンジンでの一致トランスフォーメーション
  - Sparkエンジンでの一致トランスフォーメーション
  - Databricks Sparkエンジンでの一致トランスフォーメーション
- 非ネイティブ環境でのマージトランスフォーメーション
- 非ネイティブ環境でのノーマライザトランスフォーメーション
- 非ネイティブ環境でのパーサートランスフォーメーション
- 非ネイティブ環境でのランクトランスフォーメーション
  - Blazeエンジンでのランクトランスフォーメーション
  - Sparkエンジンでのランクトランスフォーメーション
    - ストリーミングマッピングでのランクトランスフォーメーション
  - Databricks Sparkエンジンでのランクトランスフォーメーション
- リレーショナルから階層型へのトランスフォーメーション（非ネイティブ環境）
- 非ネイティブ環境でのルータートランスフォーメーション
- 非ネイティブ環境でのルール仕様トランスフォーメーション
- シーケンスジェネレータトランスフォーメーション非ネイティブ環境で
  - Blazeエンジンでのシーケンスジェネレータトランスフォーメーション
  - Sparkエンジンでのシーケンスジェネレータトランスフォーメーション
  - シーケンスジェネレータトランスフォーメーションDatabricks Sparkエンジン
- 非ネイティブ環境でのソータートランスフォーメーション
  - Blazeエンジンでのソータートランスフォーメーション
  - Sparkエンジンでのソータートランスフォーメーション
    - ストリーミングマッピングでのソータトランスフォーメーション
  - Databricks Sparkエンジンでのソータートランスフォーメーション
- 非ネイティブ環境での標準化トランスフォーメーション
- 非ネイティブ環境での共有体トランスフォーメーション
  - ストリーミングマッピングでの共有体トランスフォーメーション
- 非ネイティブ環境でのアップデートストラテジトランスフォーメーション
  - Blazeエンジンでのアップデートストラテジトランスフォーメーション
  - Sparkエンジンでのアップデートストラテジトランスフォーメーション
  - Databricks Sparkエンジンでのアップデートストラテジトランスフォーメーション
- 非ネイティブ環境での加重平均トランスフォーメーション
Pythonトランスフォーメーション
- Pythonトランスフォーメーションの概要
- Pythonトランスフォーメーションのポート
- Pythonトランスフォーメーションの詳細プロパティ
- Pythonトランスフォーメーションのコンポーネント
  - リソースファイル
  - Pythonコード
- Pythonトランスフォーメーションのルールおよびガイドライン
  - ストリーミングマッピングでのPythonトランスフォーメーション
- Pythonトランスフォーメーションの作成
  - 再利用可能なPythonトランスフォーメーションの作成
  - 再利用不可能なPythonトランスフォーメーションの作成
- 例: IDカラムの非パーティション化データへの追加
- 例: 最も高い給与を検索するパーティションの使用
- ユースケース: トレーニング済みモデルを操作可能にする
データプレビュー
- データプレビューの概要
  - データプレビューをサポートする接続およびクラスタディストリビューション
- データプレビュープロセス
- データのプレビュー
- 階層データのデータプレビューインタフェース
- データプレビュートランスフォーメーションでの
- データプレビューログ
- Sparkエンジンでのデータプレビューに関するルールとガイドライン
クラスタワークフロー
- クラスタワークフローの概要
  - クラスタワークフロープラットフォームのサポート
- クラスタワークフローのコンポーネント
- クラスタワークフロープロセス
- ワークフローとクラスタの作成タスクの作成
- クラスタ作成用のパラメータを設定できる場所
  - Developerツールを使用したクラスタの作成プロパティの設定
  - JSONファイルを使用したクラスタの作成プロパティの設定
    - JSONファイルの作成
    - JSONファイルの有効化
- マッピングタスクの追加
- クラスタの削除タスクの追加
- ワークフローのデプロイと実行
  - Azure HDInsightクラスタワークフロージョブの監視
- ウォームプールを使用したDatabricksクラスタの設定
- クラスタの作成タスクのプロパティ
プロファイル
- プロファイルの概要
- ネイティブ環境
- Hadoop環境
  - Sqoopデータソースのカラムプロファイル
- サンプリングオプション
- Informatica Developerでの単一のデータオブジェクトプロファイルの作成
- Informatica Developerでのエンタープライズ検出プロファイルの作成
- Informatica Analystでのカラムプロファイルの作成
- Informatica Analystでのエンタープライズ検出プロファイルの作成
- Informatica Analystでのスコアカードの作成
- プロファイルの監視
- プロファイリング機能のサポート
- トラブルシューティング
監視
- 監視の概要
- Hadoop環境のログ
- Blazeエンジンの監視
- Sparkエンジン監視
階層データ処理
- 階層データ処理の概要
- マッピングの開発方法階層データの処理
- 復号データ型
- 複合ポート
- 複合データ型定義
- 型設定
- 複合演算子
  - 添字演算子を使用した配列要素の抽出
  - ドット演算子を使用した構造要素の抽出
- 複合関数
- Sparkエンジンでの階層データの処理に関するルールとガイドライン
- 階層データのミッドストリーム解析
階層データ処理設定
- 階層データの変換
- リレーショナルデータまたは階層データの構造データへの変換
  - 構造ポートの作成
- リレーショナルデータまたは階層データのネストされた構造データへの変換
  - ネストされた複合ポートの作成
- 階層データからの要素の抽出
  - 複合ポートからの要素の抽出
- 階層データのフラット化
  - 複合ポートのフラット化
スキーマが変更された階層データの処理
- スキーマが変更された階層データの処理の概要
- 階層データのスキーマの変更を処理する動的マッピングの開発方法
- スキーマが変更された階層データのフラット化
  - 動的構造体のフラット化
- 動的複合ポート
  - 動的ポートと動的複合ポート
  - トランスフォーメーション内の動的複合ポート
- 動的複合ポートの入力ルール
- 動的複合ポートのポートセレクタ
- 動的式
  - 例 - 動的構造を構築する動的式
- 複合演算子
- 複合関数
- 動的複合ポートのルールおよびガイドライン
- 最適化されたマッピング
インテリジェント構造モデル
- インテリジェント構造モデルの概要
- インテリジェント構造検出プロセス
- ユースケース
- マッピングでのインテリジェント構造モデルの使用
- インテリジェント構造モデルのルールとガイドライン
- インテリジェント構造モデルを使用してマッピングを作成する方法
  - マッピングの例
- Cloud Data Integrationでのインテリジェント構造モデルの作成
ブロックチェーン
- ブロックチェーンの概要
  - ブロックチェーンのプロセス
- ブロックチェーンデータオブジェクト
- ブロックチェーンデータオブジェクト操作
- ユースケース: ブロックチェーンソースを使用した車両ライフサイクルのサービス向上
  - マッピングの概要
ステートフルコンピューティング
- ステートフルコンピューティングの概要
- ウィンドウ化構成
- ウィンドウ関数
- ウィンドウ化例
付録 A: 接続リファレンス
- 接続の概要
- クラウドプロビジョニング設定
  - AWSクラウドプロビジョニング設定のプロパティ
  - Azureクラウドプロビジョニング設定のプロパティ
  - Databricksクラウドプロビジョニング設定のプロパティ
- Amazon Redshift接続のプロパティ
- Amazon S3接続のプロパティ
- ブロックチェーン接続プロパティ
- Cassandra接続のプロパティ
- Confluent Kafka接続
  - 全般プロパティ
  - Confluent Kafka Brokerのプロパティ
  - SSLプロパティ
  - infacmdを使用したConfluent Kafka接続の作成
- Databricks接続プロパティ
- Google Analytics接続のプロパティ
- Google BigQuery接続のプロパティ
- Google Cloud Spanner接続のプロパティ
- Google Cloud Storage接続のプロパティ
- Google PubSub接続のプロパティ
- Hadoop接続プロパティ
  - Hadoopクラスタプロパティ
  - 共通プロパティ
  - 拒否ディレクトリのプロパティ
  - Blaze設定
  - Spark設定
- HDFSまたはView File System（ViewFS）接続プロパティ
- HBase接続プロパティ
- MapR-DBのHBase接続のプロパティ
- Hive接続のプロパティ
- JDBC接続のプロパティ
  - JDBC接続文字列
  - Sqoopの接続レベルの引数
  - Delta LakeのJDBC接続プロパティ
- JDBC V2接続のプロパティ
- Kafka接続のプロパティ
  - 全般プロパティ
  - Kafka Brokerのプロパティ
  - SSLプロパティ
  - infacmdを使用したKafka接続の作成
- Kudu接続プロパティ
- Microsoft Azure Blobストレージ接続のプロパティ
- Microsoft Azure Cosmos DB SQL API接続のプロパティ
- Microsoft Azure Data Lake Storage Gen1接続のプロパティ
- Microsoft Azure Data Lake Storage Gen2接続のプロパティ
- Microsoft Azure SQL Data Warehouse接続プロパティ
- Snowflake接続プロパティ
- ソースまたはターゲットにアクセスするための接続の作成
- Hadoop接続の作成
- Hadoop接続プロパティの設定
  - クラスタ環境変数
  - クラスタのライブラリパス
  - 共通する詳細プロパティ
  - Blazeエンジン詳細プロパティ
  - Sparkの詳細プロパティ
付録 B: データ型リファレンス
- データ型リファレンスの概要
- 非ネイティブ環境でのトランスフォーメーションデータ型のサポート
- 複合ファイルデータ型とトランスフォーメーションデータ型
- フラットファイルとトランスフォーメーションデータ型
- Hiveのデータ型とトランスフォーメーションデータ型
  - Hiveの複合データ型
- Sqoopのデータ型
付録 C: 関数リファレンス
- 非ネイティブ環境での関数サポート
- 関数とデータ型の処理

ユーザーガイド

10.5.7

前へ次へ

Azureクラウドプロビジョニング設定のプロパティ

Azureクラウドプロビジョニング設定のプロパティでは、データ統合サービスがAzureクラウドプラットフォームのリソースに接続したり、リソースを作成したりできます。

認証の詳細

次の表に、設定する認証プロパティを示します。

プロパティ	説明
名前	クラウドプロビジョニング設定の名前。
ID	クラウドプロビジョニング設定のID。デフォルト：クラウドプロビジョニング設定名と同じ。
説明	オプション。クラウドプロビジョニング設定の説明。
サブスクリプションID	クラスタ作成プロセスで使用するAzureアカウントのID。
テナントID	Azure Active Directoryと関連付けられているGUID文字列。
クライアントID	サービスプリンシパルと関連付けられているアプリケーションIDと同じGUID文字列。サービスプリンシパルには、サブスクリプションIDプロパティで特定したサブスクリプションでリソースを作成できる権限を持つロールを割り当てる必要があります。
クライアントシークレット	クライアントIDに関連付けられているキーを提供するオクテット文字列。

ストレージアカウントの詳細

次のいずれかのストレージタイプへのアクセスを設定します。

Azure Data Lake Storage（ADLS）Azure documentationを参照してください。

Azureストレージアカウント。generalまたはblobストレージとも呼ばれます。Azure documentationを参照してください。

次の表に、HDInsightクラスタを使用してAzure Data Lake Storage（ADLS）を設定する際に必要な情報を示します。

プロパティ	説明
Azure Data Lakeストア名	アクセスするADLSストレージの名前。作成するADLSストレージとクラスタは同じ領域に格納する必要があります。
Data LakeサービスプリンシパルのクライアントID	ADLSストレージにプログラムでアクセスできるクレデンシャル。InformaticaドメインがADLSと通信できるようになり、HDInsightクラスタでコマンドとマッピングを実行します。サービスプリンシパルは、次の要件を満たすAzureユーザーです。 ADLSストレージで必要なディレクトリにアクセスできる権限。 ADLSストレージの証明書ベースの認証。 ADLSストレージのキーベースの認証。
Data Lakeサービスプリンシパルの証明書の内容	サービスプリンシパルで使用する公開証明書のBase64でエンコードされたテキスト。クラウドプロビジョニング設定を作成する場合は、このプロパティを空白のままにします。クラウドプロビジョニング設定を保存したら、InformaticaドメインがインストールされているVMにログインし、 infacmd ccps updateADLSCertificate を実行してこのプロパティを入力します。
Data Lakeサービスプリンシパルの証明書のパスワード	サービスプリンシパルのプライベートキー。このプライベートキーをサービスプリンシパル証明書と関連付ける必要があります。
Data Lakeサービスプリンシパルのクライアントシークレット	サービスプリンシパルに関連付けられているキーを提供するオクテット文字列。
Data LakeサービスプリンシパルのOAUTHトークンエンドポイント	OAUTHトークンベースの認証のエンドポイント。

次の表に、HDInsightクラスタを使用して、blobストレージとも呼ばれるAzure General Storageを設定する際に必要な情報を示します。

プロパティ	説明
Azureストレージアカウント名	アクセスするストレージアカウントの名前。Azure webコンソールのストレージアカウントノードから値を取得します。作成するストレージとクラスタは同じ領域に格納する必要があります。
Azureストレージアカウントキー	ストレージアカウントへのアクセスを認証するキー。Azure webコンソールから値を取得するには、ストレージアカウント、アクセスキーを選択します。コンソールにはアカウントキーが表示されます。

クラスタデプロイメントの詳細

以下の表に、設定するクラスタデプロイメントプロパティを示します。

プロパティ	説明
リソースグループ	クラスタを作成するリソースグループ。リソースグループは、Azureリソースの論理セットです。
仮想ネットワークのリソースグループ	オプション。仮想ネットワークが属するリソースグループ。リソースグループを指定しない場合、データ統合サービスは、仮想ネットワークがクラスタと同じリソースグループのメンバーであると仮定します。
仮想ネットワーク	クラスタを作成する仮想ネットワークまたはvnetの名前。［仮想ネットワークのリソースグループ］プロパティで指定したリソースグループに配置されているvnetを指定します。 vnetは、クラスタを作成する領域と同じ領域内に配置する必要があります。
サブネット名	クラスタを作成するサブネット。サブネットは、以前のプロパティで指定したvnetに含まれる必要があります。各vnetに1つ以上のサブネットを指定できます。Azure管理者は既存のサブネットを選択するか、クラスタ用に1個のサブネットを作成できます。

外部Hiveメタストアの詳細

このプロパティを指定すると、クラスタがクラスタの外部にあるHiveメタストアデータベースに接続できるようになります。

このダイアログボックスで既存の外部データベースを指定していない場合、クラスタは自身の独自データベースをクラスタで作成します。クラスタが終了すると、このデータベースは終了します。

MySQLまたはAmazon RDSのような外部リレーショナルデータベースをHiveメタストアデータベースとして使用できます。外部データベースは、作成するクラスタと同じクラウドプラットフォーム上に配置する必要があります。

以下の表に、設定するHiveメタストアデータベースのプロパティを示します。

プロパティ	説明
データベース名	Hiveメタストアデータベースの名前。
データベースサーバー名	データベースが格納されているサーバー。 Azure webコンソールのデータベースサーバー名には、サフィックス database.windows.net が共通して含まれます。例えば、 server123xyz.database.windows.net です。サフィックスが設定されていないデータベースサーバー名を指定できます。Informaticaはサフィックスを自動的に追加します。例えば、 server123xyz を指定できます。
データベースユーザー名	データベースへのアクセスに使用できるドメインのアカウントのユーザー名。
データベースパスワード	ユーザーアカウントのパスワードです。