Hi, I'm Ask INFA!
What would you like to know?
ASK INFAPreview
Please to access Ask INFA.

目次

Search

  1. はじめに
  2. データプロファイリング
  3. プロファイル
  4. プロファイル結果
  5. データプロファイリングタスクのパフォーマンスチューニング
  6. トラブルシューティング

データプロファイリング

データプロファイリング

データプロファイリングタスクのトラブルシューティング

データプロファイリング
タスクのトラブルシューティング

プロファイルの作成および実行

インサイトジョブが完了する前に[結果]タブを開くと、メニューの[インサイトの確認]オプションが無効になっているように見えます。この問題を解決するにはどうすればいいですか。
この問題を解決するには、ページを更新します。プロファイルのインサイトが生成されている場合、メニューの
[インサイトの確認]
オプションは有効の状態で表示されます。
プロファイルの作成時に、ODBC接続を選択してソースオブジェクトを検索した場合、ソースオブジェクトが存在していても検索結果に表示されません。この問題を解決するにはどうすればいいですか。
ODBCの検索では大文字と小文字が区別されます。ソースオブジェクトを検索するには、大文字と小文字を区別してソースオブジェクト名を正しく入力してください。
プロファイルの実行が失敗し、次のエラーメッセージが表示されます:
テナントの初期化中にエラーが発生しました - 5回試行しましたがテナントの作成に失敗しました。
この問題を解決するには、プロファイリングsvcノードを再起動し、プロファイルを再実行します。
プロファイル実行が失敗し、次のエラーメッセージがセッションログに表示されます: 「ID xxの実行者が終了コード137(SIGKILL、コンテナOOMの可能性あり)で終了しました。」この問題を解決するにはどうすればいいですか。
この問題を解決するには、次の手順を実行します。
  1. Secure Agentを実行するマシンの次の場所にあるcustom.propertiesファイルを開きます:
    /root/infaagent/apps/At_Scale_Server/<バージョン>/spark/
  2. 次のプロパティを追加します:
    spark.executor.memoryOverhead = 2048MB
  3. custom.propertiesファイルを保存します。
  4. データプロファイリング
    で、プロファイルを実行します。
プロファイルの実行が失敗し、セッションログに次のエラーメッセージが表示されます: 「ノードのリソースが少なくなっています: ephemeral-storage。コンテナspark-kubernetes-driverが、要求したxxを超えるxxxを使用していました。」この問題を解決するにはどうすればいいですか。
この問題を解決するには、データ処理中の一時ストレージ用にワーカーノードに接続する、EBSボリュームの最小サイズと最大サイズを増やします。
EBSボリュームの最小サイズと最大サイズを増やすには、Administratorで次の手順を実行します。
  1. 管理者
    で、
    [詳細クラスタ]
    ページを開きます。
  2. EBSボリュームサイズを変更する[詳細設定]を選択します。
  3. [編集]
    をクリックします。
  4. [プラットフォーム設定]
    領域の
    [EBSボリュームサイズ]
    フィールドで、
    [最小GB]
    フィールドと
    [最大GB]
    フィールドの値を
    200
    に増やします。
    デフォルトでは、ボリュームサイズの最小/最大値は100 GBです。
  5. [保存]
    をクリックします。
  6. Secure Agentを再起動します。
  7. データプロファイリング
    で、プロファイルを実行します。
ソースオブジェクトに73文字を超えるカラム名が含まれている場合、プロファイルの実行は内部エラーで失敗します。
この問題を解決するには、カラム名の長さを短くします。
2つの異なるデータベースで同じ名前のテーブルを作成すると、ODBC接続でDatabricksを使用してプロファイルを保存することができません。この問題を解決するにはどうすればいいですか。
この問題は、接続でスキーマ名を指定しない場合に発生します。この問題を解決するには、接続でスキーマ名を指定して、正しいデータベースを参照するようにします。
カラムに多数の行が含まれている場合、Microsoft Azure Synapse SQL接続のプロファイルジョブは失敗し、次のエラーメッセージが表示されます: 「エラー "[FATAL] 例外: com.microsoft.sqlserver.jdbc.SQLServerException: エラー 0x27 - あるディストリビューションから別のディストリビューションにデータを転送中にtempdb領域を割り当てることができませんでした。"」この問題を解決するにはどうすればいいですか。
この問題を解決するには、Microsoft Azure Synapse SQLインスタンスのData Warehouse Unit(DWU)を増やします。
プロファイル実行が「エラーjava.lang.RuntimeExceptionでプロファイルジョブが失敗しました: 指定したルールに出力ポートプライマリが存在しません」というエラーで失敗します。この問題を解決するにはどうすればいいですか。
このエラーは、以下の条件が当てはまる場合に表示されます。
  1. データプロファイリングでプロファイルを作成し、ルールR1を追加して保存し、プロファイルを実行する。
  2. Data Qualityで、ルール仕様R1のルール入力名またはルール出力名を変更して保存する。
  3. データプロファイリングで、プロファイルを実行する。
この問題を解決するには、プロファイルからルールR1を削除してプロファイルを保存します。ルールR1をプロファイルに再度追加して保存し、プロファイルを実行します。
プロファイル実行が「***ERROR: nsort_release_recs() returns -10」というエラーで失敗します。この問題を解決するにはどうすればいいですか。
この問題を解決するには、Secure Agentがインストールされているハードドライブのディスク容量ストレージを増やします。
Amazon S3ソースオブジェクトでプロファイルを実行すると、プロファイルの実行が次のエラーで失敗します。「Cloud DQプロファイル実行エラー: ファイル[..\..\..\common\reposit\trepcnx.cpp|file://[......commonreposittrepcnx.cpp/]]、行[293]に予期しない条件があります。」この問題を解決するにはどうすればいいですか。
この問題を解決するには、AdministratorでAmazon S3接続の有効なライセンスがあることを確認してください。
Salesforceソースオブジェクトに対してプロファイルを実行すると、プロファイル実行が失敗して「メモリ不足です」というエラーが表示されます。この問題を解決するにはどうすればいいですか。
この問題を解決するには、Javaヒープサイズの
-Xmx
値を現在の値の2倍に増やします。
Javaヒープサイズを増やすには、Administratorで次の手順を実行します。
  1. 管理者
    で、
    [ランタイム環境]
    ページを開きます。
  2. Javaヒープサイズを変更するSecure Agentを選択します。
  3. [編集]
    をクリックします。
  4. [システム構成の詳細]
    領域で
    [データ統合サーバー]
    サービスを選択し、
    [DTM]
    タイプを選択します。
  5. INFA_MEMORY
    プロパティの行の
    [編集]
    をクリックします。
  6. Xmx
    の値を現在の値の2倍に増やします。
    例えば、
    INFA_MEMORY
    プロパティの現在の値が
    -Xms256m -Xmx512m
    の場合は、
    -Xms256m -Xmx1024m
    に変更します。
  7. [保存]
    をクリックします。
  8. Secure Agentを再起動します。
  9. データプロファイリング
    で、プロファイルを実行します。
プロファイルの実行が「メモリ不足」エラーで失敗します。この問題を解決するにはどうすればいいですか。
この問題を解決するには、Javaヒープサイズの
-Xmx
値を現在の値の2倍に増やします。
Javaヒープサイズを増やすには、Administratorで次の手順を実行します。
  1. 管理者
    で、
    [ランタイム環境]
    ページを開きます。
  2. Javaヒープサイズを変更するSecure Agentを選択します。
  3. [編集]
    をクリックします。
  4. [システム構成の詳細]
    領域で
    [データ統合サーバー]
    サービスを選択し、
    [DTM]
    タイプを選択します。
  5. INFA_MEMORY
    プロパティの行の
    [編集]
    をクリックします。
  6. Xmx
    の値を現在の値の2倍に増やします。
    例えば、
    INFA_MEMORY
    プロパティの現在の値が
    -Xms256m -Xmx512m
    の場合は、
    -Xms256m -Xmx1024m
    に変更します。
  7. [保存]
    をクリックします。
  8. Secure Agentを再起動します。
  9. データプロファイリング
    で、プロファイルを実行します。
Google Big Queryソースオブジェクトでプロファイルを実行すると、プロファイルの実行が失敗し、「GCオーバーヘッド制限を超過しました」というエラーが表示されます。この問題を解決するにはどうすればいいですか。
この問題を解決するには、DTMタイプのJVMオプションでJavaヒープサイズを増やします。Javaヒープサイズを増やすには、Administratorで次の手順を実行します。
  1. 管理者
    で、
    [ランタイム環境]
    ページを開きます。
  2. Javaヒープサイズを変更するSecure Agentを選択します。
  3. [編集]
    をクリックします。
  4. [システム構成の詳細]
    領域で
    [データ統合サーバー]
    サービスを選択し、
    [DTM]
    タイプを選択します。
  5. INFA_MEMORY
    プロパティの行の
    [編集]
    をクリックします。
  6. 使用可能なJVMOptionフィールドを最小(
    [-Xms1024m]
    )および最大(
    [-Xmx4096m]
    )のJavaヒープサイズに設定します。例えば、JVMOption3を
    [-Xms1024m]
    に、JVMOption4を
    [-Xmx4096m]
    に設定します。
  7. [保存]
    をクリックします。
  8. Secure Agentを再起動します。
  9. データプロファイリング
    で、プロファイルを実行します。
Snowflake Data Cloudソースオブジェクトでプロファイルを実行すると、プロファイルジョブが実行されて警告が表示されるか、失敗します。
この問題を解決するには、JVMオプションでJavaヒープサイズを増やす必要があります。Javaヒープサイズを増やすには、Administratorで次の手順を実行します。
  1. 管理者
    で、
    [ランタイム環境]
    ページを開きます。
  2. Javaヒープサイズを変更するSecure Agentを選択します。
  3. [編集]
    をクリックします。
  4. [システム構成の詳細]
    領域で
    [データ統合サーバー]
    サービスを選択し、
    [DTM]
    タイプを選択します。
  5. 使用可能なJVMオプションフィールドを最大Javaヒープサイズ値に設定します。
    • ソースオブジェクトに大量のデータがあるためにプロファイルジョブが実行されて警告が表示される場合は、必要に応じて、使用可能なJVMオプションフィールドを最大Javaヒープサイズに設定します。たとえば、JVMオプションフィールドを最大(
      -Xmx2048m
      )に設定します。
    • プロファイルジョブが失敗した場合は、使用可能なJVMオプションフィールドを最大(
      -Xmx2048m
      )Javaヒープサイズに設定します。
    詳細については、次のKnowledge Baseの記事を参照してください。
  6. [保存]
    をクリックします。
  7. データ統合サーバー
    サービスが再起動するまで待ちます。
  8. データプロファイリング
    で、プロファイルを実行します。
プロファイルの実行時に、データプロファイリングによって変換エラーのある行が拒否されます。この問題を解決するにはどうすればいいですか。
この問題は、カラムのメタデータを編集して、以前のデータ型の値の一部を持つ行を含んだカラムのデータ型を変更した場合に発生します。例えば、データソースに文字列と整数の値を持つ列が含まれており、カラムのデータ型を整数に変更したとします。
この問題を解決するには、
[停止するエラー数]
オプションを設定し、誤ったデータ型を含む行数を入力してから、プロファイルを実行します。
AvroおよびParquetファイル形式タイプでプロファイルを実行するにはどうすればよいですか。
AvroまたはParquetファイル形式タイプでプロファイルを実行するには、AmazonまたはAzureクラスタのそれぞれのセキュアエージェントとのAmazon S3 V2接続またはAzure Data Lake Store接続を設定する必要があります。
AvroまたはParquetのファイル形式タイプでプロファイルを実行すると、プロファイル実行が失敗し、次のエラーメッセージが表示されます:
[カラム]タブのエラー:[ファイルまたはパーティションディレクトリ[]が無効です。パーサーによるコンテンツの解析中に次のエラーが発生しました:[サポートされるHadoopディストリビューションは1つのみです]。有効な[Parquet]ファイルまたはパーティションディレクトリを選択してください。]
。この問題を解決するにはどうすればいいですか。
Informatica HadoopディストリビューションスクリプトとInformatica Hadoopディストリビューションプロパティファイルを含むCloudera 6.1パッケージは、Secure Agentインストールの一部です。Hadoopディストリビューションスクリプトを実行するときは、使用するディストリビューションを指定する必要があります。上記の問題を解決するには、次の手順を実行する必要があります。
  1. Informatica Hadoopディストリビューションスクリプトが配置されている次のSecure Agentのインストールディレクトリに移動します。
    <Secure Agentのインストールディレクトリ>/downloads/package-Cloudera_6_1/package/Scripts
  2. Secure Agentのインストールディレクトリ以外の場所に
    Scripts
    フォルダをコピーします。
  3. ターミナルから、
    /infadistro.sh
    コマンドを
    Scripts
    フォルダから実行し、プロンプトの指示に従います。
  4. 管理者
    で、
    [ランタイム環境]
    ページを開きます。
  5. DTMプロパティを設定するSecure Agentを選択し、
    [編集]
    をクリックします。
  6. [カスタム構成]
    セクションで次のDTMプロパティを追加します。
    • サービス: データ統合サービス
    • タイプ: DTM
    • 名前: INFA_HADOOP_DISTRO_NAME
    • 値: <distribution_version>
      ディストリビューションバージョンの値は、CDH_6.1として指定できます。
  7. Secure Agentを再起動して、変更を反映します。
  8. データプロファイリング
    で、プロファイルを実行します。
上記の手順の詳細については、データ統合コネクタのヘルプの「
ディストリビューション固有のHiveライブラリをダウンロードするためのHiveコネクタの設定
」を参照してください。
プロファイルの実行がエラー「Amazon S3バケット
<xyz>
が存在しないか、ユーザーにバケットにアクセスする権限がありません」で失敗した場合、同じランタイム環境のAmazon S3テスト接続も失敗します。
この問題を解決するには、次のKnowledge Baseの記事に記載されている手順を実行します。
Snowflake ODBC接続を使用してプロファイルを作成すると、ソースカラムがデータプロファイリングに読み込まれず、次のエラーメッセージが表示されます。
{"@type":"error","code":"APP_13400","description":"com.informatica.saas.rest.client.spring.RestTemplateExtended$SpringIOException: HTTP POST request failed due to IO error: Read timed out; nested exception is org.springframework.web.client.ResourceAccessException: I/O error on POST request for \" [https://iics-qa-release-pod2-r36-r1-cdi102.infacloudops.net:47813/rest/MetadataRead/getTableMetadata\|https://iics-qa-release-pod2-r36-r1-cdi102.infacloudops.net:47813/rest/MetadataRead/getTableMetadata/] ": Read timed out; nested exception is java.net.SocketTimeoutException: Read timed out","statusCode":403}
この問題を解決するには、$ODBCHOMEディレクトリにあるodbc.iniファイルにCLIENT_METADATA_REQUEST_USE_CONNECTION_CTX=trueプロパティを追加する必要があります。
行数が1,000万以上など、膨大なサイズのSnowflakeプロファイルが、「ターゲットサーバーが応答できませんでした」というエラーで失敗します。この問題を解決するにはどうすればいいですか。
この問題を解決するには、次の手順を実行します。
  1. 任意の場所にあるSecure Agentサーバーに、logging.propertiesという名前のファイルを作成し、次の行を追加してファイルを保存します。
    java.util.logging.ConsoleHandler.level=WARNING
  2. 管理者
    で、
    [ランタイム環境]
    ページを開きます。
  3. Secure Agentを選択し、
    [編集]
    をクリックします。
  4. [システム構成の詳細]
    領域で
    [データ統合サーバー]
    サービスを選択し、
    [DTM]
    タイプを選択します。
  5. [エージェント設定の編集]
    をクリックし、空のJVMOptionプロパティに対して次の値を追加します:
    -Xmx6144m
    Javaヒープサイズの
    -Xmx
    値がすでに設定されている場合、既存のJVMOptionプロパティの値を
    -Xmx6144m
    に編集します。
  6. [エージェント設定の編集]
    をクリックし、空のJVMOptionプロパティに対して次の値を追加します:
    -Dnet.snowflake.jdbc.loggerImpl=net.snowflake.client.log.JDK14Logger
  7. [エージェント設定の編集]
    をクリックし、空のJVMOptionプロパティに対して次の値を追加します:
    -Djava.util.logging.config.file=<手順1で作成したファイルの絶対パスとファイル名>
  8. [保存]
    をクリックします。
  9. Secure Agentを再起動します。
  10. データプロファイリング
    で、プロファイルを実行します。
SnowflakeまたはAzure Synapse SQL接続のプロファイルの実行が失敗し、「
com.informatica.profiling.jpa.model.ProfileableDataSourceColumn; ネストされた例外はorg.hibernate.HibernateExceptionです: 指定された識別子を持つ複数の行が見つかりました
」というエラーメッセージが表示されます。この問題を解決するにはどうすればいいですか。
この問題は、以下の条件が当てはまる場合に発生します。
  • SnowflakeまたはAzure Synapse SQLサブタイプのODBC接続構成中にスキーマを指定していない。
  • 異なるスキーマの接続内に、同じ名前とカラムを持つ複数のテーブルが存在する。
この問題を解決するには、接続プロパティにスキーマを追加して、重複するソースオブジェクトを削除する必要があります。
いくつかのプロファイルの実行が、次のサービス例外で失敗します:
com.informatica.cloud.errorutil.MicroServiceException: Error parsing results file.com.opencsv.exceptions.CsvMalformedLineException: Unterminated quoted field at end of CSV line
and
java.sql.SQLException: Parameter index out of range (7 > number of parameters, which is 6)..
問題を解決するにはどうすればいいですか。
この問題を解決するには、Secure Agentの
[カスタム構成]
セクションに、「ADD_ESCAPE_CHAR_TO_TARGET=true」というフラグを設定する必要があります。
次の図は、サンプルの設定の詳細を示しています。
JSONソースオブジェクトでプロファイルを実行すると、プロファイルの実行が失敗し、次のエラーメッセージが表示されます。
<WorkflowExecutorThread40> SEVERE: The Integration Service failed to execute the mapping.java.lang.RuntimeException: java.lang.RuntimeException: [SPARK_1003] Spark task [InfaSpark0] failed with the following error: [Container [spark-kubernetes-driver] failed with reason [Error] and message [ehaus.janino.CodeContext.flowAnalysis(CodeContext.java:600) ++ at org.codehaus.janino.CodeContext.flowAnalysis(CodeContext.java:600)
この問題を解決するにはどうすればいいですか。
この問題を解決するには、次の手順を実行します。
  1. Secure Agentと、Secure Agentに関連付けられているクラスタを停止します。
  2. 次のSecure Agentのcustom.propertiesファイルのディレクトリに移動します:
    <AgentHome>/apps/At_Scale_Server/<latestversion>/spark
  3. 次の値を入力します。
    • spark.driver.extraJavaOptions=-Djava.security.egd=file:/dev/./urandom
    • -XX:MaxMetaspaceSize=256M -XX:+UseG1GC -XX:MaxGCPauseMillis=500 -Xss75m
    • spark.executor.extraJavaOptions=-Djava.security.egd=file:/dev/./urandom
    • -XX:MaxMetaspaceSize=256M -XX:+UseG1GC -XX:MaxGCPauseMillis=500 -Xss75m
    • spark.driver.memory=10G
    • spark.executor.memory=12G
  4. Secure Agentを開始します。
  5. プロファイルを再実行します。
Javaトランスフォーメーションがあるマップレットを含むプロファイルを実行すると、プロファイルが失敗し、次のエラーメッセージが表示されます:
400 : "{"code":"0","description":"Compilation failed for Java Tx: Java: 500 : \"{\"error\":{\"code\":\"APP_60001\",\"message\":\"Exception occurred during compilation: {\\\"code\\\":\\\"TUNNEL_NOT_FOUND\\\",\\\"message\\\":\\\"No tunnels discovered for...
この問題を解決するにはどうすればいいですか。
Javaトランスフォーメーションを含むマップレットを作成する前に、次の手順を実行します。
  1. 管理者
    [ランタイム環境]
    ページに移動し、Secure AgentまたはSecure Agentグループの
    [アクション]
    メニューから
    [サービスの有効化または無効化、コネクタ]
    を選択します。
  2. [エージェントグループのコンポーネントの有効化/無効化]
    ウィンドウで、
    [データ統合 - エラスティック]
    を選択します。
  3. [保存]
    をクリックします。
問題が解決しない場合は、次の手順を実行します。
  1. データ統合
    で、Javaトランスフォーメーションを含むマップレットを開きます。
  2. [デザイン]
    ワークスペースでJavaトランスフォーメーションを選択します。
  3. マップレットをコンパイルして保存します。
いくつかの組織でテナントの初期化が断続的に失敗すると、プロファイルの実行が失敗し、次のエラーが発生します:
- java.lang.RuntimeException: java.security.InvalidKeyException: Invalid AES key length: 56 bytes.
この問題を解決するにはどうすればいいですか。
組織での最初のプロファイル実行が例外エラーメッセージで失敗した場合は、プロファイルを再実行できます。
ターゲット接続のランタイム環境が稼働していない場合、プロファイルのインポートジョブが内部エラーで失敗する。
稼働中のランタイム環境でターゲット接続の詳細を更新します。
データプロファイリング
をバージョン2023.08.Sから現在のバージョンにアップグレードすると、SAP ERPおよびSAP HANAソースオブジェクトからデータの読み取りを行うプロファイリングが失敗し、次のエラーメッセージが表示されます:
com.informatica.imf.io.impl.XMLDeserializerImpl$DeserializeHandler error SEVERE: cvc-complex-type.3.2.2: Attribute 'segregationCategory' is not allowed to appear in element 'adapter:ConnectionAttribute'.
この問題を解決するには、次の手順を実行します。
  1. Secure Agentのインストールディレクトリ
    <Secure Agentのインストールディレクトリ>/downloads/<SAPコネクタパッケージ>
    を開きます。
  2. 以前のSAPコネクタパッケージをダウンロードフォルダから手動で削除します。
  3. プロファイルを再実行します。
スコアカードで[ルールオカレンス]の[失敗した行のプレビュー]を開くと、次のエラーが発生します:
Profile job failed with error java.lang.NullPointerException
ソースマップレットの10進数ポートの精度とスケールを40,4から19,4に変更します。後続のトランスフォーメーションに変更が反映されていることを確認し、ドリルダウンジョブを実行します。
ソースマップレットの最大精度は38に指定することができます。

データ型とパターン

[データプレビュー]領域でブールデータ型のTrueまたはFalseが表示されるのはどのデータソースですか。
データプロファイリングでは、ブールデータ型を持つSalesforceカラムに対してTrueおよびFalseが表示されます。
データプロファイリングではGoogle BigQueryソースオブジェクトのすべてのデータ型がサポートされていますか。
データプロファイリングではGoogle BigQueryソースオブジェクトのほとんどのデータ型がサポートされています。以下の表に、データプロファイリングにおけるGoogle BigQueryデータ型に関する既知の問題の一覧を示します。
データ型
既知の問題
文字列
  • カラム精度が255を超える場合、データプロファイリングでプロファイルの実行前にカラム精度が255に切り詰められる。
  • [詳細]
    [データ型]
    セクションに表示されるNULL値の頻度が正しくない。
  • NULL値をドリルダウンすると、
    [データプレビュー]
    領域に空白値も表示される。
数値
カラム精度が28を超える場合、プロファイル実行が失敗して次のエラーが表示される。
[エラー]データ変換が失敗しました。
時刻、日時、またはタイムスタンプ
  • プロファイル結果にミリ秒が表示されない。
  • プロファイル結果に重複した値が含まれるため、値の頻度が正しくない。
地理
プロファイル実行が失敗して次のエラーが表示される。
[SDK_APP_COM_20000]
浮動小数点数
クエリのドリルダウンまたは作成時に、カラムに+inf、-inf、またはNaN値が含まれているとエラーが表示される。
INTERVALYEARTOMONTHデータ型とINTERVALDAYTOSECONDデータ型でパターンの不一致が生じるのはなぜですか。
この問題は、
データプロファイリング
でパターンの検出中にINTERVALYEARTOMONTHデータ型とINTERVALDAYTOSECONDデータ型が文字列として読み取られるために発生します。
バイナリ浮動小数点数データ型の小数点以下の桁数が余分に表示されます。小数点以下が2桁になるよう丸めるために何か対処する必要がありますか。
これは、
データプロファイリング
でバイナリ浮動小数点数データ型に対して認められている既知の動作です。対応する必要はありません。

プロファイル結果

ドリルダウンの結果に100行以上が含まれている場合、[データプレビュー]領域にすべての行が表示されず、セッションログに次のエラーメッセージが表示されます: 「トランスフォーメーション評価エラー [<<式の致命的エラー>> [ABORT]: ドリルダウンの上限に達しました... i:ABORT(u:'ドリルダウンの上限に達しました')]]」この問題を解決するにはどうすればいいですか。
ドリルダウンの結果に100行以上が含まれている場合、
データプロファイリング
はそれ以上のジョブの処理を停止し、
[データプレビュー]
領域に上位100件の結果を表示します。この問題を解決し、すべての行のドリルダウン結果を表示するには、
[データプレビュー]
領域の
[クエリオプション]
を使用します。
UTF-8文字を含むデータソースについて表示されるプロファイル結果が正しくありません。この問題を解決するにはどうすればいいですか。
データソースにUTF-8文字が含まれる場合は、Administratorで
OdbcDataDirectNonWapi
パラメータを
0
に設定します。
データプロファイリング
で、ソースオブジェクトのプロファイルを作成して実行します。
Administratorでこのプロパティを設定するには、
[ランタイム環境]
ページを開いて次の手順を実行します。
  1. Administratorで、
    [ランタイム環境]
    ページを開きます。
  2. このプロパティを設定するSecure Agentを選択します。
  3. [編集]
    をクリックします。
  4. [システム構成の詳細]
    領域で
    [データ統合サーバー]
    サービスを選択し、
    [DTM]
    タイプを選択します。
  5. OdbcDataDirectNonWapi
    プロパティの行の
    [編集]
    をクリックし、このプロパティを0に設定します。
  6. [保存]
    をクリックします。
数値カラムのドリルダウン結果が表示されない場合があるのはなぜですか。
この問題は、データ型が整数でカラム精度が28を超える場合に発生する可能性があります。
データプロファイリング
では、カラム精度が28を超える整数データ型のドリルダウン結果は表示されません。
平均、合計、標準偏差、および最も頻度の高い値を含む数値カラムと10進数カラムのカラム統計が正しくない場合があるのはなぜですか。
この問題は、数値カラムまたは10進数カラムのカラム精度が28を超える場合に発生する可能性があります。
データプロファイリング
では、数値カラムと10進数カラムに対して28を超えるカラム精度はサポートされていません。
Spring 2020 Julyにアップグレードした後に、既存のクエリ結果が表示されません。これはなぜですか。
この問題は、以前のクエリ結果の場所
$PMCacheDir\profiling\query
が無効になったために発生します。クエリ結果を表示するには、フラットファイル接続を選択した後でクエリを再実行します。
データプロファイリング
によって、フラットファイル接続用に指定したディレクトリ内のファイルにクエリ結果が保存されます。
Fall 2020 Octoberにアップグレードした後も、Secure Agentの場所のSpring 2020 Julyのドリルダウン結果を表示できます。ドリルダウンの結果をクリアするにはどうすればよいですか。
ドリルダウンの結果をクリアするには、Secure Agentのインストールディレクトリ
<Agent_installation_dir>/apps/Data_Integration_Server/data/temp/profiling/drilldown
を開き、次にSpring 2020 Julyのドリルダウン結果を手動で削除します。
エスケープ文字を含むカラムのプロファイル結果が正しくありません。この問題を解決するにはどうすればいいですか。
この問題を解決するには、Secure Agentの
[カスタム構成]
セクションに、「ADD_ESCAPE_CHAR_TO_TARGET=true」というフラグを設定する必要があります。
次の図は、サンプルの設定の詳細を示しています。
同じ名前のプロファイルが含まれるフォルダにプロファイルをインポートした後に、インポートしたプロファイルの接続とカラムの詳細をプロファイル結果ページで表示できません。この問題を解決するにはどうすればいいですか。
この問題は、プロジェクトP1からエクスポートし、それをプロジェクトP1にインポートし直した場合に発生します。この問題を解決するには、プロファイルを別のフォルダにインポートする必要があります。フォルダに同じ名前のプロファイルが含まれている場合でも、プロファイル結果が表示されます。
カスタムルールを使用してプロファイルを実行すると、データプロファイリングで想定される結果が取得されます。例えば、1000行をサンプリングすると、プロファイリング結果に998行の有効な行と2行の無効な行が表示されます。ただし、フィルタを適用した後にソースオブジェクトをドリルダウンすると、プロファイリング結果に998行の有効な行と無効な行に対する不正確な値が表示されます。これはどのように解決できますか。
これは想定された動作です。[最初のN行]サンプリングオプションを指定してプロファイルを実行して10行を取得すると、プロファイル結果ページには10行が表示されます。ただし、ソースオブジェクトをドリルダウンすると、
データプロファイリング
は100行を取得し、[最初のN行]サンプリングオプションは無視されます。

ルール

ルールとして検証用アセットが含まれる場合に、プロファイル実行が完了するまでに時間がかかるのはなぜですか。
この問題は、以下の条件が当てはまる場合に生じます。
  • 検証用アセットをルールとしてプロファイルに追加し、プロファイルを実行している。
  • Secure Agentが完全な国ライセンス用に設定されている。
  • Secure Agentの参照データディレクトリにアドレス参照データが含まれていない。
検証用アセットをルールとして追加してプロファイルを実行すると、初回にSecure Agentでアドレス参照データがダウンロードされるため、プロファイルの実行時間に影響する可能性があります。アドレス参照データは、指定した国の郵便アドレスの信頼できるデータです。

詳細設定

Administratorでキャッシュディレクトリ名を変更するにはどうすればいいですか。
Administratorでキャッシュディレクトリ名を編集するには、次の手順を実行します。
  1. 管理者
    で、
    [ランタイム環境]
    ページを開きます。
  2. キャッシュディレクトリ名を変更するSecure Agentを選択します。
  3. [編集]
    をクリックします。
  4. [システム構成の詳細]
    領域で
    [データ統合サーバー]
    サービスを選択し、
    [DTM]
    タイプを選択します。
  5. $PMCacheDir
    プロパティの行の
    [編集]
    をクリックします。
  6. プロパティでスペースを削除します。
    例えば、このプロパティが
    C:\Informatica Cloud Secure Agent\temp\cache
    の場合は、
    C:\InformaticaCloudSecureAgent\temp\cache
    に変更します。
  7. [保存]
    をクリックします。
  8. データプロファイリング
    で、プロファイルを実行します。
同じ名前のプロファイルがフォルダに存在する場合にプロファイルのインポートに失敗するのはなぜですか。
この問題は、
データプロファイリング
でインポート操作中のアセットの上書きがサポートされていないために発生します。この問題を解決するには、フォルダ内の既存のプロファイルの名前を変更してからプロファイルをインポートします。
プロファイルの実行を削除すると、「エラー: ID \u003d jaAqeGnQc6phwrbCWkBW8Dのドキュメントアーティファクトが見つかりませんでした」というエラーが表示されるのはなぜですか。また、このエラーはどのように解決すればよいですか。
この問題は、プロファイルに無効なFRS IDの関連付けがある場合に発生します。この問題を解決するには、エクスポートファイルがある場合にプロファイルアセットを再インポートします。または、インポートしたプロファイルアセットを別のフォルダまたはプロジェクトに移動またはコピーすることもできます。
プロファイルジョブの接続タイプ、ソースオブジェクト、および形式オプションを変更できますか。
はい。次のシナリオでは、プロファイルジョブの接続タイプ、ソースオブジェクト、および形式オプションを編集できます。
  • 接続タイプを同じ接続タイプに変更できます。
  • 別の接続のソースオブジェクトを使用するようにソースオブジェクトを変更することはできません。
フラットファイル接続のプロファイルのランタイム環境を選択できません。これはなぜですか?
データプロファイリング
では、フラットファイル接続のプロファイルのランタイム環境での変更はサポートされていません。プロファイルは、Administratorでフラットファイル接続用に設定されたデフォルトのランタイム環境で実行されます。
AvroおよびParquetファイル形式タイプのランタイム環境を設定またはオーバーライドするにはどうすればよいですか。
詳細設定に関連付けられているランタイム環境を選択する必要があります。
詳細クラスタ、および詳細クラスタでのAmazon S3 V2コネクタのInformatica暗号化に関する詳細情報はどこにありますか。
SAP S/4 HANAソースオブジェクトのインポート中に「ERROR: "OPTION_NOT_VALID: OPTION_NOT_VALID Message 000 of class SAIS type E」が表示されるのはなぜですか。この問題を解決するにはどうすればいいですか。
SAP S/4 HANAソースオブジェクトをインポートする前に、
SapStrictSql
カスタムプロパティを設定し、Secure AgentのSAPシステム言語に基づいて値を設定します。
詳細については、Knowledge Baseの記事を参照してください。
一部のSAPソースのプロファイル定義ページにカラムが表示されないのはなぜですか。この問題を解決するにはどうすればいいですか。
この問題は、ソースオブジェクトに、SAPで定義されていない精度のSSTRING、STRING、またはRAWSTRINGデータ型が含まれている場合に発生します。この問題を解決するには、SAPコネクタのヘルプの「SSTRING、STRING、およびRAWSTRINGデータ型のルールとガイドライン
」セクションに指定されている手順を実行します。
SAPテーブル接続エラーのトラブルシューティングに関する詳細情報はどこにありますか。
SAPテーブル接続エラーのトラブルシューティングの詳細については、SAPコネクタのヘルプの「SAPテーブル接続のエラー
」セクションを参照してください。
プロファイルの作成中に選択したパスがターゲット接続に存在せず、同じファイル名がターゲット接続に存在している場合、[プロファイル定義]ページにカラムが表示されません。これはどのように解決できますか。
次の手順を実行できます。
  1. ソース接続を更新して、
    cdqetestbucket-useast2/Finance
    などのフォルダパスを含めます。
  2. cdqetestbucket-useast2/Finance
    の場所にあるソースを使用してプロファイルを作成します。
  3. 同じソースオブジェクトを含むフォルダパス
    cdqetestbucket-uswest2/Finance2
    を使用して、プロファイルをターゲット接続にエクスポートおよびインポートします。
プロファイルを一括でインポートすると、インポートジョブが失敗します。これはどのように解決できますか。
次の手順を実行できます。
  1. ターゲットフォルダからすべてのプロファイルを削除します。
  2. 次のAPI呼び出しを使用して、すべてのプロファイルを削除します。
    • GET API呼び出し:
      https://na1-dqprofile.dm-us.informaticacloud.com/profiling-service/api/v1/profile/
    • DELETE API呼び出し:
      https://na1-dqprofile.dm-us.informaticacloud.com/profiling-service/api/v1/profile/a4181390
    詳細については、『
    クラウドデータプロファイリングREST APIの基本操作
    』ドキュメントを参照してください。
  3. ターゲットフォルダでプロファイルが削除されていることを確認します。次のGET API呼び出しを使用します:
    https://usw3-dqprofile.dm-ap.informaticacloud.com/profiling-service/api/v1/profile
    。応答にプロファイルが表示されていないことを確認します。
  4. プロファイルを再度インポートします。
    プロファイルにzipファイルからの空のオブジェクト参照があるかどうかを確認し、インポート中にプロファイルのチェックボックスをオフにします。
ルールオカレンスを使用してプロファイルを実行すると、スコアカードジョブが失敗し、次のエラーメッセージが表示されますが、プロファイル結果ページには結果が表示されます:
I/O error on POST request for "https://dqprofile-intproxy-usw1.infacloudops.net/profiling-service/internal/api/v1/ruleOccurrence/publishResults": Read timed out; nested exception is java.net.SocketTimeoutException: Read timed out
この問題を解決するには、200件以下のルールオカレンスをプロファイルに関連付け、プロファイルを再実行してください。
OR
それでもプロファイリングタスクが失敗する場合は、次の手順を実行します。
  1. プロファイルを再インポートします。
  2. 関連付けられているルールオカレンスを200件以下に減らします。
  3. プロファイルを再実行します。
最適なパフォーマンスと安全性を確保するには、プロファイルに関連付けるルールオカレンスの数を200以下にすることをお勧めします。
Databricksを使用しているプロファイルを実行すると、ジョブが失敗し、次のエラーメッセージが表示されます。
クエリの実行中にエラーが発生しました: org.apache.spark.SparkException: ステージの失敗によりジョブが強制終了されました: 14件のタスクのシリアル化された結果の合計サイズ(4.3 GiB)がspark.driver.maxResultSizeの4.0 GiBを超えています。
この問題を解決するには、クラスタ内の[データアクセス設定]セクションに移動し、
spark.driver.maxResultSize
値を8 GB以上に増やします。