データプロファイリング

前へ次へ

FAQ（よくある質問）

［カラムあたりの分割処理の最小行数］と［マッピングあたりの最大カラム数］のデフォルト値を使用するとパフォーマンスが低下することがあります。 データプロファイリング タスクのパフォーマンスを向上させるにはどうすればいいですか。: この問題は、行数が100,000,000未満でカラム数が50を超える大規模なデータソースで発生する可能性があります。この場合、
データプロファイリング
ではカラムベースの基準が選択され、50個のカラムにつき1つのサブタスクが作成されます。これにより、多くのメモリと処理能力が使用されます。; この問題を解決するには、［カラムあたりの分割処理の最小行数］
オプションの値を大きくし、［マッピングあたりの最大カラム数］
オプションの値を小さくします。; 例えば、データソースに10,000,000個の行と100個のカラムが含まれている場合、
データプロファイリング
タスクでは、デフォルトの設定を使用して2つのサブタスクが作成されます。これにより、多くのメモリが使用されて実行時間が長くなります。この場合、［カラムあたりの分割処理の最小行数］
のデフォルト値をそのまま使用し、［マッピングあたりの最大カラム数］
オプションを25に設定することができます。
データプロファイリング
で4つのサブタスクが作成され、パフォーマンスとリソース使用率が最適化されます。また、Secure Agentの並行処理をデフォルトの2から（n）に増やすこともできます（ここで、n = Secure Agentが実行されているマシンの整数（0.8*コア数））。
Secure Agentの並行処理を増やして データプロファイリング のパフォーマンスを最適化することはできますか。: はい、
データプロファイリング
タスクの詳細オプションに加えて、
データプロファイリング
のパフォーマンスに影響するSecure Agentの並行処理を設定できます。; 例えば、データソースに10,000,000個の行と100個のカラムが含まれており、Secure Agentが実行されているマシンに4つのコアがあるとします。; パフォーマンスを最適化するには、次の手順を実行します。
Administratorで、maxDTMProcesses
を値n
に設定します（ここで、n = Secure Agentが実行されているマシンの整数（0.8*コア数））。この場合、maxDTMProcesses
を3に設定します。
データプロファイリング
で、データソースのプロファイルを作成します。
［スケジュール］
ページで、［マッピングあたりの最大カラム数］
を15に設定します。
プロファイルを保存して実行します。; この場合、
データプロファイリング
で7つのサブタスクが生成されます。
データソースに100個のカラムが含まれている場合に［マッピングあたりの最大カラム数］オプションを20に設定すると、［マイジョブ］タブに表示されるプロファイルのサブタスク数が8になります。必要以上のサブタスク数が表示されるのはなぜですか。: プロファイルを作成して実行すると、次のサブタスクが生成および実行されます。
ソース行数-<number_of_chosen_rows>のフェッチ。このタスクは、プロファイル実行につき1回のみ生成されます。
データプロファイリングマッピングの生成。このサブタスクは、プロファイル実行につき1回のみ生成されます。
s_profiling。生成されるサブタスクの数は、［カラムあたりの分割処理の最小行数］
と［マッピングあたりの最大カラム数］
の値に基づきます。この場合、5つのサブタスクが生成されます。
ステージング領域からメトリックストアへのデータのロード。このタスクは、プロファイル実行につき1回のみ生成されます。; この場合、タスクに対して作成されるサブタスクの総数は8になります。
プロファイルジョブに複数のマッピングサブタスクを作成する接続にはどのようなものがありますか。: 以下は、プロファイルジョブに複数のマッピングサブタスクを作成する接続のリストです。
Oracle
SQL Server
フラットファイル
Azure Synapse SQL（ODBC）
Amazon Redshift V2
Snowflake Data Cloud
各プロファイルジョブによって作成されるマッピングサブタスクの数を確認するにはどうすればよいですか。: ［マイジョブ］
タブにリストされているs_profilingジョブの数を確認します。s_profilingジョブを表示するには、
［マイジョブ］
タブの［サブタスク］リンクをクリックします。例えば、次の画像は、s_profilingジョブを含むサンプルの
［マイジョブ］
タブを示しています。
［停止するエラー数］フィールドの値に、拒否された行の合計数よりも小さい値が設定されている場合でも、プロファイルジョブが失敗しません。: この問題は、プロファイルジョブに複数のルールを適用した場合に発生します。
データプロファイリング
は、個々のルールによって拒否された行の最大数を考慮します。プロファイルジョブに複数のルールが含まれている場合、拒否された行の合計数が他のルールの合計ではなく、いずれかのルールの設定と競合すると、
データプロファイリング
によってエラー時にプロファイルジョブが停止されます。
プロファイルのソースオブジェクトまたは接続を変更した後、プロファイルに自動割り当てされたルールを表示できません。: データプロファイリング
では、プロファイルを編集および変更するときに、ルールが自動的に割り当てられることはありません。
自動ルール関連付け機能は、R36で作成したプロファイルでは機能しません。: 2021.07.Mリリース（R37）で新しいプロファイルを作成した場合にのみ、
データプロファイリング
によってルールが自動的に関連付けられます。
プロファイルジョブが次の警告メッセージで完了します: レコード長[]が行順序ありバッファ長[]より<ファイルの場所>に対して長くなっています。レコードは拒否されます。 この問題を解決するにはどうすればいいですか?: この問題を解決するには、エラーが解決するまで、［行順序ありのバッファの長さ］パラメータの値を増やします。パラメータは、プロファイルの
［スケジュール］
タブの
［詳細オプション］
セクションにあります。

行順序ありのバッファの長さは、区切られた固定幅のフラットファイルに使用されます。
行順序ありのバッファの長さをより簡単に計算するには、警告メッセージに表示されるレコード長の値の2の倍数に相当する値を増やします。
値の頻度の長さが［結果］ページの実際の値の頻度の長さよりも長いのはなぜですか?: この問題は、カラムデータにアポストロフィ（'）などの特殊文字が含まれている場合に発生する可能性があります。この問題を解決するには、カラムデータから特殊文字を削除して、プロファイルを再実行します。
特定の行数に対してランダムサンプリングを使用してプロファイルを実行した場合、プレビュー内の成功した行と失敗した行の数にはスコアカードダッシュボードの正しい行数が表示されないのですか?: プロファイルの実行ではサンプリングオプションが優先されますが、ドリルダウン機能ではサンプリングオプションが優先されません。このため、プレビューに表示される成功した行と失敗した行の数は、スコアカードダッシュボードの
［ルールオカレンス］
テーブルに表示される行の総数と一致しません。
データプロファイリング は、プロファイル定義から選択解除されたカラム、またはソースから削除されたカラムのインサイト検証が失敗すると、自動ルール仕様を作成します。これらのルールを削除できますか?: はい、これらのルールは
［エクスプローラ］
タブから手動で削除できます。
サーバーレスランタイム環境を使用してネイティブプロファイルを実行できますか?: はい。サーバーレスランタイム環境を使用してネイティブプロファイルを実行できます。ただし、Sparkプロファイルは実行できません。
サーバーレスランタイム環境で実行されるプロファイルに対して、ドリルダウンやクエリの実行を行えますか?: いいえ。サーバーレスランタイム環境で実行されるプロファイルに対してドリルダウンやクエリの実行を行うことはできません。

データプロファイリングタスクのパフォーマンスチューニング

ガイドをダウンロード

ページをウォッチ

フィードバックを送信

コミュニティ

Knowledge Base

Success Portal

Rename Saved Search

目次

データプロファイリング

データプロファイリング

FAQ（よくある質問）

FAQ（よくある質問）