ユーザーガイド

前へ次へ

Databricksソースのルールとガイドライン

ファイルソースについては、次の一般的なルールおよびガイドラインを考慮します。

フラットファイルソースは、Microsoft Azure Blob StorageまたはMicrosoft Azure Data Lake Storeに置く必要があります。

行区切り文字は/nにする必要があります。

ファイルを固定長にすることはできません。

複数のカラム区切り文字はサポートされません。

複数行のデータを読み取るには、テキスト修飾子を一重引用符または二重引用符に設定し、データをその引用符付きの修飾子で囲みます。

空の値のみがNULL値として扱われます。

NULL処理については、次のルールおよびガイドラインを考慮します。

NULLに変換される予期しない値: Databricks Sparkエンジンは、フィールドに予期しない値が含まれている場合、次のシナリオに基づいて、同じレコードのすべてのフィールドにNULL値を生成します。
stringデータをnumericカラムに渡すなど、型不一致が発生した。
bigintデータ型、intデータ型などで、データが範囲を超えている。
NULL行をフィルタするには、フィルタトランスフォーメーションの使用を考慮します。

NULLに変換される日付/時刻値: Databricks Sparkエンジンは、日付/時刻値を読み取るときに、Developer toolのランタイム設定の［マッピング］プロパティで設定されている形式を使用します。ソースから読み取った日付の形式がDeveloper toolに設定されている形式と一致しない場合は、Databricks Sparkエンジンは日付値をNULLに変換します。Developer toolのデフォルト値はMM/DD/YYYY HH24:MI:SSです。