高级属性

infaspark.json.parser.mode

指定解析器如何处理已损坏的 JSON 记录。您可以将值设置为下列模式之一：

DROPMALFORMED。解析器忽略所有已损坏的记录。默认模式。
PERMISSIVE。解析器接受非标准字段充当已损坏记录中的空值。
FAILFAST。如果遇到已损坏的记录，并且 Spark 应用程序关闭，解析器将生成异常。

infaspark.json.parser.multiLine

指定解析器是否可读取 JSON 文件中的多行记录。可以设置此值为 true 或 false。默认值为 false。仅适用于使用 Spark 2.2.x 及更高版本的非本地分发。

infaspark.flatfile.writer.nullValue

当 Databricks Spark 引擎写入到目标时，将把空值转换为空字符串 (" ")。例如，12、AB、""、23p09udj。

Databricks Spark 引擎可将空字符串写入到字符串列，但是尝试将空字符串写入到空字符串列时，因为类型不匹配，映射将失败。

要让 Databricks Spark 引擎将空字符串转换回空值并写入到目标，请在 Databricks Spark 连接中配置该属性。

设置为：TRUE

infaspark.pythontx.exec

对 Databricks Spark 引擎运行 Python 转换时需要。设置为 Python 可执行二进制文件在 Databricks 群集中执行工作的节点上的位置。

在运行时置备群集时，在 Databricks 云置备配置中设置此属性。否则，在 Databricks 连接时设置。

例如，设置为：

infaspark.pythontx.exec=/databricks/python3/bin/python3

infaspark.pythontx.executorEnv.PYTHONHOME

对 Databricks Spark 引擎运行 Python 转换时需要。设置为 Python 安装目录在 Databricks 群集中执行工作的节点上的位置。

在运行时置备群集时，在 Databricks 云置备配置中设置此属性。否则，在 Databricks 连接时设置。

例如，设置为：

infaspark.pythontx.executorEnv.PYTHONHOME=/databricks/python3