Propriedades avançadas

infaspark.json.parser.mode

Especifica ao analisador como lidar com registros JSON corrompidos. Você pode definir o valor para um dos seguintes modos:

DROPMALFORMED. O analisador ignora todos os registros corrompidos. Modo padrão.
PERMISSIVE. O analisador aceita campos não padrão como nulos em registros corrompidos.
FAILFAST. O analisador gera uma exceção quando encontra um registro corrompido, e o aplicativo Spark fica inoperante.

infaspark.json.parser.multiLine

Especifica se o analisador pode ler um registro de várias linhas em um arquivo JSON. Você pode definir o valor como true ou false. O padrão é false. Aplica-se apenas a distribuições não nativas que usam o Spark versão 2.2.x e superiores.

infaspark.flatfile.writer.nullValue

Quando o mecanismo Spark do Databricks grava em um destino, ele converte valores nulos em cadeias vazias (" "). Por exemplo, 12, AB,"",23p09udj.

O mecanismo Spark do Databricks pode gravar cadeias vazias em colunas de cadeias, mas, ao tentar gravar uma cadeia vazia em uma coluna de não cadeia, o mapeamento falha com uma incompatibilidade de tipos.

Para permitir que o mecanismo Spark do Databricks converta as strings vazias em valores nulos e grave no destino, configure a propriedade na conexão Spark do Databricks.

Defina como: TRUE

infaspark.pythontx.exec

Obrigatório para executar uma transformação Python no mecanismo Databricks Spark. Defina como a localização do binário executável do Python nos nós de trabalho do cluster do Databricks.

Ao provisionar o cluster no tempo de execução, defina esta propriedade na configuração de provisionamento da nuvem do Databricks. Caso contrário, configure na conexão Databricks.

Por exemplo, defina como:

infaspark.pythontx.exec=/databricks/python3/bin/python3

infaspark.pythontx.executorEnv.PYTHONHOME

Obrigatório para executar uma transformação Python no mecanismo Databricks Spark. Defina como a localização do diretório de instalação do Python nos nós de trabalho do cluster do Databricks.

Ao provisionar o cluster no tempo de execução, defina esta propriedade na configuração de provisionamento da nuvem do Databricks. Caso contrário, configure na conexão Databricks.

Por exemplo, defina como:

infaspark.pythontx.executorEnv.PYTHONHOME=/databricks/python3