Em vigor na versão 10.4.0, as seguintes alterações são aplicáveis quando você grava dados em um arquivo complexo:
Se a origem do mapeamento contiver valores nulos e você usar a opção
Criar Destino
para criar um arquivo de destino do Parquet, o esquema padrão contém campos opcionais e você pode inserir valores nulos no destino.
Anteriormente, todos os campos eram criados como REQUIRED no esquema padrão e era necessário atualizar manualmente o tipo de dados no esquema de destino de "obrigatório" para "Opcional" para gravar as colunas com valores nulos no destino.
Se a origem do mapeamento contiver valores nulos e você usar a opção
Criar Destino
para criar um arquivo de destino do Avro, os valores nulos serão definidos no esquema padrão e você poderá inserir valores nulos no arquivo de destino.
Anteriormente, os valores nulos não eram definidos no esquema padrão e era preciso atualizar manualmente o esquema de destino padrão para adicionar o tipo de dados "null" ao esquema.
Você poderá editar manualmente o esquema se não desejar permitir valores nulos no destino. Você não pode editar o esquema para impedir os valores nulos no destino com o fluxo de mapeamento ativado.
Essas alterações são aplicáveis aos seguintes adaptadores:
PowerExchange for HDFS
PowerExchange for Amazon S3
PowerExchange for Google Cloud Storage
PowerExchange for Microsoft Azure Blob Storage
PowerExchange for Microsoft Azure Data Lake Storage Gen1