Obrigatório se o cluster Hadoop usar a autenticação Kerberos. Usuário de representação do Hadoop. O nome de usuário que o Serviço de Integração de Dados representa para executar mapeamentos no ambiente do Hadoop.

O Data Engineering Integration oferece suporte a perfis de sistema operacional em todas as distribuições do Hadoop. No ambiente de tempo de execução do Hadoop, o Serviço de Integração de Dados envia o processamento para o cluster do Hadoop e os mecanismos de tempo de execução executam mapeamentos com as propriedades de representação do Hadoop especificadas no perfil do sistema operacional.

Biblioteca de compactação do Hadoop para um nome de classe do codec de compactação.

O nome de classe do codec que permite a compactação de dados e melhora o desempenho em tabelas de preparação temporárias.

Espaço de nome para as tabelas de preparação do Hive. Use o nome

padrão

para tabelas que não tenham um nome do banco de dados especificado.

Se você não configurar um espaço de nome, o Serviço de Integração de Dados usará o nome do banco de dados Hive na conexão de destino do Hive para criar tabelas de preparação de dados.

Ao executar um mapeamento no ambiente nativo para gravar dados no Hive, você deve configurar o nome do banco de dados temporário do Hive na conexão do Hive. O Serviço de Integração de Dados ignora o valor que você configura na conexão do Hadoop.

Comandos SQL para definir o ambiente Hadoop. O Serviço de Integração de Dados executa o SQL do ambiente no início de cada script Hive gerado por uma tarefa do HiveServer2.

As seguintes regras e diretrizes se aplicam ao uso do SQL de ambiente:

Você pode usar o SQL de ambiente para definir os parâmetros Hadoop ou Hive que você deseja usar nos comandos PreSQL ou em consultas personalizadas.
Se você usar vários valores para a propriedade SQL de ambiente, verifique se não há nenhum espaço entre os valores.

O Serviço de Integração de Dados usa o HiveServer2 para processar partes de algumas tarefas executando tarefas do HiveServer2 no mecanismo Spark. Ao importar a configuração do cluster por meio da ferramenta Administrator, você pode optar por criar conexões. A propriedade do tipo de mecanismo é preenchida por padrão com base na distribuição.

Ao criar uma conexão manualmente, você deve configurar o tipo de mecanismo.

Você pode especificar o tipo de mecanismo com base nas seguintes distribuições do Hadoop:

Amazon EMR. Tez
Azure HDI - Tez
Cloudera CDH. MRv2
Cloudera CDP Tez
Dataproc. MRv2
Hortonworks HDP. Tez
MapR. MRv2

Lista de propriedades avançadas exclusivas do ambiente Hadoop. As propriedades são comuns aos mecanismos Blaze e Spark. As propriedades avançadas incluem uma lista de propriedades padrão.

Você pode configurar as propriedades de tempo de execução para o ambiente do Hadoop no Serviço de Integração de Dados, na conexão do Hadoop e no mapeamento. Você pode substituir uma propriedade configurada em um nível alto, definindo o valor em um nível inferior. Por exemplo, se você configurar uma propriedade nas propriedades personalizadas do Serviço de Integração de Dados, poderá substituí-la na conexão do Hadoop ou no mapeamento. O Serviço de Integração de Dados processa substituições de propriedade com base nas seguintes prioridades:

Mapeando propriedades personalizadas definidas usando
infacmd ms runMapping
com a opção
-cp
Mapeando as propriedades de tempo de execução para o ambiente Hadoop
Propriedades avançadas de conexão do Hadoop para os mecanismos de tempo de execução
Propriedades gerais avançadas de conexão do Hadoop, variáveis de ambiente e classpaths
Propriedades personalizadas do Serviço de Integração de Dados