Sumário

Search

  1. Versão 10.4.0
  2. Versão 10.2.2
  3. Versão 10.2.1
  4. Versão 10.2
  5. Versão 10.1.1
  6. Versão 10.1

Conexão Hadoop

Conexão Hadoop

Em vigor na versão 10.2, as seguintes alterações afetam as propriedades de conexão Hadoop.
Você pode usar as seguintes propriedades para configurar sua conexão Hadoop:
Propriedade
Descrição
Configuração de Cluster
O nome da configuração de cluster associada ao ambiente Hadoop.
Aparece em Propriedades Gerais.
Gravar Arquivos Rejeitados no Hadoop
Selecione a propriedade para mover os arquivos rejeitados para a localização do HDFS listada na propriedade Diretório de Arquivos Rejeitados ao executar mapeamentos.
Aparece em Propriedades do Diretório de Rejeição.
Diretório de Arquivos Rejeitados
O diretório para arquivos de mapeamento Hadoop no HDFS quando você executa mapeamentos.
Aparece em Propriedades do Diretório de Rejeição
Endereço do Blaze Job Monitor
O nome do host e o número de porta do Blaze Job Monitor.
Aparece em Configuração do Blaze.
Nome da Fila YARN
O nome da fila do agendador YARN usada pelo mecanismo Spark que especifica recursos disponíveis em um cluster.
Aparece em Configuração do Blaze.
Em vigor na versão 10.2, as seguintes propriedades foram renomeadas:
Nome atual
Nome anterior
Descrição
ImpersonationUserName
HiveUserName
Usuário de representação do Hadoop. O nome de usuário representado pelo Serviço de Integração de Dados para executar mapeamentos no ambiente Hadoop.
Nome do Banco de Dados de Preparação do Hive
Nome do Banco de Dados
Espaço de nome para tabelas de preparação do Hive.
Aparece em Propriedades Comuns.
Aparecia anteriormente em Propriedades do Hive.
HiveWarehouseDirectory
HiveWarehouseDirectoryOnHDFS
O caminho absoluto do arquivo HDFS do banco de dados padrão para o depósito, que é local para o cluster.
Diretório de Preparação do Blaze
Diretório de Trabalho Temporário no HDFS
CadiWorkingDirectory
O caminho de arquivos HDFS do diretório que o mecanismo Blaze utiliza para armazenar arquivos temporários.
Aparece em Configuração do Blaze.
Nome de Usuário do Blaze
Nome de Usuário do Serviço Blaze
CadiUserName
O proprietário do serviço Blaze e dos logs do serviço Blaze.
Aparece em Configuração do Blaze.
Nome da Fila YARN
Nome da Fila Yarn
CadiAppYarnQueueName
O nome da fila do agendador YARN usada pelo mecanismo Blaze que especifica recursos disponíveis em um cluster.
Aparece em Configuração do Blaze.
BlazeMaxPort
CadiMaxPort
O valor máximo para o intervalo de números de porta do mecanismo Blaze.
BlazeMinPort
CadiMinPort
O valor mínimo para o intervalo de números de porta do mecanismo Blaze.
BlazeExecutionParameterList
CadiExecutionParameterList
Uma lista opcional de parâmetros de configuração a serem aplicados ao mecanismo Blaze.
SparkYarnQueueName
YarnQueueName
O nome da fila do agendador YARN usada pelo mecanismo Spark que especifica recursos disponíveis em um cluster.
Diretório de Preparação do Spark
Diretório de Preparação HDFS do Spark
O caminho de arquivo HDFS do diretório que o mecanismo Spark utiliza para armazenar arquivos temporários para trabalhos em execução.
Em vigor na versão 10.2, as seguintes propriedades foram removidas da conexão e importadas para a configuração de cluster:
Propriedade
Descrição
Endereço do Gerenciador de Recursos
O serviço no Hadoop que envia solicitações para recursos ou gera aplicativos YARN.
Importada para a configuração de cluster como a propriedade
yarn.resourcemanager.address
.
Aparecia anteriormente em Propriedades do Cluster Hadoop.
URI Padrão do Sistema de Arquivos
O URI para acessar o sistema de arquivos distribuídos do Hadoop padrão.
Importada para a configuração de cluster como a propriedade
fs.defaultFS
ou
fs.default.name
.
Aparecia anteriormente em Propriedades do Cluster Hadoop.
Em vigor na versão 10.2, as seguintes propriedades foram preteridas e removidas da conexão:
Propriedade
Descrição
Tipo
O tipo de conexão.
Aparecia anteriormente em Propriedades Gerais.
Modo de Execução de Metastore*
Controla se deve se conectar a um metastore remoto ou local.
Aparecia anteriormente em Configuração do Hive.
URI do Banco de Dados de Metastore*
O URI da conexão JDBC usada para acessar o armazenamento de dados em uma configuração local metastore.
Aparecia anteriormente em Configuração do Hive.
Driver do Banco de Dados de Metastore*
O nome de classe do driver JDBC para o armazenamento de dados.
Aparecia anteriormente em Configuração do Hive.
Nome de Usuário do Banco de Dados de Metastore*
O nome de usuário do banco de dados de metastore.
Aparecia anteriormente em Configuração do Hive.
Senha do Banco de Dados de Metastore*
A senha para o nome de usuário do metastore.
Aparecia anteriormente em Configuração do Hive.
URI da Metastore Remota*
O URI de metastore usado para acessar metadados em uma configuração de metastore remota.
Essa propriedade é importada para a configuração de cluster como a propriedade
hive.metastore.uris
.
Aparecia anteriormente em Configuração do Hive.
URL de Monitoramento de Trabalho
A URL do servidor MapReduce JobHistory.
Aparecia anteriormente em Configuração do Hive.
* Essas propriedades estão preteridas na versão 10.2. Quando você atualizar para a versão 10.2, os valores de propriedades definidos em uma versão anterior serão salvos no repositório, mas não aparecerão nas propriedades da conexão.