Communities
A collaborative platform to connect and grow with like-minded Informaticans across the globe
Product Communities
Connect and collaborate with Informatica experts and champions
Discussions
Have a question? Start a Discussion and get immediate answers you are looking for
User Groups
Customer-organized groups that meet online and in-person. Join today to network, share ideas, and get tips on how to get the most out of Informatica
Get Started
Community Guidelines
Knowledge Center
Troubleshooting documents, product guides, how to videos, best practices, and more
Knowledge Base
One-stop self-service portal for solutions, FAQs, Whitepapers, How Tos, Videos, and more
Support TV
Video channel for step-by-step instructions to use our products, best practices, troubleshooting tips, and much more
Documentation
Information library of the latest product documents
Velocity (Best Practices)
Best practices and use cases from the Implementation team
Learn
Rich resources to help you leverage full capabilities of our products
Trainings
Role-based training programs for the best ROI
Certifications
Get certified on Informatica products. Free, Foundation, or Professional
Product Learning Paths
Free and unlimited modules based on your expertise level and journey
Resources
Library of content to help you leverage the best of Informatica products
Tech Tuesdays Webinars
Most popular webinars on product architecture, best practices, and more
Product Availability Matrix
Product Availability Matrix statements of Informatica products
SupportFlash
Monthly support newsletter
Support Documents
Informatica Support Guide and Statements, Quick Start Guides, and Cloud Product Description Schedule
Product Lifecycle
End of Life statements of Informatica products
Ideas
Events
Change Request Tracking
Marketplace
Portuguese
  • Common Content for Data Integration 10.5
  • Todos os produtos

Sumário

Search

  1. Prefácio
  2. Programas e Utilitários de Linha de Comando
  3. Instalando e Configurando Utilitários de Linha de Comando
  4. Usando os programas de linha de comando
  5. Variáveis de Ambiente para Programas de Linha de Comando
  6. Usando infacmd
  7. Referência de Comando infacmd as
  8. Referência de Comandos infacmd aud
  9. Referência de Comandos infacmd autotune
  10. Referência de Comandos Infacmd bg
  11. Referência de Comandos infacmd ccps
  12. Referência de Comandos de infacmd cluster
  13. Referência de Comando infacmd cms
  14. Referência de Comando infacmd dis
  15. Consultas do Infacmd dis
  16. Referência de comandos infacmd dp
  17. Referência de comandos infacmd idp
  18. Referência de comandos infacmd edp
  19. Referência de Comandos Infacmd es
  20. Referência de Comando infacmd ics
  21. Referência de Comando infacmd ipc
  22. Referência de Comando infacmd isp
  23. Referência de comandos infacmd ldm
  24. Referência de Comandos infacmd mas
  25. Referência de Comandos infacmd mi
  26. Referência de Comando infacmd mrs
  27. Referência de Comando infacmd ms
  28. Referência de Comando infacmd oie
  29. Referência de Comando infacmd ps
  30. Referência de Comando infacmd pwx
  31. Referência de Comando infacmd roh
  32. Referência do Comando infacmd rms
  33. Referência aos comandos infacmd RTM
  34. Referência de Comandos infacmd sch
  35. Referência de Comandos infacmd search
  36. Referência de Comando infacmd sql
  37. Referência de Comando infacmd tdm
  38. Referência de Comando infacmd tools
  39. Referência do Comando infacmd wfs
  40. Referência de Comandos infacmd ws
  41. Referência de Comandos infacmd xrf
  42. Arquivos de controle infacmd
  43. Referência de Comando infasetup
  44. Referência de Comando pmcmd
  45. referência de comando pmrep
  46. Trabalhando com o filemanager
  47. Funcionamento com arquivos pmrep

Referência de Comandos

Referência de Comandos

Anterior Avançar

Opções de Conexão do Hive

Opções de Conexão do Hive

Use as opções de conexão para definir uma conexão do Hive.
Insira as opções de conexão no seguinte formato:
... -o option_name='value' option_name='value' ...
Para inserir várias opções, separe-as com um espaço.
A tabela a seguir descreve as opções de conexão do Hive para os comandos infacmd isp CreateConnection e UpdateConnection que podem ser configurados quando você deseja usar a conexão Hive:
Opção
Descrição
connectionType
Obrigatório. O tipo de conexão é HIVE.
nome
O nome da conexão. O nome não faz distinção entre maiúsculas e minúsculas, e deve ser exclusivo no domínio. Você pode alterar essa propriedade após criar a conexão. O nome não pode exceder 128 caracteres, conter espaços nem conter os seguintes caracteres especiais:
~ ` ! $ % ^ & * ( ) - + = { [ } ] | \ : ; " ' < , > . ? /
environmentSQL
Comandos SQL para definir o ambiente Hadoop. No tipo de ambiente nativo, o Serviço de Integração de Dados executa o SQL de ambiente cada vez que ele cria uma conexão com o Hive metastore. Se a conexão do Hive for usada para executar mapeamentos no cluster Hadoop, o Serviço de Integração de Dados executará o SQL de ambiente no início de cada sessão do Hive.
Aplicam-se as seguintes regras e diretrizes para o uso do ambiente SQL nos modos de conexão:
  • Use o ambiente SQL para especificar as consultas Hive.
  • Use o ambiente SQL para configurar o classpath para funções Hive definidas pelo usuário e, em seguida, use o ambiente SQL ou PreSQL para especificar as funções Hive definidas pelo usuário. Você não pode usar PreSQL nas propriedades de objeto de dados para especificar o classpath. Se você usar as funções definidas pelo usuário do Hive, deverá copiar os arquivos .jar para o seguinte diretório:
    <Diretório de instalação do Informatica>/services/shared/hadoop/<Nome de distribuição do Hadoop>/extras/hive-auxjars
  • Você também pode usar o ambiente SQL para definir os parâmetros Hadoop ou Hive que você pretende usar nos comandos PreSQL ou em consultas personalizadas.
Se a conexão Hive for usada para executar mapeamentos no cluster Hadoop, somente o ambiente SQL da conexão Hive será executado. Os diferentes ambientes de comandos SQL para as conexões de origem ou destino do Hive não são executados, mesmo se as origens e os destinos do Hive estiverem em diferentes clusters.
quoteChar
O tipo de caractere usado para identificar caracteres especiais e palavras-chave SQL reservadas, como WHERE. O Serviço de Integração de Dados coloca o caractere selecionado em torno de caracteres especiais e palavras-chave SQL reservadas. O Serviço de Integração de Dados também usa esse caractere para a propriedade
Suporte a identificadores de letras maiúsculas e minúsculas
.
clusterConfigId
O ID de configuração de cluster associado ao cluster Hadoop. Você deve inserir um ID de configuração para configurar uma conexão do Hadoop.

Propriedades para Acessar o Hive como Origem ou Destino

A tabela a seguir descreve as opções obrigatórias para os comandos infacmd isp CreateConnection e UpdateConnection que você configura quando deseja usar a conexão Hive para acessar os dados do Hive:
Propriedade
Descrição
hiveJdbcDriverClassName
O nome da classe do driver JDBC.
metadataConnString
O URI da conexão JDBC usada para acessar os metadados do servidor do Hadoop.
A string de conexão usa o seguinte formato:
jdbc:hive://<hostname>:<port>/<db>
Onde
  • hostname
     é o nome ou endereço IP da máquina na qual o servidor Hive está em execução.
  • port
     é a porta na qual o servidor Hive está escutando.
  • db
     é o banco de dados ao qual você deseja se conectar. Se você não especificar os detalhes do banco de dados, o Data Integration Service usará os detalhes padrão do banco de dados.
Para se conectar ao HiveServer 2, use o formato de cadeia de conexão que o Apache Hive implementa na Distribuição específica do Hadoop. Para obter mais informações sobre os formatos de cadeia de conexão do Apache Hive, consulte a documentação do Apache Hive.
Se o cluster Hadoop usar a autenticação SSL ou TLS, você deverá adicionar ssl=true ao URI de conexão JDBC. Por exemplo:
jdbc:hive2://<hostname>:<port>/<db>;ssl=true
Se você usar o certificado autoassinado para autenticação SSL ou TLS, verifique se o arquivo de certificado estará disponível na máquina cliente e na máquina do Serviço de Integração de Dados. Para obter mais informações, consulte o
Guia de integração de cluster do Informatica Big Data Management
.
bypassHiveJDBCServer
O modo do driver JDBC. Ative essa opção para usar o driver JDBC incorporado (modo incorporado).
Para usar o modo incorporado JDBC, realize as seguintes tarefas:
  • Verifique se o cliente Hive e Serviços Informatica estão instalados na mesma máquina.
  • Configure as propriedades de conexão Hive para executar mapeamentos no cluster Hadoop.
Se você escolher o modo não incorporado, configure a Cadeia de Conexão do Acesso a Dados.
O modo incorporado JDBC é preferencial comparado ao modo não incorporado.
sqlAuthorized
Quando você seleciona a opção para observar a autenticação SQL refinada em uma origem Hive, o mapeamento observa restrições em nível de linha e coluna no acesso aos dados. Se você não selecionar essa opção, o mecanismo de tempo de execução Blaze ignorará as restrições, e os resultados incluirão dados restritos.
Aplicável aos clusters Hadoop onde os modos de segurança Sentry ou Ranger estão habilitados.
connectString
A string de conexão usada para acessar dados do armazenamento de dados do Hadoop. A string de conexão do modo não incorporado JDBC deve estar no seguinte formato:
jdbc:hive://<hostname>:<port>/<db>
Onde
  • hostname
     é o nome do endereço IP da máquina em que o servidor Hive está em execução.
  • port
     é a porta na qual o servidor Hive está escutando. O padrão é 10.000.
  • DB
     é o banco de dados no qual você deseja se conectar. Se você não especificar os detalhes do banco de dados, o Data Integration Service usará os detalhes padrão do banco de dados.
Para se conectar ao HiveServer 2, use o formato de cadeia de conexão que o Apache Hive implementa na Distribuição específica do Hadoop. Para obter mais informações sobre os formatos de cadeia de conexão do Apache Hive, consulte a documentação do Apache Hive.
Se o cluster Hadoop usar a autenticação SSL ou TLS, você deverá adicionar ssl=true ao URI de conexão JDBC. Por exemplo:
jdbc:hive2://<hostname>:<port>/<db>;ssl=true
Se você usar o certificado autoassinado para autenticação SSL ou TLS, verifique se o arquivo de certificado estará disponível na máquina cliente e na máquina do Serviço de Integração de Dados. Para obter mais informações, consulte o
Guia de integração de cluster do Informatica Big Data Management
.

Propriedades para Executar Mapeamentos no Cluster do Hadoop

A tabela a seguir descreve as opções obrigatórias para os comandos infacmd isp CreateConnection e UpdateConnection que você configura quando deseja usar a conexão Hive para executar mapeamentos Informatica no cluster do Hadoop:
Propriedade
Descrição
databaseName
O espaço de nome das tabelas. Use o nome
padrão
 para tabelas que não tenham um nome do banco de dados especificado.
customProperties
Configura ou substitui as propriedades do cluster Hive ou Hadoop na configuração hive-site.xml definida na máquina na qual o Serviço de Integração de Dados é executado. É possível especificar várias propriedades.
Selecione
Editar
 para especificar o nome e o valor para a propriedade. A propriedade é exibida no seguinte formato:
<property1>=<value>
Quando você especifica várias propriedades,
&:
 aparece como o separador de propriedade.
O tamanho máximo para o formato é 1 MB.
Se você inserir uma propriedade necessária para uma conexão do Hive, ela substituirá a propriedade configurada em Propriedades Avançadas do Hive/Hadoop.
O Serviço de Integração de Dados adiciona ou define essas propriedades para cada trabalho de redução e mapa. Você pode verificar essas propriedades no JobConf de cada trabalho mapeador e redutor. Acesse o JobConf de cada trabalho na URL de JobTracker em cada trabalho de redução e mapa.
O Serviço de Integração de Dados grava mensagens para essas propriedades nos logs do Serviço de Integração de Dados. O Serviço de Integração de Dados deve ter o nível de rastreamento de log definido para registrar cada linha ou deve ter o nível de rastreamento de log definido como rastreamento de inicialização detalhado.
Por exemplo, especifique as seguintes propriedades para controlar e limitar o número de redutores para executar um trabalho de mapeamento:
mapred.reduce.tasks=2&:hive.exec.reducers.max=10
stgDataCompressionCodecClass
O nome de classe do codec que permite a compactação de dados e melhora o desempenho em tabelas de preparação temporárias. O nome da classe de codec corresponde ao tipo de código.
stgDataCompressionCodecType
Biblioteca de compactação do Hadoop para um nome de classe do codec de compactação.
Você pode escolher None, Zlib, Gzip, Snappy, Bz2, LZO ou Custom.
O padrão é Nenhuma.