Communities
A collaborative platform to connect and grow with like-minded Informaticans across the globe
Product Communities
Connect and collaborate with Informatica experts and champions
Discussions
Have a question? Start a Discussion and get immediate answers you are looking for
User Groups
Customer-organized groups that meet online and in-person. Join today to network, share ideas, and get tips on how to get the most out of Informatica
Get Started
Community Guidelines
Knowledge Center
Troubleshooting documents, product guides, how to videos, best practices, and more
Knowledge Base
One-stop self-service portal for solutions, FAQs, Whitepapers, How Tos, Videos, and more
Support TV
Video channel for step-by-step instructions to use our products, best practices, troubleshooting tips, and much more
Documentation
Information library of the latest product documents
Velocity (Best Practices)
Best practices and use cases from the Implementation team
Learn
Rich resources to help you leverage full capabilities of our products
Trainings
Role-based training programs for the best ROI
Certifications
Get certified on Informatica products. Free, Foundation, or Professional
Product Learning Paths
Free and unlimited modules based on your expertise level and journey
Resources
Library of content to help you leverage the best of Informatica products
Tech Tuesdays Webinars
Most popular webinars on product architecture, best practices, and more
Product Availability Matrix
Product Availability Matrix statements of Informatica products
SupportFlash
Monthly support newsletter
Support Documents
Informatica Support Guide and Statements, Quick Start Guides, and Cloud Product Description Schedule
Product Lifecycle
End of Life statements of Informatica products
Ideas
Events
Change Request Tracking
Marketplace
Portuguese
  • Informatica Data Quality 10.4.1
  • Todos os produtos

Sumário

Search

  1. Prefácio
  2. Entendendo Domínios
  3. Gerenciando Sua Conta
  4. Usando o Informatica Administrator
  5. Usando a Exibição Domínio
  6. Gerenciamento de Domínio
  7. Nós
  8. Alta Disponibilidade
  9. Conexões
  10. Propriedades de Conexão
  11. Agendamentos
  12. Exportação e importação do objeto de domínio
  13. Gerenciamento de licenças
  14. Monitoramento
  15. Gerenciamento de Logs
  16. Relatórios de domínio
  17. Diagnóstico de nó
  18. Noções Básicas de Globalização
  19. Apêndice A: Páginas de Códigos
  20. Apêndice B: Funções personalizadas
  21. Apêndice C: Conectividade da Plataforma Informatica
  22. Apêndice D: Configurar o Navegador da Web

Guia do Administrador

Guia do Administrador

Anterior Avançar

Configuração do Spark

Configuração do Spark

A tabela a seguir descreve as propriedades de conexão que você configura para o mecanismo Spark:
Propriedade
Descrição
Diretório de Preparação do Spark
O caminho de arquivo HDFS do diretório que o mecanismo Spark utiliza para armazenar arquivos temporários para trabalhos em execução. O usuário do YARN, o usuário do Serviço de Integração de Dados e o usuário de representação de mapeamento devem ter permissão de gravação nesse diretório.
Se você não especificar um caminho de arquivo, por padrão, os arquivos temporários serão gravados no diretório de preparação do Hadoop
/tmp/SPARK_<nome de usuário>
.
Quando você executa trabalhos do Sqoop no mecanismo Spark, o Serviço de Integração de Dados cria um diretório de preparação Sqoop no diretório de preparação do Spark para armazenar arquivos temporários:
<diretório de preparação do Spark>/sqoop_staging
Diretório de Log de Evento do Spark
Opcional. O caminho de arquivo HDFS do diretório que o mecanismo Spark utiliza para registrar eventos.
Nome da Fila YARN
O nome da fila do agendador YARN usada pelo mecanismo Spark que especifica recursos disponíveis em um cluster. O nome faz distinção entre maiúsculas e minúsculas.
Propriedades Avançadas
Lista de propriedades avançadas exclusivas do mecanismo Spark. As propriedades avançadas incluem uma lista de propriedades padrão.
Você pode configurar as propriedades de tempo de execução para o ambiente do Hadoop no Serviço de Integração de Dados, na conexão do Hadoop e no mapeamento. Você pode substituir uma propriedade configurada em um nível alto, definindo o valor em um nível inferior. Por exemplo, se você configurar uma propriedade nas propriedades personalizadas do Serviço de Integração de Dados, poderá substituí-la na conexão do Hadoop ou no mapeamento. O Serviço de Integração de Dados processa substituições de propriedade com base nas seguintes prioridades:
  1. Mapeando propriedades personalizadas definidas usando
    infacmd ms runMapping
     com a opção
    -cp
  2. Mapeando as propriedades de tempo de execução para o ambiente Hadoop
  3. Propriedades avançadas de conexão do Hadoop para os mecanismos de tempo de execução
  4. Propriedades gerais avançadas de conexão do Hadoop, variáveis de ambiente e classpaths
  5. Propriedades personalizadas do Serviço de Integração de Dados
A Informatica não recomenda a alteração desses valores de propriedade antes de consultar a documentação de terceiros, a documentação da Informatica ou o Suporte ao Cliente Global da Informatica. Se você alterar um valor sem o conhecimento da propriedade, poderá haver degradação do desempenho ou outros resultados inesperados.