O Spark é um projeto Apache com um mecanismo de tempo de execução que pode executar mapeamentos no cluster Hadoop. Configure as propriedades da conexão do Hadoop específicas para o mecanismo Spark. Depois de criar o mapeamento, é possível validá-lo e exibir o plano de execução da mesma maneira que os mecanismos Blaze e Hive.

Quando você envia a lógica de mapeamento por push para o mecanismo Spark, o Serviço de Integração de Dados gera um programa Scala e o empacota em um aplicativo. Ele envia o aplicativo ao executor Spark, que então o envia ao Gerenciador de Recursos no cluster Hadoop. O Gerenciador de Recurso identifica recursos para executar o aplicativo. Você pode monitorar o trabalho na ferramenta Administrator.

Para obter mais informações sobre como usar o Spark para executar mapeamentos, consulte o

Guia do Usuário do Informatica Big Data Management 10.1

.