Guia de Versão (10.4.1.2)

10.4.1
- 10.5.3
- 10.5.2
- 10.5.1
- 10.5
- 10.4.0
- 10.1.1
- 10.1
- 10.0

Anterior Avançar

Mecanismo Blaze

Em vigor na versão 10.1.1, o mecanismo Blaze apresenta os seguintes novos recursos:

Origens e destinos Hive no mecanismo Blaze

Em vigor na versão 10.1.1, origens e destinos Hive têm o seguinte suporte adicional no mecanismo Blaze:

Valores de tipo de dados decimal com precisão de 38

Identificadores entre aspas em nomes de tabelas Hive, nomes de colunas e nomes de esquemas

Tabelas Hive particionadas como destinos

Tabelas Hive segmentadas como origens e destinos

Substituições SQL para origens Hive

Bloqueio de tabelas para origens e destinos Hive

Criar ou substituir tabelas de destino para destinos Hive

Truncar a tabela de destino para destinos Hive e tabelas particionadas Hive

Para obter mais informações, consulte o capítulo "Mapeando objetos no ambiente Hadoop", no

Guia do Usuário do Informatica Big Data Management® 10.1.1

Suporte a transformações no mecanismo Blaze

Em vigor na versão 10.1.1, as seguintes transformações têm suporte adicional no mecanismo Blaze:

Transformação de Pesquisa. Você pode usar substituições SQL e filtrar consultas com origens de pesquisa Hive.

Transformação de Ordenador. Tipos globais têm suporte quando a transformação de Classificador está conectada a um destino de arquivo simples. Para manter a ordem de classificação global, você deve habilitar a propriedade Manter Ordem das Linhas no destino de arquivo simples. Se a transformação de Classificador for um fluxo intermediário no mapeamento, as linhas serão classificadas localmente.

Transformação de Estratégia de Atualização. A transformação de Estratégia de Atualização é compatível com algumas restrições.

Para obter mais informações, consulte o capítulo "Mapeando objetos no ambiente Hadoop", no

Guia do Usuário do Informatica Big Data Management 10.1.1

Monitoramento do mecanismo Blaze

Em vigor na versão 10.1.1, estatísticas mais detalhadas sobre os trabalhos de mapeamento estão disponíveis no Relatório de Resumo Blaze. No Blaze Job Monitor, um botão de relatório de resumo verde aparece ao lado dos nomes de tarefas de grade bem-sucedidos que abrem o Relatório de Resumo Blaze.

O Relatório de Resumo Blaze contém as seguintes informações sobre um trabalho de mapeamento:

Tempo gasto por segmentos individuais. Um gráfico de pizza de segmentos dentro da tarefa de grade.

Propriedades do mapeamento. Uma tabela que contém informações básicas sobre o trabalho de mapeamento.

Tempo de execução do tasklet. Um gráfico de série de tempo de todos os tasklets dentro do segmento selecionado.

Informações tasklet selecionado. Contagens de linhas de origem e destino e informações de cache para cada tasklet individual.

O Blaze Summary Report está em beta. Ele contém a maior parte dos recursos mais importantes, mas ainda não está completo.

Logs do mecanismo Blaze

Em vigor na versão 10.1.1, os seguintes aprimoramentos de log de erros estão disponíveis no mecanismo Blaze:

Estatísticas de execução estão disponíveis no log do LDTM quando o nível de rastreamento de log está definido como inicialização detalhada ou dados detalhados. O log inclui os seguintes detalhes de execução de mapeamento:

Hora de início, hora de término e estado de cada tarefa

URL do Blaze Job Monitor

Número total de tasklets bem-sucedidas e com falha/canceladas

Número de linhas processadas e rejeitadas para origens e destinos

Erros de dados, se houver, para transformações em cada segmento executado

O log do LDTM inclui as seguintes estatísticas de transformação:

Número de linhas de saída para origens e destinos

Número de linhas de erro para origens e destinos

O log da sessão também exibe uma lista de todos os segmentos dentro da tarefa de grade, com links correspondentes para o Blaze Job Monitor. Clique em um link para ver os detalhes de execução desse segmento.

Para obter mais informações, consulte o capítulo "Monitorando mapeamentos em um ambiente Hadoop" no

Guia do Usuário do Informatica Big Data Management 10.1.1

Big Data

Baixar guia

Enviar comentários

Communities

Knowledge Base

Portal de Sucesso