Sumário

Search

  1. Prefácio
  2. Introdução às Transformações
  3. Portas de Transformação
  4. Caches de Transformação
  5. Transformação de Validador de Endereço
  6. Transformação de Agregador
  7. Transformação de Associação
  8. Transformação de Exceção de Registro Inválido
  9. Transformação de Conversor de Maiúsculas/Minúsculas
  10. Transformação de Classificador
  11. Transformação de Comparação
  12. Transformação de Consolidação
  13. Transformação de Mascaramento de Dados
  14. Transformação do Processador de Dados
  15. Transformação de Decisão
  16. Transformação de Exceção de Registro Duplicado
  17. Transformação de Expressão
  18. Transformação de Filtro
  19. Transformação Hierárquica para Relacional
  20. Transformação Java
  21. Referência da API da transformação Java
  22. Expressões Java
  23. Transformação de Associador
  24. Transformação de Gerador de Chaves
  25. Transformação de Rotulador
  26. Transformação de Pesquisa
  27. Caches de Pesquisa
  28. Cache de Pesquisa Dinâmica
  29. Transformação de Macro
  30. Transformação de Correspondência
  31. Transformações de Correspondência na Análise de Campos
  32. Transformações de Correspondência na Análise de Identidade
  33. Transformação Normalizador
  34. Transformação de Mesclagem
  35. Transformação de Analisador
  36. Transformação Python
  37. Transformação de Classificação
  38. Transformação de Leitura
  39. Transformação de Relacional para Hierárquica
  40. Transformação de Consumidor de Serviço da Web REST
  41. Transformação de Roteador
  42. Transformação de Gerador de Sequência
  43. Transformação de Ordenador
  44. Transformação SQL
  45. Transformação de Padronizador
  46. Transformação de União
  47. Transformação de Estratégia de Atualização
  48. Transformação de Consumidor de Serviço da Web
  49. Analisando Mensagens SOAP de Serviços da Web
  50. Gerando Mensagens SOAP de Serviços da Web
  51. Transformação de Média Ponderada
  52. Transformação de Janela
  53. Transformação de Gravação
  54. Apêndice A: Delimitadores de Transformação

Guia de Transformação do Developer

Guia de Transformação do Developer

Transformação de Estratégia de Atualização no mecanismo Blaze

Transformação de Estratégia de Atualização no mecanismo Blaze

Algumas regras de processamento para o mecanismo Blaze são diferentes das regras de processamento do Serviço de Integração de Dados.

Restrições gerais

Você pode usar a transformação de Estratégia de Atualização nas distribuições do Hadoop que suportam o Hive ACID.
Se a transformação de Estratégia de Atualização receber várias linhas de atualização para o mesmo valor de chave primária, a transformação selecionará uma linha aleatória para atualizar o destino.
Se várias transformações da Estratégia de Atualização forem gravadas em instâncias diferentes do mesmo destino, os dados de destino poderão ser imprevisíveis.
O mecanismo Blaze executa as operações na seguinte ordem: exclusões, atualizações e inserções. Ele não processa linhas na mesma ordem em que a transformação de Estratégia de Atualização as recebe.
Os destinos do Hive sempre executam as operações Atualizar como Atualização. Os destinos do Hive não suportam Atualizar e Inserir ou Atualizar como Inserção.

Validação de mapeamento e validação de compilação

A validação do mapeamento falha nas seguintes situações:
  • A transformação de Estratégia de Atualização está conectada a mais de um destino.
  • A transformação de Estratégia de Atualização não está localizada imediatamente antes do destino.
  • O destino da Estratégia de Atualização não é um destino do Hive.
  • O destino da transformação de Estratégia de Atualização é uma tabela ACID externa.
  • O destino não contém uma chave primária.
  • A propriedade de destino do Hive para truncar a tabela de destino no tempo de execução é ativada.
  • A propriedade de destino do Hive para criar ou substituir a tabela de destino no tempo de execução é ativada.
O mapeamento falha na seguinte situação:
  • O destino não é ORC com intervalos.
  • O destino do Hive é modificado para ter menos linhas que a tabela real.
Ocorrem erros de validação de compilação e a execução do mapeamento é interrompida nas seguintes situações:
  • A tabela de destino não está ativada para transações.
  • A versão do Hive é anterior à 0.14.

Usando tabelas de destino do Hive

Para usar uma tabela de destino do Hive com uma transformação de Estratégia de Atualização, você deve criar a tabela de destino do Hive com a seguinte cláusula na Linguagem de Definição de Dados do Hive:
TBLPROPERTIES ("transactional"="true")
.
Para usar uma transformação de Estratégia de Atualização com um destino do Hive, verifique se as seguintes propriedades estão configuradas no conjunto de configurações hive-site.xml associado à conexão do Hadoop:
hive.support.concurrency true hive.enforce.bucketing true hive.exec.dynamic.partition.mode nonstrict hive.txn.manager org.apache.hadoop.hive.ql.lockmgr.DbTxnManager hive.compactor.initiator.on true hive.compactor.worker.threads 1