Criando um objeto de dados de arquivo complexo com base em uma fonte de dados Avro ou Parquet
Criando um objeto de dados de arquivo complexo com base em uma fonte de dados Avro ou Parquet
É possível criar um objeto de dados de arquivo complexo com base em uma fonte de dados Avro ou Parquet com
Arquivo
ou
Conexão
como o tipo de acesso. É possível criar um perfil de coluna no objeto de dados.
Na exibição
Object Explorer
, selecione um projeto.
Clique em
Arquivo
Novo
Objeto de Dados
.
A caixa de diálogo
Novo
é exibida.
Selecione
Objetos de Dados Físicos
Objeto de Dados de Arquivo Complexo
e clique em
Avançar
.
A caixa de diálogo
Novo Objeto de Dados de Arquivo Complexo
é exibida.
Insira um nome para o objeto de dados.
Você pode escolher o tipo de acesso como
Conexão
ou
Arquivo
.
Se você escolher o Tipo de Acesso como
Conexão
, siga as seguintes etapas:
Clique em
Procurar
para escolher uma conexão HDFS.
Na caixa de diálogo
Escolher Conexão
, escolha uma fonte de dados e clique em
OK
.
Na caixa de diálogo
Novo Objeto de Dados de Arquivo Complexo
, clique em
Concluir
.
O objeto de dados é exibido na pasta de projeto.
Se você escolher o Tipo de Acesso como
Arquivo
e o Formato do Recurso como
Binário
, siga as seguintes etapas:
Clique em
Procurar
para escolher um arquivo Avro ou Parquet na máquina local.
Na caixa de diálogo
Novo Objeto de Dados de Arquivo Complexo
, clique em
Concluir
.
O objeto de dados é exibido na pasta de projeto.
Selecione o objeto de dados na pasta do projeto e clique na exibição
Operações de Objeto de Dados
.
Na exibição
Operações de Objeto de Dados
, clique na guia
Leitura
Avançado
.
Na guia
Avançado
, insira o caminho do arquivo da fonte de dados na máquina Linux ou Windows no campo
Caminho do arquivo
.
Insira o Formato do Arquivo como
Entrada Personalizada
.
Insira
com.informatica.avro.AvroToXML
no campo
Formato de Entrada
para fontes de dados Avro e
com.informatica.parquet.ParquetToXML
no campo
Formato de Entrada
para fontes de dados Parquet. Quando você adiciona o formato de entrada, a Transformação de Processador de Dados processa e transforma as fontes de dados no formato Avro ou Parquet em uma fonte de dados no formato XML em Tempo de execução.
Se você escolher o Tipo de Acesso como
Arquivo
e o Formato do Recurso como
Avro
ou
Parquet
, siga as seguintes etapas:
Clique em
Procurar
para escolher um arquivo Avro ou Parquet na máquina local.
Na caixa de diálogo
Novo Objeto de Dados de Arquivo Complexo
, clique em
Concluir
.
O objeto de dados é exibido na pasta de projeto.
Depois de criar o objeto de dados, navegue até a guia
Operações de Objeto de Dados
Leitura
Avançado
e verifique se o caminho do arquivo no campo
Caminho de arquivo
corresponde à fonte de dados na máquina Linux ou Windows.
Você pode escolher o Formato do Recurso como
Avro
ou
Parquet
somente para fontes de dados estruturadas simples Avro e Parquet.
Você pode escolher uma pasta com vários arquivos Avro ou Parquet para criar um objeto de dados. Depois de criar o objeto de dados, navegue até a guia
Operações de Objeto de Dados
Leitura
Avançado
e verifique se o caminho do arquivo no campo
Caminho de arquivo
aponta para a pasta das fontes de dados na máquina Linux ou Windows.