Guia de Versão (10.4.1.1)

Anterior Avançar

Suporte para Amazon Glue Metastore

A partir da versão 10.4.1.1, você pode acessar o Amazon Glue como o metastore do Hive com um cluster do Amazon EMR 5.29.

O Amazon Glue é o serviço ETL da Amazon.O cluster do Amazon EMR 5.29 pode usar o Glue como o metastore do Hive.

O Amazon Glue é compatível apenas quando o cluster EMR não está habilitado para Kerberos.

Para habilitar a integração com um cluster EMR com Glue, execute as tarefas nesta seção.

Habilite o suporte para Glue como o metastore do Hive copiando arquivos .jar do cluster do Amazon EMR para o domínio Informatica:

Copie o arquivo hive-exec-1.2.1-spark2-amzn-1.jar do diretório

/usr/lib/spark/jars/

do cluster do EMR 5.29 habilitado para Glue e cole-o no seguinte local:

<Informatica home>/services/shared/spark/lib_spark_2.4.3_hadoop_2.7.0

Substitua o arquivo hive-exec-1.2.1-spark2-amzn-1.jar existente no diretório.

Copie o arquivo aws-glue-datacatalog-spark-client-1.11.0.jar do diretório

/usr/share/aws/hmclient/lib

do cluster do EMR 5.29 habilitado para Glue para o seguinte local:

<Informatica home>/services/shared/spark/lib_spark_2.4.3_hadoop_2.7.0

Quando a propriedade hive-metastore-uris não está presente em hive-site.xml, defina a seguinte propriedade em hive-site.xml no cluster:

hive-metastore-uris=thrift://<Hive host name>:<port>

Para conhecer as limitações relacionadas ao suporte para Glue, consulte as

Notas de versão do Informatica 10.4.1.1.

Para obter mais informações sobre o Amazon Glue, consulte https://aws.amazon.com/glue/. Para obter informações sobre o suporte da Informatica para Amazon Glue, consulte a Matriz de Disponibilidade do Produto em https://network.informatica.com/community/informatica-network/product-availability-matrices.

Enviar comentários