Sumário

Search

  1. Prefácio
  2. Parte   1: Versão 10.4.1
  3. Parte   2: Versão 10.4.0
  4. Parte   3: Versão 10.2.2
  5. Parte   4: Versão 10.2.1
  6. Parte   5: Versão 10.2
  7. Parte   6: Versão 10.1.1
  8. Parte   7: Versão 10.1

Guia de Versão (10.4.1.1)

Guia de Versão (10.4.1.1)

Hive Warehouse Connector e Hive LLAP

Hive Warehouse Connector e Hive LLAP

A partir da versão 10.4.0.1, você pode ativar o Hive Warehouse Connector e o Hive LLAP ao executar mapeamentos no mecanismo Spark. Anteriormente, eles estavam disponíveis para visualização técnica.
Use o Hive Warehouse Connector e o Hive LLAP para a execução mais rápida de consultas do Hive ao ler e gravar em tabelas Hive com o mecanismo Spark. Você pode usar o Hive Warehouse Connector e o Hive LLAP com clusters do Hortonworks HDP 3.x e o Microsoft Azure HDInsight 4.x no mecanismo Spark.
Para habilitar o Hive Warehouse Connector e o Hive LLAP, configure as seguintes propriedades nas propriedades avançadas do Spark para a conexão Hadoop:
  • infaspark.useHiveWarehouseAPI=true
  • spark.datasource.hive.warehouse.load.staging.dir=<temporário do HDFS para gravar em tabelas Hive>
  • spark.datasource.hive.warehouse.metastoreUri=<URI do metastore Hive>
    Use o valor de
    hive.metastore.uris
    nas propriedades de configuração do cluster hive_site_xml.
  • spark.hadoop.hive.llap.daemon.service.hosts=<Nome de aplicativo do serviço LLAP>
    Copie o valor de
    hive.llap.daemon.service.hosts
    nas propriedades de configuração do cluster hive_site_xml.
  • spark.hadoop.hive.zookeeper.quorum=<hosts do Zookeeper usados pelo Hive LLAP>
    Copie o valor de
    hive.zookeeper.quorum
    nas propriedades de configuração do cluster hive_site_xml.
  • spark.sql.hive.hiversever2.jdbc.url=<URL do HiveServer2 Interactive.
    Use o valor em Ambari para o URL JDBC do HiveServer2.
Para obter mais informações, consulte o
Guia do Usuário do Data Engineering Integration 10.4.1
.