A partir da versão 10.4.0.1, você pode ativar o Hive Warehouse Connector e o Hive LLAP ao executar mapeamentos no mecanismo Spark. Anteriormente, eles estavam disponíveis para visualização técnica.
Use o Hive Warehouse Connector e o Hive LLAP para a execução mais rápida de consultas do Hive ao ler e gravar em tabelas Hive com o mecanismo Spark. Você pode usar o Hive Warehouse Connector e o Hive LLAP com clusters do Hortonworks HDP 3.x e o Microsoft Azure HDInsight 4.x no mecanismo Spark.
Para habilitar o Hive Warehouse Connector e o Hive LLAP, configure as seguintes propriedades nas propriedades avançadas do Spark para a conexão Hadoop:
infaspark.useHiveWarehouseAPI=true
spark.datasource.hive.warehouse.load.staging.dir=<temporário do HDFS para gravar em tabelas Hive>
spark.datasource.hive.warehouse.metastoreUri=<URI do metastore Hive>
Use o valor de
hive.metastore.uris
nas propriedades de configuração do cluster hive_site_xml.
spark.hadoop.hive.llap.daemon.service.hosts=<Nome de aplicativo do serviço LLAP>
Copie o valor de
hive.llap.daemon.service.hosts
nas propriedades de configuração do cluster hive_site_xml.
spark.hadoop.hive.zookeeper.quorum=<hosts do Zookeeper usados pelo Hive LLAP>
Copie o valor de
hive.zookeeper.quorum
nas propriedades de configuração do cluster hive_site_xml.
spark.sql.hive.hiversever2.jdbc.url=<URL do HiveServer2 Interactive.
Use o valor em Ambari para o URL JDBC do HiveServer2.
Para obter mais informações, consulte o
Guia do Usuário do Data Engineering Integration 10.4.1