Utilice Hive Warehouse Connector y LLAP de Hive para ejecutar con mayor rapidez las consultas de Hive cuando lea tablas de Hive y escriba en ellas con el motor de Spark. Puede usar Hive Warehouse Connector y LLAP de Hive con clústeres de Hortonworks HDP 3.x y Microsoft Azure HDInsight 4.x en el motor de Spark.

Para habilitar Hive Warehouse Connector y LLAP de Hive, configure las siguientes propiedades avanzadas de Spark para la conexión de Hadoop:

infaspark.useHiveWarehouseAPI=true
spark.datasource.hive.warehouse.load.staging.dir=<Directorio temporal de HDFS para escribir en tablas de Hive>
spark.datasource.hive.warehouse.metastoreUri=<URI para el metastore de Hive>
Use el valor para
hive.metastore.uris
de las propiedades de configuración del clúster hive_site_xml.
spark.hadoop.hive.llap.daemon.service.hosts=<Nombre de aplicación para el servicio de LLAP>
Use el valor para
hive.llap.daemon.service.hosts
de las propiedades de configuración del clúster hive_site_xml.
spark.hadoop.hive.zookeeper.quorum=<Hosts de Zookeeper que utiliza LLAP de Hive>
Use el valor para
hive.zookeeper.quorum
de las propiedades de configuración del clúster hive_site_xml.
spark.sql.hive.hiversever2.jdbc.url=<URL de HiveServer2 Interactive.
Use el valor en Ambari para HiveServer2 JDBC URL.

Para obtener más información, consulte la

Guía del usuario de Data Engineering Integration 10.4.1

.