Índice

Search

  1. Prólogo
  2. Programas y utilidades de la línea de comandos
  3. Instalación y configuración de las utilidades de la línea de comandos
  4. Cómo utilizar los programas de la línea de comandos
  5. Variables de entorno para los programas de línea de comandos
  6. Cómo utilizar infacmd
  7. Referencia de comando infacmd as
  8. Referencia del comando infacmd aud
  9. Referencia de comando infacmd autotune
  10. Referencia de comandos de Infacmd bg
  11. Referencia de comando infacmd ccps
  12. Referencia de comandos infacmd cluster
  13. Referencia de comando infacmd cms
  14. Referencia de comando infacmd dis
  15. Referencia de comandos infacmd dp
  16. Referencia de comando infacmd idp
  17. Referencia de comando infacmd edp
  18. Referencia de comandos de infacmd es
  19. Referencia de comando infacmd ihs
  20. Referencia de comando infacmd ipc
  21. Referencia de comando infacmd isp
  22. Referencia de comando infacmd ldm
  23. Referencia de comando infacmd mas
  24. Referencia de comando infacmd mi
  25. Referencia de comando infacmd mrs
  26. Referencia de comando infacmd ms
  27. Referencia de comando infacmd oie
  28. Referencia de comando infacmd ps
  29. Referencia de comando infacmd pwx
  30. Referencia de comando infacmd roh
  31. Referencia de comando infacmd rms
  32. Referencia de comando infacmd rtm
  33. Referencia de comandos de infacmd sch
  34. Referencia de comando infacmd search
  35. Referencia de comando infacmd sql
  36. Referencia de comando infacmd tdm
  37. Referencia de comando infacmd tools
  38. Referencia de comando infacmd wfs
  39. Referencia de comando infacmd ws
  40. Referencia de comando infacmd xrf
  41. Archivos de control de infacmd
  42. Referencia de comando infasetup
  43. Referencia de comando pmcmd
  44. Referencia de comando pmrep
  45. Cómo trabajar con archivos de pmrep

Command Reference

Command Reference

Opciones de conexión de Hive

Opciones de conexión de Hive

Utilice las opciones de conexión para definir una conexión de Hive.
Especifique las opciones de conexión con el siguiente formato:
... -o option_name='valor' option_name='valor' ...
Para especificar varias opciones, sepárelas con un espacio.
La siguiente tabla describe las opciones de conexión de Hive para los comandos infacmd isp CreateConnection y UpdateConnection que se configuran cuando se desea utilizar la conexión de Hive:
Opción
Descripción
connectionType
Obligatorio. El tipo de conexión es HIVE.
name
El nombre de la conexión. No se aplica la distinción entre mayúsculas y minúsculas al nombre, el cual debe ser único en el dominio. Puede cambiar esta propiedad después de crear la conexión. El nombre no puede superar los 128 caracteres, contener espacios ni contener los siguientes caracteres especiales:
~ ` ! $ % ^ & * ( ) - + = { [ } ] | \ : ; " ' < , > . ? /
relationalSourceAndTarget
El modo de conexión de Hive. Establezca esta opción en true si desea utilizar la conexión para acceder al almacén de datos de Hive. Si desea acceder al destino de Hive, debe habilitar la misma conexión u otra conexión de Hive para ejecutar la asignación en el clúster de Hadoop.
Si se habilita el origen y el destino relacional, debe proporcionar la opción metadataDatabaseString.
pushDownMode
El modo de conexión de Hive. Establezca esta opción en true si desea utilizar la conexión para ejecutar asignaciones en el clúster de Hadoop.
Si habilita la conexión para el modo de inserción, debe proporcionar las opciones para ejecutar las asignaciones de Informatica en el clúster de Hadoop.
environmentSQL
Los comandos SQL para establecer el entorno de Hadoop. En el tipo de entorno nativo, el servicio de integración de datos ejecuta el SQL de entorno cada vez que crea una conexión a metastore de Hive. Si la conexión de Hive se utiliza para ejecutar asignaciones en el clúster de Hadoop, el servicio de integración de datos ejecuta el SQL de entorno al inicio de cada sesión de Hive.
Las siguientes reglas y directrices se aplican al uso del SQL de entorno en ambos modos de conexión:
  • Utilice el SQL de entorno para especificar consultas de Hive.
  • Utilice el SQL de entorno para definir la classpath para funciones definidas por el usuario de Hive y, a continuación, use el SQL o PreSQL de entorno para especificar las funciones definidas por el usuario de Hive. No se puede usar PreSQL en las propiedades de objetos de datos para especificar la classpath. Si utiliza funciones de Hive definidas por el usuario, debe copiar los archivos .jar en el siguiente directorio:
    <DirectorioDeInstalaciónDeInformatica>/services/shared/hadoop/<nombre de la distribución de Hadoop>/extras/hive-auxjars
  • También puede usar el SQL de entorno para definir parámetros de Hadoop o Hive que desee utilizar en los comandos PreSQL o en consultas personalizadas.
Si la conexión de Hive se utiliza para ejecutar asignaciones en el clúster de Hadoop, solo se ejecuta el SQL de entorno de la conexión de Hive. Los distintos comandos del SQL de entorno para las conexiones del origen o destino de Hive no se ejecutan, incluso si los orígenes y destinos de Hive se encuentran en diferentes clústeres.
quoteChar
El tipo de carácter que se utiliza para identificar caracteres especiales y palabras clave reservadas de SQL, como WHERE. El servicio de integración de datos coloca el carácter seleccionado alrededor de los caracteres especiales y de las palabras clave reservadas de SQL. El Servicio de integración de datos también utiliza este carácter para la propiedad
Compatibilidad con identificadores mixtos (mayúsculas/minúsculas)
.
clusterConfigId
Identificador de configuración de clúster asociado al clúster de Hadoop. Debe introducir un identificador de configuración para configurar una conexión de Hadoop.

Propiedades para acceder a Hive como origen o destino

La siguiente tabla describe las opciones obligatorias para los comandos infacmd isp CreateConnection y UpdateConnection que se configuran cuando se desea utilizar la conexión de Hive para acceder a datos de Hive:
Propiedad
Descripción
hiveJdbcDriverClassName
El nombre de la clase de controlador JDBC.
metadataConnString
El URI de la conexión de JDBC usado para acceder a los metadatos desde el servidor de Hadoop.
La cadena de conexión tiene el formato siguiente:
jdbc:hive://<nombre de host>:<puerto>/<bd>
Donde
  • nombre de host
    es el nombre o la dirección IP del equipo en que el servidor de Hive esté ejecutándose.
  • puerto
    es el puerto en el que el servidor de Hive está escuchando.
  • bd
    es la base de datos a la que desea conectarse. Si no se proporcionan los detalles de la base de datos, el servicio de integración de datos utiliza los detalles predeterminados de base de datos.
Para conectarse a HiveServer 2, utilice el formato de cadena de conexión que Apache Hive implementa para esa distribución de Hadoop determinada. Para obtener más información acerca de los formatos de cadena de conexión de Apache Hive, consulte la documentación de Apache Hive.
Si el clúster de Hadoop utiliza la autenticación SSL o TLS, debe agregar ssl=true al URI de la conexión de JDBC. Por ejemplo:
jdbc:hive2://<nombre de host>:<puerto>/<bd>;ssl=true
Si utiliza un certificado autofirmado para la autenticación SSL o TLS, asegúrese de que el archivo del certificado esté disponible en la máquina del cliente y en la máquina del servicio de integración de datos. Para obtener más información, consulte la
Guía de integración de clústeres de Informatica Big Data Management
.
bypassHiveJDBCServer
Un modo de controlador JDBC. Habilite esta opción para usar el controlador JDBC incrustado (modo incrustado).
Para utilizar el modo incrustado de JDBC, realice las tareas siguientes:
  • Compruebe que el cliente de Hive y los servicios de Informatica están instalados en el mismo equipo.
  • Configure las propiedades de conexión de Hive para ejecutar asignaciones en el clúster de Hadoop.
Si selecciona el modo no incrustado, debe configurar la cadena de conexión de acceso a los datos.
Se aconseja utilizar el modo incrustado de JDBC antes que el modo no incrustado.
sqlAuthorized
Cuando se selecciona la opción para respetar la autorización SQL específica en un origen de Hive, la asignación respeta las restricciones a nivel de fila y columna en el acceso de datos. Si no selecciona la opción, el motor de tiempo de ejecución Blaze omite las restricciones y los resultados incluirán los datos restringidos.
Aplicable a los clústeres de Hadoop donde estén habilitados los modos de seguridad Sentry o Ranger.
connectString
La cadena de conexión utilizada para acceder a los datos desde el almacén de datos de Hadoop. La cadena de conexión del modo no incrustado de JDBC debe tener el siguiente formato:
jdbc:hive://<nombre de host>:<puerto>/<bd>
Donde
  • nombre de host
    es el nombre o la dirección IP del equipo en que el servidor de Hive esté ejecutándose.
  • puerto
    es el puerto en el que el servidor de Hive está escuchando. El valor predeterminado es 10000.
  • bd
    es la base de datos a la que desea conectarse. Si no se proporcionan los detalles de la base de datos, el servicio de integración de datos utiliza los detalles predeterminados de base de datos.
Para conectarse a HiveServer 2, utilice el formato de cadena de conexión que Apache Hive implementa para esa distribución de Hadoop determinada. Para obtener más información acerca de los formatos de cadena de conexión de Apache Hive, consulte la documentación de Apache Hive.
Si el clúster de Hadoop utiliza la autenticación SSL o TLS, debe agregar ssl=true al URI de la conexión de JDBC. Por ejemplo:
jdbc:hive2://<nombre de host>:<puerto>/<bd>;ssl=true
Si utiliza un certificado autofirmado para la autenticación SSL o TLS, asegúrese de que el archivo del certificado esté disponible en la máquina del cliente y en la máquina del servicio de integración de datos. Para obtener más información, consulte la
Guía de integración de clústeres de Informatica Big Data Management
.

Propiedades para ejecutar asignaciones en el clúster de Hadoop

La siguiente tabla describe las opciones obligatorias para los comandos infacmd isp CreateConnection y UpdateConnection que se configuran cuando se desea utilizar la conexión de Hive para ejecutar asignaciones de Informatica en el clúster de Hadoop:
Propiedad
Descripción
databaseName
Espacio de nombres para las tablas. Utilice el nombre
predeterminado
para tablas que no tienen un nombre de base de datos especificado.
customProperties
Configura o reemplaza las propiedades del clúster de Hadoop o Hive en la configuración de hive-site.xml establecida en el equipo en que se ejecuta el servicio de integración de datos. Puede especificar varias propiedades.
Seleccione
Editar
para especificar el nombre y el valor de la propiedad. La propiedad se muestra con el siguiente formato:
<propiedad1>=<valor>
Si se especifican varias propiedades
&:
aparece como separador de las propiedades.
La longitud máxima para el formato es 1 MB.
Si especifica una propiedad obligatoria para una conexión de Hive, reemplaza la propiedad que configura en Propiedades avanzadas de Hive/Hadoop.
El servicio de integración de datos añade o establece estas propiedades para cada trabajo de asignación y reducción. Puede comprobar estas propiedades en el JobConf de cada trabajo de asignador y reductor. Acceda al JobConf de cada trabajo desde la URL de JobTracker en cada trabajo de asignación y reducción.
El servicio de integración de datos escribe mensajes para estas propiedades en los registros del servicio de integración de datos. El servicio de integración de datos debe tener el nivel de seguimiento de registro definido para registrar cada fila o para detallar el seguimiento de inicialización.
Por ejemplo, especifique las siguientes propiedades para controlar y limitar el número de reductores para ejecutar un trabajo de asignación:
mapred.reduce.tasks=2&:hive.exec.reducers.max=10
stgDataCompressionCodecClass
Nombre de clase del códec que habilita la compresión de datos y mejora el rendimiento en tablas de etapa temporales. El nombre de clase de códec corresponde al tipo de código.
stgDataCompressionCodecType
Biblioteca de compresión de Hadoop para el nombre de clase de un códec de compresión.
Puede elegir Ninguno, Zlib, Gzip, Snappy, Bz2, LZO o Personalizado.
El valor predeterminado es Ninguno.