Índice

Search

  1. Prólogo
  2. Programas y utilidades de la línea de comandos
  3. Instalación y configuración de las utilidades de la línea de comandos
  4. Cómo utilizar los programas de la línea de comandos
  5. Variables de entorno para los programas de línea de comandos
  6. Cómo utilizar infacmd
  7. Referencia de comando infacmd as
  8. Referencia del comando infacmd aud
  9. Referencia de comando infacmd autotune
  10. Referencia de comandos de Infacmd bg
  11. Referencia de comando infacmd ccps
  12. Referencia de comandos infacmd cluster
  13. Referencia de comando infacmd cms
  14. Referencia de comando infacmd dis
  15. Referencia de comandos infacmd dp
  16. Referencia de comando infacmd idp
  17. Referencia de comando infacmd edp
  18. Referencia de comandos de infacmd es
  19. Referencia de comando infacmd ihs
  20. Referencia de comando infacmd ipc
  21. Referencia de comando infacmd isp
  22. Referencia de comando infacmd ldm
  23. Referencia de comando infacmd mas
  24. Referencia de comando infacmd mi
  25. Referencia de comando infacmd mrs
  26. Referencia de comando infacmd ms
  27. Referencia de comando infacmd oie
  28. Referencia de comando infacmd ps
  29. Referencia de comando infacmd pwx
  30. Referencia de comando infacmd roh
  31. Referencia de comando infacmd rms
  32. Referencia de comando infacmd rtm
  33. Referencia de comandos de infacmd sch
  34. Referencia de comando infacmd search
  35. Referencia de comando infacmd sql
  36. Referencia de comando infacmd tdm
  37. Referencia de comando infacmd tools
  38. Referencia de comando infacmd wfs
  39. Referencia de comando infacmd ws
  40. Referencia de comando infacmd xrf
  41. Archivos de control de infacmd
  42. Referencia de comando infasetup
  43. Referencia de comando pmcmd
  44. Referencia de comando pmrep
  45. Cómo trabajar con archivos de pmrep

Command Reference

Command Reference

Opciones de conexión de Hadoop

Opciones de conexión de Hadoop

Use las opciones de conexión para definir una conexión de Hadoop.
Especifique las opciones de conexión con el siguiente formato:
... -o option_name='value' option_name='value' ...
Para especificar varias opciones, sepárelas con un espacio.
Para introducir propiedades avanzadas, utilice el siguiente formato:
... -o engine_nameAdvancedProperties="'advanced.property.name=value'"
Por ejemplo:
... -o blazeAdvancedProperties="'infrgrid.orchestrator.svc.sunset.time=3'"
La tabla siguiente describe las opciones de conexión a Hadoop para los comandos infacmd isp CreateConnection y UpdateConnection:
Opción
Descripción
connectionId
Cadena que utiliza el servicio de integración de datos para identificar la conexión. El ID no distingue entre mayúsculas y minúsculas. Debe tener 255 caracteres o menos y debe ser único en el dominio. No puede modificar esta propiedad después de crear la conexión. El valor predeterminado es el nombre de la conexión.
connectionType
Obligatorio. El tipo de conexión es Hadoop.
name
El nombre de la conexión. No se aplica la distinción entre mayúsculas y minúsculas al nombre, el cual debe ser único en el dominio. Puede cambiar esta propiedad después de crear la conexión. El nombre no puede superar los 128 caracteres, contener espacios ni contener los siguientes caracteres especiales:
~ ` ! $ % ^ & * ( ) - + = { [ } ] | \ : ; " ' < , > . ? /
blazeJobMonitorURL
El nombre de host y el número de puerto del supervisor de trabajos de Blaze.
Use el siguiente formato:
<nombre de host>:<puerto>
Donde
  • <nombre de host> es el nombre de host o la dirección IP del servidor del supervisor de trabajo de Blaze.
  • <puerto> es el puerto en el que el supervisor de trabajo de Blaze escucha las llamadas a procedimientos remotos (RPC).
Por ejemplo, escriba:
myhostname:9080
blazeYarnQueueName
El nombre de la cola del programador YARN utilizada por el motor Blaze que especifica los recursos disponibles en un clúster. El nombre distingue entre mayúsculas y minúsculas.
blazeAdvancedProperties
Propiedades avanzadas que son exclusivas del motor de Blaze.
Para introducir varias propiedades, separe cada par nombre-valor con el siguiente texto:
&:
.
Use las propiedades personalizadas de Informatica solo si se lo solicita el servicio de atención al cliente de Informatica.
blazeMaxPort
El valor máximo del intervalo de números de puerto para el motor Blaze.
El valor predeterminado es 12600
blazeMinPort
El valor mínimo del intervalo de números de puerto para el motor Blaze.
El valor predeterminado es 12300
blazeUserName
El dueño del servicio de Blaze y de sus registros.
Cuando el clúster de Hadoop utiliza la autenticación Kerberos, el usuario predeterminado es el usuario de SPN del servicio de integración de datos. Cuando el clúster de Hadoop no utiliza la autenticación Kerberos y el usuario de Blaze no está configurado, el usuario predeterminado es el usuario del servicio de integración de datos.
blazeStagingDirectory
La ruta de archivo HDFS del directorio que usa el motor Blaze para almacenar archivos temporales. Asegúrese de que el directorio exista. El usuario de YARN, el usuario del motor Blaze y la suplantación de usuario de la asignación deben tener permiso de escritura en este directorio.
El valor predeterminado es
/blaze/workdir
. Si se borra esta propiedad, los archivos de transferencia provisional se escriben en el directorio de transferencia provisional de Hadoop
/tmp/blaze_<nombre de usuario>
.
clusterConfigId
Identificador de configuración de clúster asociado al clúster de Hadoop. Debe introducir un identificador de configuración para configurar una conexión de Hadoop.
hiveStagingDatabaseName
Espacio de nombres para tablas de ensayo de Hive. Utilice el nombre
predeterminado
para tablas que no tienen un nombre de base de datos especificado.
engineType
Motor de ejecución para ejecutar tareas de HiveServer2 en el motor de Spark. El valor predeterminado es MRv2. Puede elegir MRv2 o Tez en función del tipo de motor que utiliza la distribución de Hadoop:
  • Amazon EMR: Tez
  • Azure HDI: Tez
  • Cloudera CDH: MRv2
  • Cloudera CDP: Tez
  • Hortonworks HDP: Tez
  • MapR: MRv2
environmentSQL
Los comandos SQL para establecer el entorno de Hadoop. El servicio de integración de datos ejecuta los comandos SQL de configuración de entorno al principio de cada script generado en un plan de ejecución de Hive.
El uso de comandos SQL de entorno se rige por las siguientes reglas y directrices:
  • Utilice el SQL de entorno para especificar consultas de Hive.
  • Utilice el SQL de entorno para definir la classpath de las funciones definidas por el usuario de Hive y, a continuación, use el SQL o PreSQL de entorno para especificar las funciones definidas por el usuario de Hive. No se puede usar PreSQL en las propiedades de objetos de datos para especificar la classpath. Si utiliza funciones definidas por el usuario de Hive, debe copiar los archivos .jar en el siguiente directorio:
    <directorio de instalación de Informatica>/services/shared/hadoop/<nombre de distribución de Hadoop>/extras/hive-auxjars
    .
  • También puede usar el SQL de entorno para definir los parámetros de Hadoop o Hive que desea utilizar en los comandos PreSQL o en las consultas personalizadas.
hadoopExecEnvExecutionParameterList
Propiedades personalizadas exclusivas de la conexión de Hadoop.
Puede especificar varias propiedades.
Use el siguiente formato:
<property1>=<value>
Para especificar varias propiedades, escríbalas separadas por
&:
.
Si hay más de una conexión Hadoop asociada a la misma configuración de clúster, puede reemplazar los valores de la propiedad del conjunto de configuración.
Use las propiedades personalizadas de Informatica solo si se lo solicita el servicio de atención al cliente de Informatica.
hadoopRejDir
Directorio remoto al que el servicio de integración de datos mueve los archivos de rechazo cuando se ejecutan asignaciones.
Habilite el directorio de rechazo mediante rejDirOnHadoop.
impersonationUserName
Obligatorio si el clúster Hadoop utiliza la autenticación Kerberos. Usuario de suplantación de Hadoop. El nombre de usuario que suplanta el servicio de integración de datos para ejecutar asignaciones en el entorno Hadoop.
El servicio de integración de datos ejecuta asignaciones basadas en el usuario configurado. Consulte el orden siguiente para determinar qué usuario utiliza los servicios de integración de datos para ejecutar asignaciones:
  1. Usuario del perfil del sistema operativo. La asignación se ejecuta con el usuario del perfil del sistema operativo si el usuario del perfil está configurado. Si no hay un usuario del perfil del sistema operativo, la asignación se ejecuta con el usuario de suplantación de Hadoop.
  2. Usuario de suplantación de Hadoop. La asignación se ejecuta con el usuario de suplantación de Hadoop si el usuario del perfil del sistema operativo no está configurado. Si el usuario de suplantación de Hadoop no está configurado, el servicio de integración de datos ejecuta las asignaciones con el usuario del servicio de integración de datos.
  3. Usuario del servicio de integración de datos. La asignación se ejecuta con el usuario del servicio de integración de datos si el usuario del perfil del sistema operativo y el usuario de suplantación de Hadoop no están configurados.
hiveWarehouseDirectoryOnHDFS
Opcional. La ruta de acceso absoluta al archivo HDFS de la base de datos predeterminada para el almacén que es local en el clúster.
Si no configura el directorio de almacén Hive, el motor de Hive intentará escribir primero en el directorio especificado en la propiedad de configuración del clúster
hive.metastore.warehouse.dir
. Si la configuración del clúster no tiene la propiedad, el motor de Hive escribirá en el directorio predeterminado
/user/hive/warehouse
.
metastoreDatabaseDriver
Nombre de clase del controlador del almacén de datos de JDBC. Por ejemplo, el siguiente nombre de clase especifica un controlador de MySQL:
com.mysql.jdbc.Driver
Puede encontrar el valor del controlador de base de datos metastore en el archivo hive-site.xml. El controlador de base de datos metastore aparece como la siguiente propiedad en hive-site.xml:
<property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> </property>
metastoreDatabasePassword
La contraseña del nombre de usuario de metastore.
Puede encontrar el valor de la contraseña en el archivo hive-site.xml. La contraseña de la base de datos metastore aparece como la siguiente propiedad en hive-site.xml:
<property> <name>javax.jdo.option.ConnectionPassword</name> <value>password</value> </property>
metastoreDatabaseURI
El URI de la conexión de JDBC que se usa para acceder a los datos guardados en una configuración de metastore local. Utilice la siguiente URI de conexión:
jdbc:<tipo de almacén de datos>://<nombre de nodo>:<puerto>/<nombre de base de datos>
donde
  • <nombre de nodo> es el nombre de host o la dirección IP del almacén de datos.
  • <tipo de almacén de datos> es el tipo del almacén de datos.
  • <puerto> es el puerto en el que el almacén de datos escucha las llamadas a procedimientos remotos (RPC).
  • <nombre de base de datos> es el nombre de la base de datos.
Por ejemplo, el siguiente URI especifica un metastore local que utiliza MySQL como almacén de datos:
jdbc:mysql://hostname23:3306/metastore
Puede encontrar el valor de la URI de la base de datos metastore en el archivo hive-site.xml. El URI de la base de datos metastore aparece como la siguiente propiedad en hive-site.xml:
<property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://MYHOST/metastore</value> </property>
metastoreDatabaseUserName
El nombre de usuario de la base de datos de metastore.
Puede encontrar el nombre del usuario de la base de datos metastore en el archivo hive-site.xml. El nombre de usuario de la base de datos metastore aparece como la siguiente propiedad en hive-site.xml:
<property> <name>javax.jdo.option.ConnectionUserName</name> <value>hiveuser</value> </property>
metastoreMode
Determina si la conexión se realiza a un metastore remoto o un metastore local. De forma predeterminada, local está seleccionado. Si el metastore es local, debe especificar la URI, el controlador, el nombre de usuario y la contraseña de la base de datos metastore. Si el metastore es remoto, debe especificar solamente el
URI del metastore remoto
.
Puede encontrar el valor del modo de ejecución de metastore en el archivo hive-site.xml. El modo de ejecución de metastore aparece como la siguiente propiedad en hive-site.xml:
<property> <name>hive.metastore.local</name> <value>true</true> </property>
La propiedad
hive.metastore.local
en el archivo hive-site.xml es obsoleta para servidores Hive a partir de la versión 0.9. Si la propiedad
hive.metastore.local
no existe, pero la propiedad
hive.metastore.uris
sí, y sabe que el servidor Hive está iniciado, puede configurar la conexión a un metastore remoto.
remoteMetastoreURI
El URI de metastore utilizado para acceder a los metadatos en una configuración de metastore remoto. Para un metastore remoto, debe especificar los detalles del servidor Thrift.
Utilice la siguiente URI de conexión:
thrift://<nombre de host>:<puerto>
Donde
  • <nombre de host> es el nombre o la dirección IP del servidor de metastore de Thrift.
  • <puerto> es el puerto en el que el servidor Thrift está escuchando.
Por ejemplo, escriba.
thrift://myhostname:9083/
Puede encontrar el valor de la URI del metastore remoto en el archivo hive-site.xml. El URI del metastore remoto aparece como la siguiente propiedad en hive-site.xml:
<property> <name>hive.metastore.uris</name> <value>thrift://<n.n.n.n>:9083</value> <description> IP address or fully-qualified domain name and port of the metastore host</description> </property>
rejDirOnHadoop
Habilita hadoopRejDir. Se utiliza para especificar una ubicación a la que mover los archivos de rechazo cuando se ejecutan asignaciones.
Si está habilitada, el servicio de integración de datos desplaza los archivos de asignación a la ubicación HDFS especificada en hadoopRejDir.
De forma predeterminada, el servicio de integración de datos almacena los archivos de asignación sobre la base del parámetro del sistema RejectDir.
sparkEventLogDir
Opcional. La ruta de acceso a los archivos de HDFS del directorio que utiliza el motor de Spark para registrar eventos.
sparkAdvancedProperties
Propiedades avanzadas que son exclusivas del motor de Spark.
Para introducir varias propiedades, separe cada par nombre-valor con el siguiente texto:
&:
.
Use las propiedades personalizadas de Informatica solo si se lo solicita el servicio de atención al cliente de Informatica.
sparkStagingDirectory
La ruta de acceso del archivo HDFS del directorio que utiliza el motor de Spark para almacenar archivos temporales para ejecutar trabajos. El usuario de YARN, el usuario del servicio de integración de datos y el usuario de suplantación de asignaciones deben tener permiso de escritura sobre este directorio.
De forma predeterminada, los archivos temporales se escriben en el directorio de transferencia provisional de Hadoop
/tmp/spark_<nombre de usuario>
.
sparkYarnQueueName
El nombre de cola del programador de YARN que utiliza el motor de Spark que especifica cuáles son los recursos disponibles en un clúster. El nombre distingue entre mayúsculas y minúsculas.
stgDataCompressionCodecClass
Nombre de clase del códec que habilita la compresión de datos y mejora el rendimiento en tablas de etapa temporales. El nombre de clase de códec corresponde al tipo de código.
stgDataCompressionCodecType
Biblioteca de compresión de Hadoop para el nombre de clase de un códec de compresión.
Puede elegir Ninguno, Zlib, Gzip, Snappy, Bz2, LZO o Personalizado.
El valor predeterminado es Ninguno.