Índice

Search

  1. Prólogo
  2. Descripción de dominios
  3. Administración de su cuenta
  4. Uso de Informatica Administrator
  5. Usar la vista Dominio
  6. Administración de dominios
  7. Nodos
  8. Alta disponibilidad
  9. Conexiones
  10. Propiedades de conexión
  11. Programaciones
  12. Exportación e importación de objetos de dominio
  13. Administración de licencias
  14. Supervisión
  15. Administración de registros
  16. Informes de dominio
  17. Diagnósticos de nodos
  18. Descripción de la globalización
  19. Apéndice A: Páginas de códigos
  20. Apéndice B: Funciones personalizadas
  21. Apéndice C: Conectividad de Informatica Platform
  22. Apéndice D: Configuración del navegador web

Guía del administrador

Guía del administrador

Configuración de Spark

Configuración de Spark

En la tabla siguiente se describen las propiedades de conexión que se configuran para el motor de Spark:
Propiedad
Descripción
Directorio de almacenamiento provisional de Spark
La ruta de acceso del archivo HDFS del directorio que utiliza el motor de Spark para almacenar archivos temporales para ejecutar trabajos. El usuario de YARN, el usuario del servicio de integración de datos y el usuario de suplantación de asignaciones deben tener permiso de escritura sobre este directorio.
Si no especifica una ruta de acceso del archivo, los archivos temporales se escriben de forma predeterminada en el directorio de transferencia provisional de Hadoop
/tmp/SPARK_<nombre de usuario>
.
Cuando se ejecutan trabajos de Sqoop en el motor de Spark, el servicio de integración de datos crea un directorio de transferencia provisional de Sqoop dentro del directorio de almacenamiento provisional de Spark para almacenar los archivos temporales:
<directorio de almacenamiento provisional de Spark>/sqoop_staging
Directorio de registro de eventos de Spark
Opcional. La ruta de acceso a los archivos de HDFS del directorio que utiliza el motor de Spark para registrar eventos.
Nombre de cola de YARN
El nombre de cola del programador de YARN que utiliza el motor de Spark que especifica cuáles son los recursos disponibles en un clúster. El nombre distingue entre mayúsculas y minúsculas.
Propiedades avanzadas
Lista de propiedades avanzadas que son exclusivas del motor de Spark. Las propiedades avanzadas incluyen una lista de propiedades predeterminadas.
Las propiedades en tiempo de ejecución del entorno de Hadoop se pueden configurar en el servicio de integración de datos, en la conexión de Hadoop y en la asignación. Puede reemplazar una propiedad configurada a un alto nivel estableciendo el valor en un nivel inferior. Por ejemplo, si configura una propiedad personalizada del servicio de integración de datos, podrá reemplazarla en la conexión de Hadoop o en la asignación. El servicio de integración de datos procesa las sustituciones de propiedades en función de las siguientes prioridades:
  1. Asignación de propiedades personalizadas configurada mediante
    infacmd ms runMapping
    con la opción
    -cp
  2. Asignación de propiedades en tiempo de ejecución para el entorno de Hadoop
  3. Propiedades avanzadas de la conexión de Hadoop para motores en tiempo de ejecución
  4. Propiedades generales avanzadas, variables de entorno y classpaths de la conexión de Hadoop
  5. Propiedades personalizadas del servicio de integración de datos
Informatica no recomienda cambiar estos valores de propiedad sin consultar antes la documentación de terceros, la documentación de Informatica o con el servicio de atención al cliente global de Informatica. Si cambia un valor sin conocimiento de la propiedad, es posible que experimente degradación del rendimiento u otros resultados inesperados.