Índice

Search

  1. Prólogo
  2. Informatica Developer
  3. El repositorio de modelos
  4. Búsquedas en Informatica Developer
  5. Conexiones
  6. Objetos de datos físicos
  7. Objetos de datos de archivo sin formato
  8. Vista lógica de datos
  9. Cómo visualizar datos
  10. Implementación de aplicaciones
  11. Implementación de revisiones de la aplicación
  12. Implementación de revisiones de la aplicación Ejemplo
  13. Integración continua y entrega continua (CI/CD)
  14. Importación y exportación de objetos
  15. Apéndice A: Referencia de tipos de datos
  16. Apéndice B: Accesos directos del teclado
  17. Apéndice C: Propiedades de conexión

Guía de Developer Tool

Guía de Developer Tool

Configuración de Spark

Configuración de Spark

En la tabla siguiente se describen las propiedades de conexión que se configuran para el motor de Spark:
Propiedad
Descripción
Directorio de almacenamiento provisional de Spark
La ruta de acceso del archivo HDFS del directorio que utiliza el motor de Spark para almacenar archivos temporales para ejecutar trabajos. El usuario de YARN, el usuario del servicio de integración de datos y el usuario de suplantación de asignaciones deben tener permiso de escritura sobre este directorio.
Si no especifica una ruta de acceso del archivo, los archivos temporales se escriben de forma predeterminada en el directorio de transferencia provisional de Hadoop
/tmp/SPARK_<nombre de usuario>
.
Cuando se ejecutan trabajos de Sqoop en el motor de Spark, el servicio de integración de datos crea un directorio de transferencia provisional de Sqoop dentro del directorio de almacenamiento provisional de Spark para almacenar los archivos temporales:
<directorio de almacenamiento provisional de Spark>/sqoop_staging
Directorio de registro de eventos de Spark
Opcional. La ruta de acceso a los archivos de HDFS del directorio que utiliza el motor de Spark para registrar eventos.
Nombre de cola de YARN
El nombre de cola del programador de YARN que utiliza el motor de Spark que especifica cuáles son los recursos disponibles en un clúster. El nombre distingue entre mayúsculas y minúsculas.
Propiedades avanzadas
Lista de propiedades avanzadas que son exclusivas del motor de Spark. Las propiedades avanzadas incluyen una lista de propiedades predeterminadas.
Las propiedades en tiempo de ejecución del entorno de Hadoop se pueden configurar en el servicio de integración de datos, en la conexión de Hadoop y en la asignación. Puede reemplazar una propiedad configurada a un alto nivel estableciendo el valor en un nivel inferior. Por ejemplo, si configura una propiedad personalizada del servicio de integración de datos, podrá reemplazarla en la conexión de Hadoop o en la asignación. El servicio de integración de datos procesa las sustituciones de propiedades en función de las siguientes prioridades:
  1. Asignación de propiedades personalizadas configurada mediante
    infacmd ms runMapping
    con la opción
    -cp
  2. Asignación de propiedades en tiempo de ejecución para el entorno de Hadoop
  3. Propiedades avanzadas de la conexión de Hadoop para motores en tiempo de ejecución
  4. Propiedades generales avanzadas, variables de entorno y classpaths de la conexión de Hadoop
  5. Propiedades personalizadas del servicio de integración de datos
Informatica no recomienda cambiar estos valores de propiedad sin consultar antes la documentación de terceros, la documentación de Informatica o con el servicio de atención al cliente global de Informatica. Si cambia un valor sin conocimiento de la propiedad, es posible que experimente degradación del rendimiento u otros resultados inesperados.