Novedades y cambios(10.5.3)

Anterior Siguiente

Transformación de Python

Si actualiza a la versión 10.2.2, la transformación de Python puede procesar datos de forma más efectiva en Big Data Management.

Para disfrutar de mejoras en el rendimiento, configure las siguientes propiedades avanzadas de Spark en la conexión de Hadoop:

infaspark.pythontx.exec: Es necesario para ejecutar una transformación de Python en el motor de Spark para Data Engineering Integration. La ubicación del archivo binario ejecutable de Python en los nodos de trabajo en el clúster de Hadoop.

Por ejemplo, establézcalo en:
infaspark.pythontx.exec=/usr/bin/python3.4

Si usa la instalación de Python en el equipo del servicio de integración de datos, establezca el valor en el archivo binario ejecutable de Python en el directorio de instalación de Informatica del equipo del servicio de integración de datos.

Por ejemplo, establézcalo en:
infaspark.pythontx.exec=INFA_HOME/services/shared/spark/python/lib/python3.4
infaspark.pythontx.executorEnv.PYTHONHOME: Es necesario para ejecutar una transformación de Python en el motor de Spark para Data Engineering Integration y Data Engineering Streaming. La ubicación del directorio de instalación de Python en los nodos de trabajo del clúster de Hadoop.

Por ejemplo, establézcalo en:
infaspark.pythontx.executorEnv.PYTHONHOME=/usr

Si usa la instalación de Python en el equipo del servicio de integración de datos, use la ubicación del directorio de instalación de Python en el equipo del servicio de integración de datos.

Por ejemplo, establézcalo en:
infaspark.pythontx.executorEnv.PYTHONHOME= INFA_HOME/services/shared/spark/python/

Después de configurar las propiedades avanzadas, el motor de Spark no usa Jep para ejecutar el código de Python en la transformación de Python.

Para obtener información acerca de cómo instalar Python, consulte la

Guía de integración de Informatica Big Data Management 10.2.2

Enviar comentarios