Novidades e mudanças (10.5.1)

Anterior Avançar

Transformação Python

Se você atualizar para a versão 10.2.2, a transformação Python poderá processar dados com mais eficiência no Big Data Management.

Para experimentar as melhorias no desempenho, configure as seguintes propriedades avançadas do Spark na conexão Hadoop:

infaspark.pythontx.exec: Necessário para executar uma transformação do Python no mecanismo Spark para o Data Engineering Integration. O local do binário executável do Python nos nós de trabalho no cluster Hadoop.

Por exemplo, defina como:
infaspark.pythontx.exec=/usr/bin/python3.4

Se você usar a instalação do Python na máquina do Serviço de Integração de Dados, defina o valor como o binário executável do Python no diretório de instalação Informatica no computador do Serviço de Integração de Dados.

Por exemplo, defina como:
infaspark.pythontx.exec=INFA_HOME/services/shared/spark/python/lib/python3.4
infaspark.pythontx.executorEnv.PYTHONHOME: Necessário para executar uma transformação do Python no mecanismo Spark para o Data Engineering Integration e Data Engineering Streaming. A localização do diretório de instalação do Python nos nós de trabalho no cluster Hadoop.

Por exemplo, defina como:
infaspark.pythontx.executorEnv.PYTHONHOME=/usr

Se você usar a instalação do Python na máquina do Serviço de Integração de Dados, use o local do diretório de instalação do Python na máquina do Serviço de Integração de Dados.

Por exemplo, defina como:
infaspark.pythontx.executorEnv.PYTHONHOME= INFA_HOME/services/shared/spark/python/

Depois de configurar as propriedades avançadas, o mecanismo Spark não usa o Jep para executar o código Python na transformação Python.

Para obter mais informações sobre a instalação do Python, consulte o

Guia de Integração do Informatica Big Data Management 10.2.2

Enviar comentários