Pythonトランスフォーメーションは、Pythonコードを使用してトランスフォーメーション機能を定義するためのインタフェースを提供します。

Pythonは、シンプルな構文、動的型付け、および動的バインディングを使用する言語であるため、生産性の向上や高速アプリケーション開発を行う場合に最適な選択です。データエンジニアリングマッピングでPythonコードを使用する場合、Pythonコードは生成済みScalaコードに組み込まれます。SparkまたはDatabricks Sparkエンジンは、これを実行して大規模で多様な急速に変化するデータセットを処理します。

Pythonトランスフォーメーションを機械学習に使用することもできます。このトランスフォーメーションでは、トレーニング済みモデル含むリソースファイルを指定して、Pythonコードにトレーニング済みモデルをロードできます。例えば、トレーニング済みモデルをロードして、入力データの分類や予測の作成ができます。

Pythonトランスフォーメーションを使用するには、Hadoop接続またはDatabrick接続プロパティで対応するSpark詳細プロパティを設定します。次に、クラスタの作業ノードにPythonがインストールされていることを確認します。

Pythonのインストールの詳細については、

Data Engineering Integrationガイド

を参照してください。