目次

Search

  1. はじめに
  2. 詳細クラスタ
  3. AWSの設定
  4. Google Cloudの設定
  5. Microsoft Azureの設定
  6. セルフサービスクラスタの設定
  7. ローカルクラスタの設定
  8. 詳細設定
  9. トラブルシューティング
  10. 付録 A: コマンドリファレンス

詳細クラスタ

詳細クラスタ

Gravitonのガイドラインと制限

Gravitonのガイドラインと制限

以下のガイドラインと制限は、Gravitonワーカーインスタンスタイプに適用されます。
  • Gravitonワーカーインスタンスタイプでは、
    rand
    などの数値関数や
    is_date
    などの特殊関数といった一部の式関数がサポートされていません。
  • 詳細設定
    ページのEBSボリュームサイズ構成は、Gravitonでストレージスケーリングがサポートされないため、Gravitonワーカーインスタンスタイプには適用されません。
  • GravitonワーカーインスタンスタイプでJavaトランスフォーメーションまたはPythonトランスフォーメーションを使用することはできません。
  • エスケープ文字、複数のカラム区切り文字、複数の文字による引用符、\n以外の改行、およびスキップする先頭の行数が複数に設定されたフラットファイルを含むマッピングを実行することはできません。
  • Gravitonワーカーインスタンスタイプでスナッピー圧縮されたParquetソースを使用することはできません。
  • マッピングの複雑さによっては、libsの非互換性エラーが発生する場合があります。Sparkドライバのログを確認し、java.lang.UnsatisfiedLinkErrorを検索することで、根本的な原因を確認できます。