目录

Search

  1. 前言
  2. Informatica Developer
  3. 模型存储库
  4. Informatica Developer 中的搜索
  5. 连接
  6. 物理数据对象
  7. 平面文件数据对象
  8. 数据的逻辑视图
  9. 查看数据
  10. 应用程序部署
  11. 应用程序修补程序部署
  12. 应用程序修补程序部署示例
  13. 持续集成和持续交付 (CI/CD)
  14. 对象导入和导出
  15. 附录 , A: 数据类型参考
  16. 附录 , B: 键盘快捷方式
  17. 附录 , C: 连接属性

Developer tool 指南

Developer tool 指南

Spark 配置

Spark 配置

下表介绍了可为 Spark 引擎配置的连接属性:
属性
说明
Spark 暂存目录
Spark 引擎用于存储运行作业的临时文件的目录的 HDFS 文件路径。YARN 用户、数据集成服务用户和映射模拟用户对该目录必须拥有写入权限。
如果不指定文件路径,默认情况下,将把临时文件写入到 Hadoop 暂存目录
/tmp/SPARK_<用户名>
中。
在 Spark 引擎上运行 Sqoop 作业时,数据集成服务将在 Spark 暂存目录内创建一个 Sqoop 暂存目录,用于存储临时文件:
<Spark 暂存目录>/sqoop_staging
Spark 事件日志目录
可选。Spark 引擎用来记录事件的目录的 HDFS 文件路径。
YARN 队列名称
Spark 引擎用来指定群集上的可用资源的 YARN 调度程序队列名称。该名称区分大小写。
高级属性
Spark 引擎特有的高级属性的列表。高级属性包括一组默认属性。
您可以在数据集成服务,Hadoop 连接和映射中配置 Hadoop 环境的运行时属性。通过在较低级别设置属性值,可以替代在较高级别配置的属性。例如,如果您在数据集成服务自定义属性中配置某个属性,则可以在 Hadoop 连接或映射中替代该属性。数据集成服务根据以下优先级来处理属性的替代:
  1. 使用
    infacmd ms runMapping
    -cp
    选项设置的映射自定义属性
  2. Hadoop 环境的映射运行时属性
  3. 运行时引擎的 Hadoop 连接高级属性
  4. Hadoop 连接高级常规属性、环境变量和类路径
  5. 数据集成服务自定义属性
Informatica 建议在更改这些属性值之前,先查阅第三方文档或 Informatica 文档或者咨询 Informatica 全球客户支持。如果在不了解属性的情况下更改属性值,则可能会导致性能降级或其他意外结果。