Search

Developer tool 가이드

Developer tool 가이드

10.5.1
- 10.5.2
- 10.4.1
- 10.1.1 HotFix 1
- 10.1.1
- 10.1
- 10.0

이전 다음

Spark 구성

Spark 구성

다음 테이블에는 Spark 엔진에 대해 구성하는 연결 속성이 설명되어 있습니다.

속성	설명
Spark 준비 디렉터리	Spark 엔진이 실행 중인 작업에 대한 임시 파일을 저장하는 데 사용하는 디렉터리의 HDFS 파일 경로입니다. YARN 사용자, 데이터 통합 서비스 사용자 및 매핑 가장 사용자는 이 디렉터리에 대해 쓰기 권한을 가지고 있어야 합니다. 파일 경로를 지정하지 않는 경우 기본적으로 임시 파일은 Hadoop 준비 디렉터리 /tmp/SPARK_<사용자 이름> 에 기록됩니다. Spark 엔진에서 Sqoop 작업을 실행하는 경우 데이터 통합 서비스는 Spark 준비 디렉터리 안에 Sqoop 준비 디렉터리를 생성하여 임시 파일을 저장합니다. <Spark 준비 디렉터리>/sqoop_staging
Spark 이벤트 로그 디렉터리	선택 사항입니다. Spark 엔진이 이벤트를 기록하는 데 사용하는 디렉터리의 HDFS 파일 경로입니다.
YARN 대기열 이름	클러스터의 사용 가능한 리소스를 지정하는 Spark 엔진에서 사용하는 YARN 스케줄러 대기열 이름입니다. 이름은 대/소문자를 구분합니다.
고급 속성	Spark 엔진에 고유한 고급 속성 목록입니다. 고급 속성에는 기본 속성 목록이 포함됩니다. 데이터 통합 서비스, Hadoop 연결 및 매핑에서 Hadoop 환경에 대한 런타임 속성을 구성할 수 있습니다. 상위 수준에서 구성된 속성을 하위 수준에서 값을 설정하여 재정의할 수 있습니다. 예를 들어 데이터 통합 서비스 사용자 지정 속성에서 속성을 구성하는 경우 Hadoop 연결 또는 매핑에서 속성을 재정의할 수 있습니다. 데이터 통합 서비스는 다음 우선 순위에 따라 속성 재정의를 처리합니다. infacmd ms runMapping 과 -cp 옵션을 사용하여 설정된 매핑 사용자 지정 속성 Hadoop 환경에 대한 매핑 런타임 속성 런타임 엔진에 대한 Hadoop 연결 고급 속성 Hadoop 연결 고급 일반 속성, 환경 변수 및 클래스 경로 데이터 통합 서비스 사용자 지정 속성 타사 설명서, Informatica 설명서 또는 Informatica 글로벌 고객 지원 센터에 문의하기 전에 이러한 속성 값을 변경하지 않는 것이 좋습니다. 속성에 대한 지식 없이 값을 변경하면 성능 저하 또는 기타 예상치 못한 결과가 발생할 수 있습니다.

Hadoop 연결 속성

가이드 다운로드

피드백 보내기