Informatica Data Quality
- Informatica Data Quality 10.1.1
- Alle Produkte
Option
| Beschreibung
|
---|---|
connectionId
| Zeichenfolge, die der Datenintegrationsdienst zum Erkennen der Verbindung verwendet. Bei der ID wird die Groß- und Kleinschreibung nicht beachtet. Sie darf maximal 255 Zeichen umfassen und muss in der Domäne eindeutig sein. Sie können diese Eigenschaft nach dem Erstellen der Verbindung nicht mehr ändern. Als Standardwert dient der Verbindungsname.
|
connectionType
| Erforderlich. Verbindungstyp ist Hadoop.
|
name
| Der Name der Verbindung. Der Name unterliegt nicht der Groß-/Kleinschreibung und muss innerhalb der Domäne eindeutig sein. Sie können diese Eigenschaft nach dem Erstellen der Verbindung ändern. Der Name darf nicht mehr als 128 Zeichen und weder Leerzeichen noch die folgenden Sonderzeichen enthalten:
~ ` ! $ % ^ & * ( ) - + = { [ } ] | \ : ; " ' < , > . ? / |
RMAddress
| Der Dienst innerhalb von Hadoop, der Ressourcenanfragen übermittelt und YARN-Anwendungen erzeugt.
Verwenden Sie das folgende Format:
<hostname>:<port> Wobei
Geben Sie beispielsweise Folgendes ein: myhostame:8032 Sie können auch die Eigenschaft „Adresse des Ressourcenmanagers“ aus der Datei „yarn-site.xml“ abrufen, die sich in folgendem Verzeichnis auf dem Hadoop-Cluster befindet: /etc/hadoop/conf/ Die Adresse des Ressourcenmanagers wird als folgende Eigenschaft in der Datei „yarn-site.xml“ angezeigt:
Wenn die Eigenschaft yarn.resourcemanager.address nicht in der Datei „yarn-site.xml“ konfiguriert ist, können Sie in der Eigenschaft yarn.resourcemanager.hostname oder der Eigenschaft yarn.resourcemanager.scheduler.address in der Datei „yarn-site.xml“ optional nach dem Hostnamen suchen. Sie können die Adresse des Ressourcenmanagers dann in der Hadoop-Verbindung mit folgendem Wert konfigurieren: hostname:8032 |
cadiAppYarnQueueName
| Der von der Blaze-Engine verwendete Warteschlangenname des YARN-Schedulers, der verfügbare Ressourcen auf einem Cluster angibt. Bei diesem Namen wird die Groß-/Kleinschreibung beachtet.
|
cadiExecutionParameterList
| Benutzerdefinierte Eigenschaften, die der Blaze-Engine eindeutig zugeordnet sind.
Verwenden Sie das folgende Format:
<property1>=<value> Wobei
Verwenden Sie zur Angabe mehrerer Eigenschaften &: als Trennzeichen für Eigenschaften.
Benutzerdefinierte Eigenschaften dürfen nur nach Absprache mit dem globalen Kundensupport von Informatica verwendet werden.
|
cadiMaxPort
| Der Maximalwert für den Portnummernbereich der Blaze-Engine.
|
cadiMinPort
| Der Minimalwert für den Portnummernbereich der Blaze-Engine.
|
cadiUserName
| Der Benutzername des Betriebssystemprofils für die Blaze-Engine.
|
cadiWorkingDirectory
| Der HDFS-Dateipfad des Verzeichnisses, das von der Blaze-Engine zum Speichern temporärer Dateien verwendet wird. Stellen Sie sicher, dass das Verzeichnis vorhanden ist. Der YARN-Benutzer, der Benutzer der Blaze-Engine und der Benutzer für Identitätswechsel von Zuordnungen müssen über Schreibberechtigungen für dieses Verzeichnis verfügen.
|
databaseName
| Namespace für Tabellen. Verwenden Sie den Namen default für Tabellen, bei denen kein Datenbankname angegeben wurde.
|
defaultFSURI
| Die URI für den Zugriff auf das verteilte Standard-Hadoop-Dateisystem.
Verwenden Sie den folgenden Verbindungs-URI:
hdfs://<node name>:<port> Wobei
Geben Sie beispielsweise Folgendes ein: hdfs://myhostname:8020/ Sie können auch die Eigenschaft „Standarddateisystem-URI“ aus der Datei „core-site.xml“ abrufen, die sich in folgendem Verzeichnis auf dem Hadoop-Cluster befindet: /etc/hadoop/conf/ Verwenden Sie den Wert aus der Eigenschaft fs.defaultFS , die sich in der Datei „core-site.xml“ befindet.
Verwenden Sie zum Beispiel den folgenden Wert:
Wenn MapR auf dem Hadoop-Cluster ausgeführt wird, verwenden Sie die folgende URI für den Zugriff auf das MapR-Dateisystem: maprfs:/// .
|
engineType
| Die von der Hadoop-Umgebung verwendete Engine zum Ausführen einer Zuordnung auf dem Hadoop-Cluster. Wählen Sie einen Wert aus der Dropdown-Liste aus.
Wählen Sie beispielsweise Folgendes aus: MRv2 Zum Einrichten des Engine-Typs in der Hadoop-Verbindung müssen Sie den Wert für die Eigenschaft mapreduce.framework.name aus der Datei „mapred-site.xml“ abrufen, die sich in folgendem Verzeichnis auf dem Haddop-Cluster befindet: /etc/hadoop/conf/ Wenn der Wert für mapreduce.framework.name auf classic festgelegt ist, wählen Sie mrv1 als Engine-Typ in der Hadoop-Verbindung aus.
Wenn der Wert für mapreduce.framework.name auf yarn festgelegt ist, können Sie mrv2 oder tez als Engine-Typ in der Hadoop-Verbindung auswählen. Wählen Sie „Tez“ nur aus, wenn „Tez“ für das Hadoop-Cluster konfiguriert ist.
Sie können den Wert für den Engine-Typ auch in der Datei „hive-site.xml“ einrichten. Der Engine-Typ wird als folgende Eigenschaft in der Datei „hive-site.xml“ angezeigt:
|
environmentSQL
| SQL-Befehle zum Einrichten der Hadoop-Umgebung. Der Datenintegrationsdienst führt die Umgebungs-SQL am Anfang jedes Hive-Skripts aus, das in einem Hive-Ausführungsplan erzeugt wurde.
Die folgenden Regeln und Richtlinien gelten für die Verwendung von Umgebungs-SQL:
|
hadoopExecEnvExecutionParameterList
| Benutzerdefinierte Eigenschaften, die der Hadoop-Umgebung eindeutig zugeordnet sind.
Verwenden Sie das folgende Format:
<property1>=<value> Wobei
Verwenden Sie zur Angabe mehrerer Eigenschaften &: als Trennzeichen für Eigenschaften.
Benutzerdefinierte Eigenschaften dürfen nur nach Absprache mit dem globalen Kundensupport von Informatica verwendet werden.
|
Hiveusername
| Name des Benutzers, den der Datenintegrationsdienst zum Ausführen von Zuordnungen in einem Hadoop-Cluster verwendet.
Wenn der Hadoop-Cluster Kerberos-Authentifizierung verwendet, müssen der Prinzipalname für die JDBC-Verbindungszeichenfolge und der Benutzername identisch sein.
Sie müssen den Benutzeridentitätswechsel für die Hadoop-Verbindung verwenden, wenn der Hadoop-Cluster Kerberos-Authentifizierung verwendet.
Wenn der Hadoop-Cluster keine Kerberos-Authentifizierung verwendet, richtet sich der Benutzername nach dem Verhalten des JDBC-Treibers.
Wenn Sie keinen Benutzernamen angeben, authentifiziert der Hadoop-Cluster Jobs basierend auf dem Benutzernamen des Betriebssystems auf dem Computer, auf dem der Datenintegrationsdienst ausgeführt wird.
|
hiveWarehouseDirectoryOnHDFS
| Der absolute HDFS-Dateipfad der Standarddatenbank für das lokale Cluster-Warehouse. Der folgende Dateipfad gibt zum Beispiel ein lokales Warehouse an: /user/hive/warehouse Wenn der Metastore-Ausführungsmodus für Cloudera CDH remote ausgeführt wird, muss der Dateipfad dem vom Hive-Metastore-Dienst im Hadoop-Cluster festgelegten Dateipfad entsprechen.
Sie können den Wert für das Hive-Warehouse-Verzeichnis auf HDFS aus der Eigenschaft hive.metastore.warehouse.dir in der Datei „hive-site.xml“ abrufen, die sich in folgendem Verzeichnis auf dem Hadoop-Cluster befindet: /etc/hadoop/conf/ Verwenden Sie zum Beispiel den folgenden Wert:
Für MapR befindet sich die Datei hive-site.xml in folgendem Verzeichnis: /opt/mapr/hive/<hive version>/conf .
|
jobMonitoringURL
| Die URL für den JobHistory-Server unter MapReduce. Sie können die URL für die JobTracker-URI verwenden, wenn Sie MapReduce Version 1 verwenden.
Verwenden Sie das folgende Format:
<hostname>:<port> Wobei
Geben Sie beispielsweise Folgendes ein: myhostname:8021 Sie können den Wert für die Jobüberwachungs-URL aus der Datei „mapred-site.xml“ abrufen. Die Jobüberwachungs-URL wird als folgende Eigenschaft in der Datei „mapred-site.xml“ angezeigt:
|
metastoreDatabaseDriver
| Treiberklassenname für den JDBC-Datenspeicher. Der folgende Klassenname gibt zum Beispiel einen MySQL-Treiber an:
com.mysql.jdbc.Driver Sie können den Wert für den Metastore-Datenbanktreiber aus der Datei „hive-site.xml“ abrufen. Der Metastore-Datenbanktreiber wird als folgende Eigenschaft in der Datei „hive-site.xml“ angezeigt:
|
metastoreDatabasePassword
| Das Passwort für den Metastore-Benutzernamen.
Sie können den Wert für das Passwort der Metastore-Datenbank aus der Datei „hive-site.xml“ abrufen. Das Passwort der Metastore-Datenbank wird als folgende Eigenschaft in der Datei „hive-site.xml“ angezeigt:
|
metastoreDatabaseURI
| Die JDBC-Verbindungs-URI zum Zugriff auf den Datenspeicher in einer lokalen Metastore-Einrichtung. Verwenden Sie den folgenden Verbindungs-URI:
jdbc:<datastore type>://<node name>:<port>/<database name> wobei
Die folgende URI gibt zum Beispiel einen lokalen Metastore an, der MySQL als Datenspeicher verwendet:
jdbc:mysql://hostname23:3306/metastore Sie können den Wert für die Metastore-Datenbank-URI aus der Datei „hive-site.xml“ abrufen. Die Metastore-Datenbank-URI wird als folgende Eigenschaft in der Datei „hive-site.xml“ angezeigt:
|
metastoreDatabaseUserName
| Der Benutzername der Metastore-Datenbank.
Sie können den Wert für den Benutzernamen der Metastore-Datenbank aus der Datei „hive-site.xml“ abrufen. Der Benutzername der Metastore-Datenbank wird als folgende Eigenschaft in der Datei „hive-site.xml“ angezeigt:
|
metastoreMode
| Steuert, ob eine Verbindung zu einem Remote-Metastore oder einem lokalen Metastore hergestellt wird. Standardmäßig ist „lokal“ ausgewählt. Für einen lokalen Metastore müssen Sie die Metastore-Datenbank-URI sowie den Treiber, den Benutzernamen und das Passwort der Metastore-Datenbank angeben. Für einen Remote-Metastore müssen Sie nur die Remote-Metastore-URI angeben.
Sie können den Wert für den Metastore-Ausführungsmodus aus der Datei „hive-site.xml“ abrufen. Der Metastore-Ausführungsmodus wird als folgende Eigenschaft in der Datei „hive-site.xml“ angezeigt:
Die Eigenschaft hive.metastore.local ist in der Datei „hive-site.xml“ für Hive-Server der Versionen 0.9 und höher veraltet. Wenn die Eigenschaft hive.metastore.uris im Gegensatz zur Eigenschaft hive.metastore.local vorhanden ist und der Hive-Server gestartet wurde, können Sie die Verbindung auf einen Remote-Metastore festlegen.
|
remoteMetastoreURI
| Die Metastore-URI, die für den Zugriff auf Metadaten in einer Remote-Metastore-Einrichtung verwendet wird. Für einen Remote-Metastore müssen Sie die Thrift-Serverdetails angeben.
Verwenden Sie den folgenden Verbindungs-URI:
thrift://<hostname>:<port> Wobei
Geben Sie beispielsweise Folgendes ein: thrift://myhostname:9083/ Sie können den Wert für die Remote-Metastore-URI aus der Datei „hive-site.xml“ abrufen. Die Remote-Metastore-URI wird als folgende Eigenschaft in der Datei „hive-site.xml“ angezeigt:
|
SparkHDFSStagingDir
| Der HDFS-Dateipfad des Verzeichnisses, das von der Spark-Engine zum Speichern temporärer Dateien für die Ausführung von Jobs verwendet wird. Der YARN-Benutzer, der Benutzer der Spark-Engine und der Benutzer für den Identitätswechsel von Zuordnungen müssen über Schreibberechtigungen für dieses Verzeichnis verfügen.
|
SparkExecutionParameterList
| Eine optionale Liste der Konfigurationsparameter, die auf die Spark-Engine angewendet werden. Sie können die Eigenschaftswerte der Spark-Standardkonfiguration ändern, wie z. B. spark.executor.memory oder spark.driver.cores .
Verwenden Sie das folgende Format:
<property1>=<value>
Sie können beispielsweise den Warteschlangennamen eines YARN-Schedulers zur Angabe verfügbarer Ressourcen in einem Cluster konfigurieren: spark.yarn.queue=TestQ Zur Eingabe mehrerer Eigenschaften trennen Sie jedes Namen-Wert-Paar durch folgenden Text: &: |
stgDataCompressionCodecClass
| Codec-Klassenname, der die Datenkomprimierung aktiviert und die Leistung in temporären Staging-Tabellen verbessert.
|
stgDataCompressionCodecType
| Hadoop-Komprimierungsbibliothek für einen Komprimierungs-Codec-Klassennamen.
|