Informatica Data Quality
- Informatica Data Quality 10.4.1
- Alle Produkte
Wenn Sie mehrere Optionen eingeben, trennen Sie diese durch ein Leerzeichen.... -o option_name='value' option_name='value' ...
Beispiel:... -o engine_nameAdvancedProperties="'advanced.property.name=value'"
... -o blazeAdvancedProperties="'infrgrid.orchestrator.svc.sunset.time=3'"
Option
| Beschreibung
|
---|---|
connectionId
| Zeichenfolge, die der Datenintegrationsdienst zum Erkennen der Verbindung verwendet. Bei der ID wird die Groß- und Kleinschreibung nicht beachtet. Sie darf maximal 255 Zeichen umfassen und muss in der Domäne eindeutig sein. Sie können diese Eigenschaft nach dem Erstellen der Verbindung nicht mehr ändern. Als Standardwert dient der Verbindungsname.
|
connectionType
| Erforderlich. Verbindungstyp ist Hadoop.
|
name
| Der Name der Verbindung. Der Name unterliegt nicht der Groß-/Kleinschreibung und muss innerhalb der Domäne eindeutig sein. Sie können diese Eigenschaft nach dem Erstellen der Verbindung ändern. Der Name darf nicht mehr als 128 Zeichen und weder Leerzeichen noch die folgenden Sonderzeichen enthalten:
~ ` ! $ % ^ & * ( ) - + = { [ } ] | \ : ; " ' < , > . ? /
|
blazeJobMonitorURL
| Der Hostname und die Portnummer für die Blaze-Job-Überwachung.
Verwenden Sie das folgende Format:
<hostname>:<port>
Wobei
Geben Sie beispielsweise Folgendes ein: myhostname:9080
|
blazeYarnQueueName
| Der von der Blaze-Engine verwendete Warteschlangenname des YARN-Schedulers, der verfügbare Ressourcen auf einem Cluster angibt. Bei diesem Namen wird die Groß-/Kleinschreibung beachtet.
|
blazeAdvancedProperties
| Erweiterte Eigenschaften, die eigens für die Blaze-Engine gelten.
Zur Eingabe mehrerer Eigenschaften trennen Sie jedes Name-Wert-Paar durch folgenden Text: &: .
Benutzerdefinierte Infomatica-Eigenschaften dürfen nur nach Absprache mit dem globalen Kundensupport von Informatica verwendet werden.
|
blazeMaxPort
| Der Maximalwert für den Portnummernbereich der Blaze-Engine.
Der Standardwert ist 12600.
|
blazeMinPort
| Der Minimalwert für den Portnummernbereich der Blaze-Engine.
Der Standardwert ist 12300.
|
blazeUserName
| Der Eigentümer des Blaze-Dienstes und der Blaze-Dienstprotokolle.
Wenn der Hadoop-Cluster die Kerberos-Authentifizierung verwendet, ist der standardmäßige Benutzer der SPN-Benutzer des Datenintegrationsdiensts. Wenn der Hadoop-Cluster die Kerberos-Authentifizierung nicht verwendet und der Blaze-Benutzer nicht konfiguriert ist, ist der standardmäßige Benutzer der Datenintegrationsdienst-Benutzer.
|
blazeStagingDirectory
| Der HDFS-Dateipfad des Verzeichnisses, das von der Blaze-Engine zum Speichern temporärer Dateien verwendet wird. Stellen Sie sicher, dass das Verzeichnis vorhanden ist. Der YARN-Benutzer, der Benutzer der Blaze-Engine und der Benutzer für Identitätswechsel von Zuordnungen müssen über Schreibberechtigungen für dieses Verzeichnis verfügen.
Standardwert ist /blaze/workdir . Wenn Sie diese Eigenschaft löschen, werden die Staging-Dateien in das Hadoop-Staging-Verzeichnis /tmp/blaze_<Benutzername> geschrieben.
|
clusterConfigId
| Die Cluster-Konfigurations-ID, die dem Hadoop-Cluster zugeordnet ist. Sie müssen eine Konfigurations-ID eingeben, um eine Hadoop-Verbindung einzurichten.
|
hiveStagingDatabaseName
| Namespace für Hive-Staging-Tabellen. Verwenden Sie den Namen default für Tabellen, bei denen kein Datenbankname angegeben wurde.
|
engineType
| Ausführungs-Engine zum Ausführen von HiveServer2-Aufgaben auf der Spark-Engine. Standardwert ist MRv2. Je nach dem von der Hadoop-Distribution verwendeten Engine-Typ können Sie MRv2 oder Tez auswählen:
|
environmentSQL
| SQL-Befehle zum Einrichten der Hadoop-Umgebung. Der Datenintegrationsdienst führt die Umgebungs-SQL am Anfang jedes Hive-Skripts aus, das in einem Hive-Ausführungsplan erzeugt wurde.
Die folgenden Regeln und Richtlinien gelten für die Verwendung von Umgebungs-SQL:
|
hadoopExecEnvExecutionParameterList
| Benutzerdefinierte Eigenschaften, die der Hadoop-Verbindung eindeutig zugeordnet sind.
Verwenden Sie das folgende Format:
<property1>=<value>
Verwenden Sie zur Angabe mehrerer Eigenschaften &: als Trennzeichen für Eigenschaften.
Wenn der gleichen Clusterkonfiguration mehr als eine Hadoop-Verbindung zugeordnet ist, können Sie die von der Konfiguration festgelegten Eigenschaftswerte überschreiben.
Benutzerdefinierte Infomatica-Eigenschaften dürfen nur nach Absprache mit dem globalen Kundensupport von Informatica verwendet werden.
|
hadoopRejDir
| Das Remoteverzeichnis, in das der Datenintegrationsdienst Ablehnungsdateien verschiebt, wenn Sie Mappings ausführen.
Aktivieren Sie das Ablehnungsverzeichnis mithilfe von rejDirOnHadoop.
|
impersonationUserName
| Erforderlich, wenn der Hadoop-Cluster die Kerberos-Authentifizierung verwendet. Benutzer für den Hadoop-Identitätswechsel. Der Benutzername, den der Datenintegrationsdienst zum Ausführen von Zuordnungen im Hadoop-Cluster verwendet.
Der Datenintegrationsdienst führt Zuordnungen basierend auf dem konfigurierten Benutzer aus. Bestimmen Sie anhand der folgenden Reihenfolge, welchen Benutzer der Datenintegrationsdienst zum Ausführen von Zuordnungen verwendet:
|
hiveWarehouseDirectoryOnHDFS
| Optional. Der absolute HDFS-Dateipfad der Standarddatenbank für das lokale Cluster-Warehouse.
Wenn Sie das Hive-Warehouse-Verzeichnis nicht konfigurieren, versucht die Hive-Engine zunächst, in das in der Eigenschaft hive.metastore.warehouse.dir der Cluster-Konfiguration angegebene Verzeichnis zu schreiben. Wenn die Cluster-Konfiguration die Eigenschaft nicht aufweist, verwendet die Hive-Engine das Standardverzeichnis /user/hive/warehouse .
|
metastoreDatabaseDriver
| Treiberklassenname für den JDBC-Datenspeicher. Der folgende Klassenname gibt zum Beispiel einen MySQL-Treiber an:
com.mysql.jdbc.Driver
Sie können den Wert für den Metastore-Datenbanktreiber aus der Datei „hive-site.xml“ abrufen. Der Metastore-Datenbanktreiber wird als folgende Eigenschaft in der Datei „hive-site.xml“ angezeigt:
|
metastoreDatabasePassword
| Das Passwort für den Metastore-Benutzernamen.
Sie können den Wert für das Passwort der Metastore-Datenbank aus der Datei „hive-site.xml“ abrufen. Das Passwort der Metastore-Datenbank wird als folgende Eigenschaft in der Datei „hive-site.xml“ angezeigt:
|
metastoreDatabaseURI
| Die JDBC-Verbindungs-URI zum Zugriff auf den Datenspeicher in einer lokalen Metastore-Einrichtung. Verwenden Sie den folgenden Verbindungs-URI:
jdbc:<datastore type>://<node name>:<port>/<database name>
wobei
Die folgende URI gibt zum Beispiel einen lokalen Metastore an, der MySQL als Datenspeicher verwendet:
jdbc:mysql://hostname23:3306/metastore
Sie können den Wert für die Metastore-Datenbank-URI aus der Datei „hive-site.xml“ abrufen. Die Metastore-Datenbank-URI wird als folgende Eigenschaft in der Datei „hive-site.xml“ angezeigt:
|
metastoreDatabaseUserName
| Der Benutzername der Metastore-Datenbank.
Sie können den Wert für den Benutzernamen der Metastore-Datenbank aus der Datei „hive-site.xml“ abrufen. Der Benutzername der Metastore-Datenbank wird als folgende Eigenschaft in der Datei „hive-site.xml“ angezeigt:
|
metastoreMode
| Steuert, ob eine Verbindung zu einem Remote-Metastore oder einem lokalen Metastore hergestellt wird. Standardmäßig ist „lokal“ ausgewählt. Für einen lokalen Metastore müssen Sie die Metastore-Datenbank-URI sowie den Treiber, den Benutzernamen und das Passwort der Metastore-Datenbank angeben. Für einen Remote-Metastore müssen Sie nur die Remote-Metastore-URI angeben.
Sie können den Wert für den Metastore-Ausführungsmodus aus der Datei „hive-site.xml“ abrufen. Der Metastore-Ausführungsmodus wird als folgende Eigenschaft in der Datei „hive-site.xml“ angezeigt:
Die Eigenschaft hive.metastore.local ist in der Datei „hive-site.xml“ für Hive-Server der Versionen 0.9 und höher veraltet. Wenn die Eigenschaft hive.metastore.uris im Gegensatz zur Eigenschaft hive.metastore.local vorhanden ist und der Hive-Server gestartet wurde, können Sie die Verbindung auf einen Remote-Metastore festlegen.
|
remoteMetastoreURI
| Die Metastore-URI, die für den Zugriff auf Metadaten in einer Remote-Metastore-Einrichtung verwendet wird. Für einen Remote-Metastore müssen Sie die Thrift-Serverdetails angeben.
Verwenden Sie den folgenden Verbindungs-URI:
thrift://<hostname>:<port>
Wobei
Geben Sie beispielsweise Folgendes ein: thrift://myhostname:9083/
Sie können den Wert für die Remote-Metastore-URI aus der Datei „hive-site.xml“ abrufen. Die Remote-Metastore-URI wird als folgende Eigenschaft in der Datei „hive-site.xml“ angezeigt:
|
rejDirOnHadoop
| Aktiviert hadoopRejDir. Wird verwendet, um einen Speicherort anzugeben, an den Ablehnungsdateien verschoben werden sollen, wenn Sie Mappings ausführen.
Wenn diese Option aktiviert ist, verschiebt der Datenintegrationsdienst Mapping-Dateien an den in hadoopRejDir aufgelisteten HDFS-Speicherort.
Standardmäßig speichert der Datenintegrationsdienst die Mapping-Dateien basierend auf dem RejectDir-Systemparameter.
|
sparkEventLogDir
| Optional. Der HDFS-Dateipfad des Verzeichnisses, das die Spark-Engine zur Protokollierung von Ereignissen verwendet.
|
sparkAdvancedProperties
| Erweiterte Eigenschaften, die eigens für die Spark-Engine gelten.
Zur Eingabe mehrerer Eigenschaften trennen Sie jedes Name-Wert-Paar durch folgenden Text: &: .
Benutzerdefinierte Infomatica-Eigenschaften dürfen nur nach Absprache mit dem globalen Kundensupport von Informatica verwendet werden.
|
sparkStagingDirectory
| Der HDFS-Dateipfad des Verzeichnisses, das von der Spark-Engine zum Speichern temporärer Dateien für die Ausführung von Jobs verwendet wird. Der YARN-Benutzer, Datenintegrationsdienst-Benutzer und Zuordnungs-Identitätswechsel-Benutzer müssen über Schreibberechtigung für dieses Verzeichnis verfügen.
/tmp/spark_<Benutzername> geschrieben.
|
sparkYarnQueueName
| Der von der Spark-Engine verwendete Name der YARN-Scheduler-Warteschlange, der verfügbare Ressourcen auf einem Cluster angibt. Bei diesem Namen wird die Groß-/Kleinschreibung beachtet.
|
stgDataCompressionCodecClass
| Codec-Klassenname, der Datenkomprimierung ermöglicht und die Leistung in temporären Staging-Tabellen verbessert. Der Codec-Klassenname entspricht dem Code-Typ.
|
stgDataCompressionCodecType
| Hadoop-Komprimierungsbibliothek für einen Komprimierungs-Codec-Klassennamen.
Sie können „Keine“, „Zlib“, „Gzip“, „Snappy“, „Bz2“, „LZO“ oder „Benutzerdefiniert“ auswählen.
Standardwert ist „Keine“.
|