Inhaltsverzeichnis

Search

  1. Vorwort
  2. Befehlszeilenprogramme und Dienstprogramme
  3. Installieren und Konfigurieren von Befehlszeilendienstprogrammen
  4. Verwenden der Befehlszeilenprogramme
  5. Umgebungsvariablen für Befehlszeilenprogramme
  6. Verwenden von infacmd
  7. infacmd as-Befehlsreferenz
  8. infacmd aud-Befehlsreferenz
  9. infacmd autotune-Befehlsreferenz
  10. Infacmd bg-Befehlsreferenz
  11. infacmd ccps-Befehlsreferenz
  12. infacmd cluster-Befehlsreferenz
  13. infacmd cms-Befehlsreferenz
  14. infacmd dis-Befehlsreferenz
  15. infacmd dp-Befehlsreferenz
  16. infacmd idp-Befehlsreferenz
  17. infacmd edpl-Befehlsreferenz
  18. Infacmd es-Befehlsreferenz
  19. infacmd ihs-Befehlsreferenz
  20. infacmd ipc-Befehlsreferenz
  21. Infacmd isp-Befehlsreferenz
  22. infacmd ldm-Befehlsreferenz
  23. infacmd mas-Befehlsreferenz
  24. infacmd mi-Befehlsreferenz
  25. infacmd mrs-Befehlsreferenz
  26. infacmd ms-Befehlsreferenz
  27. Infacmd oie-Befehlsreferenz
  28. infacmd ps-Befehlsreferenz
  29. infacmd pwx-Befehlsreferenz
  30. infacmd roh-Befehlsreferenz
  31. infacmd rms-Befehlsreferenz
  32. infacmd rtm-Befehlsreferenz
  33. infacmd sch-Befehlsreferenz
  34. infacmd search-Befehlsreferenz
  35. infacmd sql-Befehlsreferenz
  36. infacmd tdm-Befehlsreferenz
  37. infacmd tools-Befehlsreferenz
  38. infacmd wfs-Befehlsreferenz
  39. infacmd ws-Befehlsreferenz
  40. infacmd xrf-Befehlsreferenz
  41. infacmd-Steuerdateien
  42. infasetup-Befehlsreferenz
  43. Pmcmd-Befehlsreferenz
  44. pmrep-Befehlsreferenz
  45. Arbeiten mit pmrep-Dateien

Command Reference

Command Reference

Hadoop-Verbindungsoptionen

Hadoop-Verbindungsoptionen

Verwenden Sie Verbindungsoptionen zum Definieren einer Hadoop-Verbindung.
Geben Sie Verbindungsoptionen im folgenden Format ein:
... -o option_name='value' option_name='value' ...
Wenn Sie mehrere Optionen eingeben, trennen Sie diese durch ein Leerzeichen.
Verwenden Sie das folgende Format, um erweiterte Eigenschaften einzugeben:
... -o engine_nameAdvancedProperties="'advanced.property.name=value'"
Beispiel:
... -o blazeAdvancedProperties="'infrgrid.orchestrator.svc.sunset.time=3'"
In der folgenden Tabelle werden die Hadoop-Verbindungsoptionen für die infacmd isp CreateConnection- und UpdateConnection-Befehle beschrieben, die Sie konfigurieren, wenn Sie die Hadoop-Verbindung verwenden möchten:
Option
Beschreibung
connectionId
Zeichenfolge, die der Datenintegrationsdienst zum Erkennen der Verbindung verwendet. Bei der ID wird die Groß- und Kleinschreibung nicht beachtet. Sie darf maximal 255 Zeichen umfassen und muss in der Domäne eindeutig sein. Sie können diese Eigenschaft nach dem Erstellen der Verbindung nicht mehr ändern. Als Standardwert dient der Verbindungsname.
connectionType
Erforderlich. Verbindungstyp ist Hadoop.
name
Der Name der Verbindung. Der Name unterliegt nicht der Groß-/Kleinschreibung und muss innerhalb der Domäne eindeutig sein. Sie können diese Eigenschaft nach dem Erstellen der Verbindung ändern. Der Name darf nicht mehr als 128 Zeichen und weder Leerzeichen noch die folgenden Sonderzeichen enthalten:
~ ` ! $ % ^ & * ( ) - + = { [ } ] | \ : ; " ' < , > . ? /
blazeJobMonitorURL
Der Hostname und die Portnummer für die Blaze-Job-Überwachung.
Verwenden Sie das folgende Format:
<hostname>:<port>
Wobei
  • <hostname> ist der Hostname oder die IP-Adresse des Servers der Blaze-Job-Überwachung.
  • <port> ist der Port, den die Blaze-Job-Überwachung auf Remoteprozeduraufrufe (RPC) abhört.
Geben Sie beispielsweise Folgendes ein:
myhostname:9080
blazeYarnQueueName
Der von der Blaze-Engine verwendete Warteschlangenname des YARN-Schedulers, der verfügbare Ressourcen auf einem Cluster angibt. Bei diesem Namen wird die Groß-/Kleinschreibung beachtet.
blazeAdvancedProperties
Erweiterte Eigenschaften, die eigens für die Blaze-Engine gelten.
Zur Eingabe mehrerer Eigenschaften trennen Sie jedes Name-Wert-Paar durch folgenden Text:
&:
.
Benutzerdefinierte Infomatica-Eigenschaften dürfen nur nach Absprache mit dem globalen Kundensupport von Informatica verwendet werden.
blazeMaxPort
Der Maximalwert für den Portnummernbereich der Blaze-Engine.
Der Standardwert ist 12600.
blazeMinPort
Der Minimalwert für den Portnummernbereich der Blaze-Engine.
Der Standardwert ist 12300.
blazeUserName
Der Eigentümer des Blaze-Dienstes und der Blaze-Dienstprotokolle.
Wenn der Hadoop-Cluster die Kerberos-Authentifizierung verwendet, ist der standardmäßige Benutzer der SPN-Benutzer des Datenintegrationsdiensts. Wenn der Hadoop-Cluster die Kerberos-Authentifizierung nicht verwendet und der Blaze-Benutzer nicht konfiguriert ist, ist der standardmäßige Benutzer der Datenintegrationsdienst-Benutzer.
blazeStagingDirectory
Der HDFS-Dateipfad des Verzeichnisses, das von der Blaze-Engine zum Speichern temporärer Dateien verwendet wird. Stellen Sie sicher, dass das Verzeichnis vorhanden ist. Der YARN-Benutzer, der Benutzer der Blaze-Engine und der Benutzer für Identitätswechsel von Zuordnungen müssen über Schreibberechtigungen für dieses Verzeichnis verfügen.
Standardwert ist
/blaze/workdir
. Wenn Sie diese Eigenschaft löschen, werden die Staging-Dateien in das Hadoop-Staging-Verzeichnis
/tmp/blaze_<Benutzername>
geschrieben.
clusterConfigId
Die Cluster-Konfigurations-ID, die dem Hadoop-Cluster zugeordnet ist. Sie müssen eine Konfigurations-ID eingeben, um eine Hadoop-Verbindung einzurichten.
hiveStagingDatabaseName
Namespace für Hive-Staging-Tabellen. Verwenden Sie den Namen
default
für Tabellen, bei denen kein Datenbankname angegeben wurde.
engineType
Ausführungs-Engine zum Ausführen von HiveServer2-Aufgaben auf der Spark-Engine. Standardwert ist MRv2. Je nach dem von der Hadoop-Distribution verwendeten Engine-Typ können Sie MRv2 oder Tez auswählen:
  • Amazon EMR – Tez
  • Azure HDI – Tez
  • Cloudera CDH – MRv2
  • Cloudera CDP – Tez
  • Hortonworks HDP – Tez
  • MapR – MRv2
environmentSQL
SQL-Befehle zum Einrichten der Hadoop-Umgebung. Der Datenintegrationsdienst führt die Umgebungs-SQL am Anfang jedes Hive-Skripts aus, das in einem Hive-Ausführungsplan erzeugt wurde.
Die folgenden Regeln und Richtlinien gelten für die Verwendung von Umgebungs-SQL:
  • Verwenden Sie die Umgebungs-SQL, um Hive-Abfragen anzugeben.
  • Verwenden Sie die Umgebungs-SQL, um den Klassenpfad für benutzerdefinierte Hive-Funktionen einzustellen, und verwenden Sie dann Umgebungs-SQL oder PreSQL, um die benutzerdefinierten Hive-Funktionen anzugeben. Sie können PreSQL nicht in den Datenobjekteigenschaften zur Angabe des Klassenpfads verwenden. Wenn Sie benutzerdefinierte Hive-Funktionen verwenden, müssen Sie die JAR-Dateien in das folgende Verzeichnis kopieren:
    <Informatica-Installationsverzeichnis>/services/shared/hadoop/<Name der Hadoop-Distribution>/extras/hive-auxjars
  • Sie können Umgebungs-SQL zum Definieren von Hadoop- oder Hive-Parametern verwenden, die Sie in den PreSQL-Befehlen oder in benutzerspezifischen Abfragen nutzen möchten.
hadoopExecEnvExecutionParameterList
Benutzerdefinierte Eigenschaften, die der Hadoop-Verbindung eindeutig zugeordnet sind.
Sie können mehrere Eigenschaften angeben.
Verwenden Sie das folgende Format:
<property1>=<value>
Verwenden Sie zur Angabe mehrerer Eigenschaften
&:
als Trennzeichen für Eigenschaften.
Wenn der gleichen Clusterkonfiguration mehr als eine Hadoop-Verbindung zugeordnet ist, können Sie die von der Konfiguration festgelegten Eigenschaftswerte überschreiben.
Benutzerdefinierte Infomatica-Eigenschaften dürfen nur nach Absprache mit dem globalen Kundensupport von Informatica verwendet werden.
hadoopRejDir
Das Remoteverzeichnis, in das der Datenintegrationsdienst Ablehnungsdateien verschiebt, wenn Sie Mappings ausführen.
Aktivieren Sie das Ablehnungsverzeichnis mithilfe von rejDirOnHadoop.
impersonationUserName
Erforderlich, wenn der Hadoop-Cluster die Kerberos-Authentifizierung verwendet. Benutzer für den Hadoop-Identitätswechsel. Der Benutzername, den der Datenintegrationsdienst zum Ausführen von Zuordnungen im Hadoop-Cluster verwendet.
Der Datenintegrationsdienst führt Zuordnungen basierend auf dem konfigurierten Benutzer aus. Bestimmen Sie anhand der folgenden Reihenfolge, welchen Benutzer der Datenintegrationsdienst zum Ausführen von Zuordnungen verwendet:
  1. Betriebssystem-Profilbenutzer. Die Zuordnung wird mit dem Betriebssystem-Profilbenutzer ausgeführt, wenn der Profilbenutzer konfiguriert ist. Wenn kein Betriebssystem-Profilbenutzer vorhanden ist, wird die Zuordnung mit dem Hadoop-Identitätswechselbenutzer ausgeführt.
  2. Hadoop-Identitätswechselbenutzer. Die Zuordnung wird mit dem Hadoop-Identitätswechselbenutzer ausgeführt, wenn der Betriebssystem-Profilbenutzer nicht konfiguriert ist. Wenn der Hadoop-Identitätswechselbenutzer nicht konfiguriert ist, führt der Datenintegrationsdienst Zuordnungen mit dem Datenintegrationsdienst-Benutzer aus.
  3. Datenintegrationsdienst-Benutzer. Die Zuordnung wird mit dem Datenintegrationsdienst-Benutzer ausgeführt, wenn der Betriebssystem-Profilbenutzer und der Hadoop-Identitätswechselbenutzer nicht konfiguriert sind.
hiveWarehouseDirectoryOnHDFS
Optional. Der absolute HDFS-Dateipfad der Standarddatenbank für das lokale Cluster-Warehouse.
Wenn Sie das Hive-Warehouse-Verzeichnis nicht konfigurieren, versucht die Hive-Engine zunächst, in das in der Eigenschaft
hive.metastore.warehouse.dir
der Cluster-Konfiguration angegebene Verzeichnis zu schreiben. Wenn die Cluster-Konfiguration die Eigenschaft nicht aufweist, verwendet die Hive-Engine das Standardverzeichnis
/user/hive/warehouse
.
metastoreDatabaseDriver
Treiberklassenname für den JDBC-Datenspeicher. Der folgende Klassenname gibt zum Beispiel einen MySQL-Treiber an:
com.mysql.jdbc.Driver
Sie können den Wert für den Metastore-Datenbanktreiber aus der Datei „hive-site.xml“ abrufen. Der Metastore-Datenbanktreiber wird als folgende Eigenschaft in der Datei „hive-site.xml“ angezeigt:
<property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> </property>
metastoreDatabasePassword
Das Passwort für den Metastore-Benutzernamen.
Sie können den Wert für das Passwort der Metastore-Datenbank aus der Datei „hive-site.xml“ abrufen. Das Passwort der Metastore-Datenbank wird als folgende Eigenschaft in der Datei „hive-site.xml“ angezeigt:
<property> <name>javax.jdo.option.ConnectionPassword</name> <value>password</value> </property>
metastoreDatabaseURI
Die JDBC-Verbindungs-URI zum Zugriff auf den Datenspeicher in einer lokalen Metastore-Einrichtung. Verwenden Sie den folgenden Verbindungs-URI:
jdbc:<datastore type>://<node name>:<port>/<database name>
wobei
  • <node name> der Hostname bzw. die IP-Adresse des Datenspeichers ist.
  • <datastore type> der Typ des Datenspeichers ist.
  • <port> der Port ist, den der Datenspeicher auf Remoteprozeduraufrufe (RPC) abhört.
  • <database name> der Name der Datenbank ist.
Die folgende URI gibt zum Beispiel einen lokalen Metastore an, der MySQL als Datenspeicher verwendet:
jdbc:mysql://hostname23:3306/metastore
Sie können den Wert für die Metastore-Datenbank-URI aus der Datei „hive-site.xml“ abrufen. Die Metastore-Datenbank-URI wird als folgende Eigenschaft in der Datei „hive-site.xml“ angezeigt:
<property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://MYHOST/metastore</value> </property>
metastoreDatabaseUserName
Der Benutzername der Metastore-Datenbank.
Sie können den Wert für den Benutzernamen der Metastore-Datenbank aus der Datei „hive-site.xml“ abrufen. Der Benutzername der Metastore-Datenbank wird als folgende Eigenschaft in der Datei „hive-site.xml“ angezeigt:
<property> <name>javax.jdo.option.ConnectionUserName</name> <value>hiveuser</value> </property>
metastoreMode
Steuert, ob eine Verbindung zu einem Remote-Metastore oder einem lokalen Metastore hergestellt wird. Standardmäßig ist „lokal“ ausgewählt. Für einen lokalen Metastore müssen Sie die Metastore-Datenbank-URI sowie den Treiber, den Benutzernamen und das Passwort der Metastore-Datenbank angeben. Für einen Remote-Metastore müssen Sie nur die
Remote-Metastore-URI
angeben.
Sie können den Wert für den Metastore-Ausführungsmodus aus der Datei „hive-site.xml“ abrufen. Der Metastore-Ausführungsmodus wird als folgende Eigenschaft in der Datei „hive-site.xml“ angezeigt:
<property> <name>hive.metastore.local</name> <value>true</true> </property>
Die Eigenschaft
hive.metastore.local
ist in der Datei „hive-site.xml“ für Hive-Server der Versionen 0.9 und höher veraltet. Wenn die Eigenschaft
hive.metastore.uris
im Gegensatz zur Eigenschaft
hive.metastore.local
vorhanden ist und der Hive-Server gestartet wurde, können Sie die Verbindung auf einen Remote-Metastore festlegen.
remoteMetastoreURI
Die Metastore-URI, die für den Zugriff auf Metadaten in einer Remote-Metastore-Einrichtung verwendet wird. Für einen Remote-Metastore müssen Sie die Thrift-Serverdetails angeben.
Verwenden Sie den folgenden Verbindungs-URI:
thrift://<hostname>:<port>
Wobei
  • <hostname> der Name bzw. die IP-Adresse des Thrift-Metastore-Servers ist.
  • <port> der Port ist, den der Thrift-Server abhört.
Geben Sie beispielsweise Folgendes ein:
thrift://myhostname:9083/
Sie können den Wert für die Remote-Metastore-URI aus der Datei „hive-site.xml“ abrufen. Die Remote-Metastore-URI wird als folgende Eigenschaft in der Datei „hive-site.xml“ angezeigt:
<property> <name>hive.metastore.uris</name> <value>thrift://<n.n.n.n>:9083</value> <description> IP address or fully-qualified domain name and port of the metastore host</description> </property>
rejDirOnHadoop
Aktiviert hadoopRejDir. Wird verwendet, um einen Speicherort anzugeben, an den Ablehnungsdateien verschoben werden sollen, wenn Sie Mappings ausführen.
Wenn diese Option aktiviert ist, verschiebt der Datenintegrationsdienst Mapping-Dateien an den in hadoopRejDir aufgelisteten HDFS-Speicherort.
Standardmäßig speichert der Datenintegrationsdienst die Mapping-Dateien basierend auf dem RejectDir-Systemparameter.
sparkEventLogDir
Optional. Der HDFS-Dateipfad des Verzeichnisses, das die Spark-Engine zur Protokollierung von Ereignissen verwendet.
sparkAdvancedProperties
Erweiterte Eigenschaften, die eigens für die Spark-Engine gelten.
Zur Eingabe mehrerer Eigenschaften trennen Sie jedes Name-Wert-Paar durch folgenden Text:
&:
.
Benutzerdefinierte Infomatica-Eigenschaften dürfen nur nach Absprache mit dem globalen Kundensupport von Informatica verwendet werden.
sparkStagingDirectory
Der HDFS-Dateipfad des Verzeichnisses, das von der Spark-Engine zum Speichern temporärer Dateien für die Ausführung von Jobs verwendet wird. Der YARN-Benutzer, Datenintegrationsdienst-Benutzer und Zuordnungs-Identitätswechsel-Benutzer müssen über Schreibberechtigung für dieses Verzeichnis verfügen.
Standardmäßig werden die temporären Dateien in das Hadoop-Staging-Verzeichnis
/tmp/spark_<Benutzername>
geschrieben.
sparkYarnQueueName
Der von der Spark-Engine verwendete Name der YARN-Scheduler-Warteschlange, der verfügbare Ressourcen auf einem Cluster angibt. Bei diesem Namen wird die Groß-/Kleinschreibung beachtet.
stgDataCompressionCodecClass
Codec-Klassenname, der Datenkomprimierung ermöglicht und die Leistung in temporären Staging-Tabellen verbessert. Der Codec-Klassenname entspricht dem Code-Typ.
stgDataCompressionCodecType
Hadoop-Komprimierungsbibliothek für einen Komprimierungs-Codec-Klassennamen.
Sie können „Keine“, „Zlib“, „Gzip“, „Snappy“, „Bz2“, „LZO“ oder „Benutzerdefiniert“ auswählen.
Standardwert ist „Keine“.