Inhaltsverzeichnis

Search

  1. Vorwort
  2. Befehlszeilenprogramme und Dienstprogramme
  3. Installieren und Konfigurieren von Befehlszeilendienstprogrammen
  4. Verwenden der Befehlszeilenprogramme
  5. Umgebungsvariablen für Befehlszeilenprogramme
  6. Verwenden von infacmd
  7. infacmd as-Befehlsreferenz
  8. infacmd aud-Befehlsreferenz
  9. Infacmd bg-Befehlsreferenz
  10. infacmd cms-Befehlsreferenz
  11. infacmd dis-Befehlsreferenz
  12. Infacmd es-Befehlsreferenz
  13. infacmd ihs-Befehlsreferenz
  14. infacmd ipc-Befehlsreferenz
  15. Infacmd isp-Befehlsreferenz
  16. infacmd ldm-Befehlsreferenz
  17. infacmd mrs-Befehlsreferenz
  18. infacmd ms-Befehlsreferenz
  19. Infacmd oie-Befehlsreferenz
  20. infacmd ps-Befehlsreferenz
  21. infacmd pwx-Befehlsreferenz
  22. infacmd rms-Befehlsreferenz
  23. infacmd rtm-Befehlsreferenz
  24. infacmd sch-Befehlsreferenz
  25. infacmd search-Befehlsreferenz
  26. infacmd sql-Befehlsreferenz
  27. infacmd tdm-Befehlsreferenz
  28. infacmd wfs-Befehlsreferenz
  29. infacmd ws-Befehlsreferenz
  30. infacmd xrf-Befehlsreferenz
  31. infacmd-Steuerdateien
  32. infasetup-Befehlsreferenz
  33. Pmcmd-Befehlsreferenz
  34. pmrep-Befehlsreferenz
  35. Arbeiten mit pmrep-Dateien

Command Reference

Command Reference

Hadoop-Verbindungsoptionen

Hadoop-Verbindungsoptionen

Verwenden Sie Verbindungsoptionen zum Definieren einer Hive-Verbindung.
Geben Sie Verbindungsoptionen im folgenden Format ein:
... -o option_name='value' option_name='value' ...
Wenn Sie mehrere Optionen eingeben, trennen Sie diese durch ein Leerzeichen.
In der folgenden Tabelle werden die Hadoop-Verbindungsoptionen für die infacmd isp CreateConnection- und UpdateConnection-Befehle beschrieben, die Sie konfigurieren, wenn Sie die Hadoop-Verbindung verwenden möchten:
Option
Beschreibung
connectionId
Zeichenfolge, die der Datenintegrationsdienst zum Erkennen der Verbindung verwendet. Bei der ID wird die Groß- und Kleinschreibung nicht beachtet. Sie darf maximal 255 Zeichen umfassen und muss in der Domäne eindeutig sein. Sie können diese Eigenschaft nach dem Erstellen der Verbindung nicht mehr ändern. Als Standardwert dient der Verbindungsname.
connectionType
Erforderlich. Verbindungstyp ist Hadoop.
name
Der Name der Verbindung. Der Name unterliegt nicht der Groß-/Kleinschreibung und muss innerhalb der Domäne eindeutig sein. Sie können diese Eigenschaft nach dem Erstellen der Verbindung ändern. Der Name darf nicht mehr als 128 Zeichen und weder Leerzeichen noch die folgenden Sonderzeichen enthalten:
~ ` ! $ % ^ & * ( ) - + = { [ } ] | \ : ; " ' < , > . ? /
RMAddress
Der Dienst innerhalb von Hadoop, der Ressourcenanfragen übermittelt und YARN-Anwendungen erzeugt.
Verwenden Sie das folgende Format:
<hostname>:<port>
Wobei
  • <hostname> der Hostname bzw. die IP-Adresse des Yarn-Ressourcenmanagers ist.
  • <port> der Port ist, den der Yarn-Ressourcenmanager auf Remoteprozeduraufrufe (RPC) abhört.
Geben Sie beispielsweise Folgendes ein:
myhostame:8032
Sie können auch die Eigenschaft „Adresse des Ressourcenmanagers“ aus der Datei „yarn-site.xml“ abrufen, die sich in folgendem Verzeichnis auf dem Hadoop-Cluster befindet:
/etc/hadoop/conf/
Die Adresse des Ressourcenmanagers wird als folgende Eigenschaft in der Datei „yarn-site.xml“ angezeigt:
<property> <name>yarn.resourcemanager.address</name> <value>hostname:port</value> <description>The address of the applications manager interface in the Resource Manager.</description> </property>
Wenn die Eigenschaft
yarn.resourcemanager.address
nicht in der Datei „yarn-site.xml“ konfiguriert ist, können Sie in der Eigenschaft
yarn.resourcemanager.hostname
oder der Eigenschaft
yarn.resourcemanager.scheduler.address
in der Datei „yarn-site.xml“ optional nach dem Hostnamen suchen. Sie können die Adresse des Ressourcenmanagers dann in der Hadoop-Verbindung mit folgendem Wert konfigurieren:
hostname:8032
cadiAppYarnQueueName
Der von der Blaze-Engine verwendete Warteschlangenname des YARN-Schedulers, der verfügbare Ressourcen auf einem Cluster angibt. Bei diesem Namen wird die Groß-/Kleinschreibung beachtet.
cadiExecutionParameterList
Benutzerdefinierte Eigenschaften, die der Blaze-Engine eindeutig zugeordnet sind.
Sie können mehrere Eigenschaften angeben.
Verwenden Sie das folgende Format:
<property1>=<value>
Wobei
  • <property1> ist eine Eigenschaft zur Optimierung der Blaze-Engine.
  • <value> ist der Wert der Eigenschaft zur Optimierung der Blaze-Engine.
Verwenden Sie zur Angabe mehrerer Eigenschaften
&:
als Trennzeichen für Eigenschaften.
Benutzerdefinierte Eigenschaften dürfen nur nach Absprache mit dem globalen Kundensupport von Informatica verwendet werden.
cadiMaxPort
Der Maximalwert für den Portnummernbereich der Blaze-Engine.
cadiMinPort
Der Minimalwert für den Portnummernbereich der Blaze-Engine.
cadiUserName
Der Benutzername des Betriebssystemprofils für die Blaze-Engine.
cadiWorkingDirectory
Der HDFS-Dateipfad des Verzeichnisses, das von der Blaze-Engine zum Speichern temporärer Dateien verwendet wird. Stellen Sie sicher, dass das Verzeichnis vorhanden ist. Der YARN-Benutzer, der Benutzer der Blaze-Engine und der Benutzer für Identitätswechsel von Zuordnungen müssen über Schreibberechtigungen für dieses Verzeichnis verfügen.
databaseName
Namespace für Tabellen. Verwenden Sie den Namen
default
für Tabellen, bei denen kein Datenbankname angegeben wurde.
defaultFSURI
Die URI für den Zugriff auf das verteilte Standard-Hadoop-Dateisystem.
Verwenden Sie den folgenden Verbindungs-URI:
hdfs://<node name>:<port>
Wobei
  • <node name> der Hostname bzw. die IP-Adresse von NameNode ist.
  • <port> der Port ist, den NameNode auf Remoteprozeduraufrufe (RPC) abhört.
Geben Sie beispielsweise Folgendes ein:
hdfs://myhostname:8020/
Sie können auch die Eigenschaft „Standarddateisystem-URI“ aus der Datei „core-site.xml“ abrufen, die sich in folgendem Verzeichnis auf dem Hadoop-Cluster befindet:
/etc/hadoop/conf/
Verwenden Sie den Wert aus der Eigenschaft
fs.defaultFS
, die sich in der Datei „core-site.xml“ befindet.
Verwenden Sie zum Beispiel den folgenden Wert:
<property> <name>fs.defaultFS</name> <value>hdfs://localhost:8020</value> </property>
Wenn MapR auf dem Hadoop-Cluster ausgeführt wird, verwenden Sie die folgende URI für den Zugriff auf das MapR-Dateisystem:
maprfs:///
.
engineType
Die von der Hadoop-Umgebung verwendete Engine zum Ausführen einer Zuordnung auf dem Hadoop-Cluster. Wählen Sie einen Wert aus der Dropdown-Liste aus.
Wählen Sie beispielsweise Folgendes aus:
MRv2
Zum Einrichten des Engine-Typs in der Hadoop-Verbindung müssen Sie den Wert für die Eigenschaft
mapreduce.framework.name
aus der Datei „mapred-site.xml“ abrufen, die sich in folgendem Verzeichnis auf dem Haddop-Cluster befindet:
/etc/hadoop/conf/
Wenn der Wert für
mapreduce.framework.name
auf
classic
festgelegt ist, wählen Sie
mrv1
als Engine-Typ in der Hadoop-Verbindung aus.
Wenn der Wert für
mapreduce.framework.name
auf
yarn
festgelegt ist, können Sie
mrv2
oder
tez
als Engine-Typ in der Hadoop-Verbindung auswählen. Wählen Sie „Tez“ nur aus, wenn „Tez“ für das Hadoop-Cluster konfiguriert ist.
Sie können den Wert für den Engine-Typ auch in der Datei „hive-site.xml“ einrichten. Der Engine-Typ wird als folgende Eigenschaft in der Datei „hive-site.xml“ angezeigt:
<property> <name>hive.execution.engine</name> <value>tez</value> <description>Chooses execution engine. Options are: mr (MapReduce, default) or tez (Hadoop 2 only)</description> </property>
environmentSQL
SQL-Befehle zum Einrichten der Hadoop-Umgebung. Der Datenintegrationsdienst führt die Umgebungs-SQL am Anfang jedes Hive-Skripts aus, das in einem Hive-Ausführungsplan erzeugt wurde.
Die folgenden Regeln und Richtlinien gelten für die Verwendung von Umgebungs-SQL:
  • Verwenden Sie die Umgebungs-SQL, um Hive-Abfragen anzugeben.
  • Verwenden Sie die Umgebungs-SQL, um den Klassenpfad für benutzerdefinierte Hive-Funktionen einzustellen, und verwenden Sie dann Umgebungs-SQL oder PreSQL, um die benutzerdefinierten Hive-Funktionen anzugeben. Sie können PreSQL nicht in den Datenobjekteigenschaften zur Angabe des Klassenpfads verwenden. Der Pfad muss der voll qualifizierte Pfad zu den JAR-Dateien für die benutzerdefinierten Funktionen sein. Stellen Sie die Parameter hive.aux.jars.path mit allen Einträgen in infapdo.aux.jars.path und den Pfad zu den JAR-Dateien für benutzerdefinierte Funktionen ein.
  • Sie können Umgebungs-SQL zum Definieren von Hadoop- oder Hive-Parametern verwenden, die Sie in den PreSQL-Befehlen oder in benutzerspezifischen Abfragen nutzen möchten.
hadoopExecEnvExecutionParameterList
Benutzerdefinierte Eigenschaften, die der Hadoop-Umgebung eindeutig zugeordnet sind.
Sie können mehrere Eigenschaften angeben.
Verwenden Sie das folgende Format:
<property1>=<value>
Wobei
  • <property1> eine Eigenschaft zur Optimierung der Hadoop-Umgebung ist.
  • <value> der Wert der Eigenschaft zur Optimierung der Hadoop-Umgebung ist.
Verwenden Sie zur Angabe mehrerer Eigenschaften
&:
als Trennzeichen für Eigenschaften.
Benutzerdefinierte Eigenschaften dürfen nur nach Absprache mit dem globalen Kundensupport von Informatica verwendet werden.
Hiveusername
Name des Benutzers, den der Datenintegrationsdienst zum Ausführen von Zuordnungen in einem Hadoop-Cluster verwendet.
Wenn der Hadoop-Cluster Kerberos-Authentifizierung verwendet, müssen der Prinzipalname für die JDBC-Verbindungszeichenfolge und der Benutzername identisch sein.
Sie müssen den Benutzeridentitätswechsel für die Hadoop-Verbindung verwenden, wenn der Hadoop-Cluster Kerberos-Authentifizierung verwendet.
Wenn der Hadoop-Cluster keine Kerberos-Authentifizierung verwendet, richtet sich der Benutzername nach dem Verhalten des JDBC-Treibers.
Wenn Sie keinen Benutzernamen angeben, authentifiziert der Hadoop-Cluster Jobs basierend auf dem Benutzernamen des Betriebssystems auf dem Computer, auf dem der Datenintegrationsdienst ausgeführt wird.
hiveWarehouseDirectoryOnHDFS
Der absolute HDFS-Dateipfad der Standarddatenbank für das lokale Cluster-Warehouse. Der folgende Dateipfad gibt zum Beispiel ein lokales Warehouse an:
/user/hive/warehouse
Wenn der Metastore-Ausführungsmodus für Cloudera CDH remote ausgeführt wird, muss der Dateipfad dem vom Hive-Metastore-Dienst im Hadoop-Cluster festgelegten Dateipfad entsprechen.
Sie können den Wert für das Hive-Warehouse-Verzeichnis auf HDFS aus der Eigenschaft
hive.metastore.warehouse.dir
in der Datei „hive-site.xml“ abrufen, die sich in folgendem Verzeichnis auf dem Hadoop-Cluster befindet:
/etc/hadoop/conf/
Verwenden Sie zum Beispiel den folgenden Wert:
<property> <name>hive.metastore.warehouse.dir</name> <value>/usr/hive/warehouse </value> <description>location of the warehouse directory</description> </property>
Für MapR befindet sich die Datei
hive-site.xml
in folgendem Verzeichnis:
/opt/mapr/hive/<hive version>/conf
.
jobMonitoringURL
Die URL für den JobHistory-Server unter MapReduce. Sie können die URL für die JobTracker-URI verwenden, wenn Sie MapReduce Version 1 verwenden.
Verwenden Sie das folgende Format:
<hostname>:<port>
Wobei
  • <hostname> der Hostname bzw. die IP-Adresse des JobHistory-Servers ist.
  • <port> der Port ist, den der JobHistory-Server auf Remoteprozeduraufrufe (RPC) abhört.
Geben Sie beispielsweise Folgendes ein:
myhostname:8021
Sie können den Wert für die Jobüberwachungs-URL aus der Datei „mapred-site.xml“ abrufen. Die Jobüberwachungs-URL wird als folgende Eigenschaft in der Datei „mapred-site.xml“ angezeigt:
<property> <name>mapred.job.tracker</name> <value>myhostname:8021 </value> <description>The host and port that the MapReduce job tracker runs at.</description> </property>
metastoreDatabaseDriver
Treiberklassenname für den JDBC-Datenspeicher. Der folgende Klassenname gibt zum Beispiel einen MySQL-Treiber an:
com.mysql.jdbc.Driver
Sie können den Wert für den Metastore-Datenbanktreiber aus der Datei „hive-site.xml“ abrufen. Der Metastore-Datenbanktreiber wird als folgende Eigenschaft in der Datei „hive-site.xml“ angezeigt:
<property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> </property>
metastoreDatabasePassword
Das Passwort für den Metastore-Benutzernamen.
Sie können den Wert für das Passwort der Metastore-Datenbank aus der Datei „hive-site.xml“ abrufen. Das Passwort der Metastore-Datenbank wird als folgende Eigenschaft in der Datei „hive-site.xml“ angezeigt:
<property> <name>javax.jdo.option.ConnectionPassword</name> <value>password</value> </property>
metastoreDatabaseURI
Die JDBC-Verbindungs-URI zum Zugriff auf den Datenspeicher in einer lokalen Metastore-Einrichtung. Verwenden Sie den folgenden Verbindungs-URI:
jdbc:<datastore type>://<node name>:<port>/<database name>
wobei
  • <node name> der Hostname bzw. die IP-Adresse des Datenspeichers ist.
  • <datastore type> der Typ des Datenspeichers ist.
  • <port> der Port ist, den der Datenspeicher auf Remoteprozeduraufrufe (RPC) abhört.
  • <database name> der Name der Datenbank ist.
Die folgende URI gibt zum Beispiel einen lokalen Metastore an, der MySQL als Datenspeicher verwendet:
jdbc:mysql://hostname23:3306/metastore
Sie können den Wert für die Metastore-Datenbank-URI aus der Datei „hive-site.xml“ abrufen. Die Metastore-Datenbank-URI wird als folgende Eigenschaft in der Datei „hive-site.xml“ angezeigt:
<property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://MYHOST/metastore</value> </property>
metastoreDatabaseUserName
Der Benutzername der Metastore-Datenbank.
Sie können den Wert für den Benutzernamen der Metastore-Datenbank aus der Datei „hive-site.xml“ abrufen. Der Benutzername der Metastore-Datenbank wird als folgende Eigenschaft in der Datei „hive-site.xml“ angezeigt:
<property> <name>javax.jdo.option.ConnectionUserName</name> <value>hiveuser</value> </property>
metastoreMode
Steuert, ob eine Verbindung zu einem Remote-Metastore oder einem lokalen Metastore hergestellt wird. Standardmäßig ist „lokal“ ausgewählt. Für einen lokalen Metastore müssen Sie die Metastore-Datenbank-URI sowie den Treiber, den Benutzernamen und das Passwort der Metastore-Datenbank angeben. Für einen Remote-Metastore müssen Sie nur die
Remote-Metastore-URI
angeben.
Sie können den Wert für den Metastore-Ausführungsmodus aus der Datei „hive-site.xml“ abrufen. Der Metastore-Ausführungsmodus wird als folgende Eigenschaft in der Datei „hive-site.xml“ angezeigt:
<property> <name>hive.metastore.local</name> <value>true</true> </property>
Die Eigenschaft
hive.metastore.local
ist in der Datei „hive-site.xml“ für Hive-Server der Versionen 0.9 und höher veraltet. Wenn die Eigenschaft
hive.metastore.uris
im Gegensatz zur Eigenschaft
hive.metastore.local
vorhanden ist und der Hive-Server gestartet wurde, können Sie die Verbindung auf einen Remote-Metastore festlegen.
remoteMetastoreURI
Die Metastore-URI, die für den Zugriff auf Metadaten in einer Remote-Metastore-Einrichtung verwendet wird. Für einen Remote-Metastore müssen Sie die Thrift-Serverdetails angeben.
Verwenden Sie den folgenden Verbindungs-URI:
thrift://<hostname>:<port>
Wobei
  • <hostname> der Name bzw. die IP-Adresse des Thrift-Metastore-Servers ist.
  • <port> der Port ist, den der Thrift-Server abhört.
Geben Sie beispielsweise Folgendes ein:
thrift://myhostname:9083/
Sie können den Wert für die Remote-Metastore-URI aus der Datei „hive-site.xml“ abrufen. Die Remote-Metastore-URI wird als folgende Eigenschaft in der Datei „hive-site.xml“ angezeigt:
<property> <name>hive.metastore.uris</name> <value>thrift://<n.n.n.n>:9083</value> <description> IP address or fully-qualified domain name and port of the metastore host</description> </property>
SparkHDFSStagingDir
Der HDFS-Dateipfad des Verzeichnisses, das von der Spark-Engine zum Speichern temporärer Dateien für die Ausführung von Jobs verwendet wird. Der YARN-Benutzer, der Benutzer der Spark-Engine und der Benutzer für den Identitätswechsel von Zuordnungen müssen über Schreibberechtigungen für dieses Verzeichnis verfügen.
SparkExecutionParameterList
Eine optionale Liste der Konfigurationsparameter, die auf die Spark-Engine angewendet werden. Sie können die Eigenschaftswerte der Spark-Standardkonfiguration ändern, wie z. B.
spark.executor.memory
oder
spark.driver.cores
.
Verwenden Sie das folgende Format:
<property1>=<value>
  • <property1> ist eine Spark-Konfigurationseigenschaft.
  • <value> ist der Wert der Eigenschaft.
Sie können beispielsweise den Warteschlangennamen eines YARN-Schedulers zur Angabe verfügbarer Ressourcen in einem Cluster konfigurieren:
spark.yarn.queue=TestQ
Zur Eingabe mehrerer Eigenschaften trennen Sie jedes Namen-Wert-Paar durch folgenden Text:
&:
stgDataCompressionCodecClass
Codec-Klassenname, der die Datenkomprimierung aktiviert und die Leistung in temporären Staging-Tabellen verbessert.
stgDataCompressionCodecType
Hadoop-Komprimierungsbibliothek für einen Komprimierungs-Codec-Klassennamen.