Inhaltsverzeichnis

Search

  1. Vorwort
  2. Befehlszeilenprogramme und Dienstprogramme
  3. Installieren und Konfigurieren von Befehlszeilendienstprogrammen
  4. Verwenden der Befehlszeilenprogramme
  5. Umgebungsvariablen für Befehlszeilenprogramme
  6. Verwenden von infacmd
  7. infacmd as-Befehlsreferenz
  8. infacmd aud-Befehlsreferenz
  9. Infacmd bg-Befehlsreferenz
  10. infacmd cms-Befehlsreferenz
  11. infacmd dis-Befehlsreferenz
  12. Infacmd es-Befehlsreferenz
  13. infacmd ihs-Befehlsreferenz
  14. infacmd ipc-Befehlsreferenz
  15. Infacmd isp-Befehlsreferenz
  16. infacmd ldm-Befehlsreferenz
  17. infacmd mrs-Befehlsreferenz
  18. infacmd ms-Befehlsreferenz
  19. Infacmd oie-Befehlsreferenz
  20. infacmd ps-Befehlsreferenz
  21. infacmd pwx-Befehlsreferenz
  22. infacmd rms-Befehlsreferenz
  23. infacmd rtm-Befehlsreferenz
  24. infacmd sch-Befehlsreferenz
  25. infacmd search-Befehlsreferenz
  26. infacmd sql-Befehlsreferenz
  27. infacmd tdm-Befehlsreferenz
  28. infacmd wfs-Befehlsreferenz
  29. infacmd ws-Befehlsreferenz
  30. infacmd xrf-Befehlsreferenz
  31. infacmd-Steuerdateien
  32. infasetup-Befehlsreferenz
  33. Pmcmd-Befehlsreferenz
  34. pmrep-Befehlsreferenz
  35. Arbeiten mit pmrep-Dateien

Command Reference

Command Reference

Hive-Verbindungsoptionen

Hive-Verbindungsoptionen

Verwenden Sie Verbindungsoptionen zum Definieren einer Hive-Verbindung.
Geben Sie Verbindungsoptionen im folgenden Format ein:
... -o option_name='value' option_name='value' ...
Wenn Sie mehrere Optionen eingeben, trennen Sie diese durch ein Leerzeichen.
Die folgende Tabelle beschreibt Hive-Verbindungsoptionen für infacmd isp CreateConnection- und UpdateConnection-Befehle, die Sie konfigurieren, wenn Sie die Hive-Verbindung verwenden möchten:
Option
Beschreibung
connectionType
Erforderlich. Verbindungstyp ist HIVE.
name
Der Datenquellname ( Name) der Verbindung. Beim Namen wird nicht zwischen Groß- und Kleinschreibung unterschieden, und er muss in der Domäne eindeutig sein. Sie können diese Eigenschaft nach dem Erstellen der Verbindung ändern. Der Name darf nicht länger als 128 Zeichen sein und weder Leerzeichen noch die folgenden Sonderzeichen enthalten:
~ ` ! $ % ^ & * ( ) - + = { [ } ] | \ : ; " ' < , > . ? /
relationalSourceAndTarget
Hive-Verbindungsmodus. Stellen Sie diese Option auf "TRUE", wenn Sie die Verbindung für den Zugriff auf Hive-Data Warehouse nutzen möchten. Wenn Sie auf das Hive-Ziel zugreifen möchten, müssen Sie die gleiche oder eine andere Hive-Verbindung aktivieren, um das Mapping auf dem Hadoop-Cluster auszuführen.
Wenn Sie relationale Quelle und Ziel aktivieren, müssen Sie Option metadataDatabaseString angeben.
pushdownMode
Hive-Verbindungsmodus. Stellen Sie diese Option auf "TRUE", wenn Sie die Verbindung verwenden möchten, um Mappings im Hadoop-Cluster auszuführen
Wenn Sie die Verbindung für den Pushdwon-Modus aktivieren, müssen Sie die Optionen zum Ausführen der Informatica-Mappings im Hadoop-Cluster angeben.
environmentSQL
SQL-Befehle zum Einrichten der Hadoop-Umgebung. Im nativen Umgebungstyp führt der Data Integration Service die Umgebungs-SQL jedes Mal aus, wenn er eine Verbindung zum Hive-Metastore herstellt. Wenn die Hive-Verbindung zum Ausführen von Mappings im Hadoop-Cluster verwendet wird, führt der Data Integration Service die Umgebungs-SQL zu Beginn jeder Hive-Sitzung aus.
Die folgenden Regeln und Richtlinien gelten für die Verwendung von Umgebungs-SQL in beiden Verbindungsmodi:
  • Verwenden Sie die Umgebungs-SQL, um Hive-Abfragen anzugeben.
  • Verwenden Sie die Umgebungs-SQL, um den Klassenpfad für benutzerdefinierte Hive-Funktionen einzustellen und verwenden Sie dann entweder Umgebungs-SQL oder PreSQL, um die benutzerdefinierten Hive-Funktionen anzugeben. Sie können PreSQL nicht in den Datenobjekteigenschaften zur Angabe des Klassenpfads verwenden. Der Pfad muss der voll qualifizierte Pfad zu den JAR-Dateien für die benutzerdefinierten Funktionen sein. Stellen Sie die Parameter hive.aux.jars.path mit allen Einträgen in infapdo.aux.jars.path und den Pfad zu den JAR-Dateien für benutzerdefinierte Funktionen ein.
  • Sie können auch Umgebungs-SQL zum Definieren von Hadoop- oder Hive-Parametern verwenden, die Sie in den PreSQL-Befehlen oder in benutzerspezifischen Abfragen nutzen möchten.
Wenn die Hive-Verbindung zum Ausführen von Mappings im Hadoop-Cluster verwendet wird, so wird nur die Umgebungs-SQL der Hive-Verbindung ausgeführt. Die verschiedenen Umgebungs-SQL-Befehle für die Verbindungen von Hive-Quelle und -Ziel werden nicht ausgeführt, selbst wenn Hive-Quellen und -Ziele sich in verschiedenen Clustern befinden.
enableQuotes
Schließt alle für die Datenbank reservierten Wörter in Anführungszeichen ein. Die Standardeinstellung ist "FALSE".

Eigenschaften für den Zugriff auf Hive als Quelle oder Ziel

Die folgende Tabelle beschreibt die erforderlichen Optionen für infacmd isp CreateConnection- und UpdateConnection-Befehle, die Sie konfigurieren, wenn Sie die Hive-Verbindung für den Zugriff auf Daten verwenden möchten:
Eigenschaft
Beschreibung
metadataConnString
Die JDBC-Verbindungs-URI für den Zugriff auf die Metadaten vom Hadoop-Server.
Die Verbindungszeichenfolge verwendet das folgende Format:
jdbc:hive://<hostname>:<port>/<db>
wobei
  • hostname
    der Name oder die IP-Adresse des Rechners ist, auf dem der Hive-Server ausgeführt wird
  • port
    der Port ist, auf dem der Hive-Server abhört
  • db
    die Datenbank ist, zu der Sie eine Verbindung herstellen möchten. Wenn Sie die Datenbankdetails nicht zur Verfügung stellen, verwendet der Data Integration Service die standardmäßigen Datenbank-Details.
bypassHiveJDBCServer
JDBC-Treibermodus. Aktivieren Sie diese Option zur Verwendung des eingebetteten JDBC-Treibers (eingebetteter Modus).
Zur Verwendung des eingebetteten JDBC-Modus führen Sie folgende Aufgaben durch:
  • Stellen Sie sicher, dass Hive-Client und Informatica Services auf demselben Rechner installiert sind.
  • Konfigurieren Sie die Hive-Verbindungseigenschaften zum Ausführen von Mappings im Hadoop-Cluster.
Wenn Sie den nicht eingebetteten Modus wählen, müssen Sie die Verbindungszeichenfolge für Datenzugriff konfigurieren.
Der eingebettete JDBC-Modus wird dem nicht eingebetteten Modus vorgezogen.
connectString
Die Verbindungszeichenfolge, die zum Zugriff auf Daten aus dem Hadoop-Datenspeicher verwendet wird. Die Verbindungszeichenfolge des nicht eingebetteten JDBC-Modus muss das folgende Format haben:
jdbc:hive://<hostname>:<port>/<db>
wobei
  • hostname
    der Name oder die IP-Adresse des Rechners ist, auf dem der Hive-Server ausgeführt wird.
  • port
    der Port ist, auf dem der Hive-Server abhört. Der Standardwert ist 10000.
  • db
    die Datenbank ist, zu der Sie eine Verbindung herstellen möchten. Wenn Sie die Datenbankdetails nicht zur Verfügung stellen, verwendet der Data Integration Service die standardmäßigen Datenbank-Details.

Eigenschaften zum Ausführen von Mappings im Hadoop-Cluster

Die folgende Tabelle beschreibt die erforderlichen Optionen für infacmd isp CreateConnection- und UpdateConnection-Befehle, die Sie konfigurieren, wenn Sie die Hive-Verbindung zum Ausführen von Informatica-Mappings im Hadoop-Cluster verwenden möchten:
Eigenschaft
Beschreibung
databaseName
Namespace für Tabellen. Verwenden Sie den Namen
default
für Tabellen, bei denen kein angegebener Datenbankname vorhanden ist.
defaultFSURI
Die URI für den Zugriff auf das verteilte Standard-Hadoop-Dateisystem.
FS URI muss das folgende Format haben:
hdfs://<node name>:<port>
wobei
  • node name
    der Hostname oder die IP-Adresse des NameNode ist
  • port
    der Port ist, den NameNode auf Remoteprozeduraufrufe (RPC) abhört.
jobTrackerURI
Der Dienst innerhalb von Hadoop, der die MapReduce-Aufgaben an bestimmte Knoten im Cluster sendet.
JobTracker URI muss das folgende Format haben:
<jobtrackername>:<port>
wobei
  • jobtrackername
    der Hostname oder die IP-Adresse des JobTracker ist.
  • port
    der Port ist, von dem aus der JobTracker auf Remoteprozeduraufrufe (RPC) abhört.
hiveWarehouseDirectoryOnHDFS
Der absolute HDFS-Dateipfad der Standarddatenbank für die Warehouse, die lokal für den Cluster ist. Der folgende Dateipfad gibt zum Beispiel eine lokale Warehouse an:
/user/hive/warehouse
metastoreExecutionMode
Steuert, ob eine Verbindung zu einem Remote-Metastore oder einem lokalen Metastore hergestellt wird. Für einen lokalen Metastore müssen Sie die Metastore-Datenbank-URI, Treiber, Benutzername und Passwort angeben. Für einen ausgelagerten Metastore müssen Sie nur die
Remote Metastore URI
angeben.
metastoreDatabaseURI
Die JDBC-Verbindungs-URI zum Zugriff auf den Datenspeicher in einer lokalen Metastore-Einrichtung. Die URI muss das folgende Format haben:
jdbc:<datastore type>://<node name>:<port>/<database name>
wobei
  • node name
    der Hostname oder die IP-Adresse des Datenspeichers ist
  • data store type
    der Typ des Datenspeichers ist
  • port
    der Port ist, von dem aus der Datenspeicher auf Remoteprozeduraufrufe (RPC) abhört
  • database name
    der Name der Datenbank ist
Die folgende URI gibt zum Beispiel einen lokalen Metastore an, der MySQL als Datenspeicher verwendet:
jdbc:mysql://hostname23:3306/metastore
metastoreDatabaseDriver
Treiberklassenname für den JDBC-Datenspeicher. Der folgende Klassenname gibt zum Beispiel einen MySQL-Treiber an:
com.mysql.jdbc.Driver
metastoreDatabaseUserName
Der Benutzername der Metastore-Datenbank.
metastoreDatabasePassword
Das Passwort für den Benutzernamen der Datenbank.
remoteMetastoreURI
Die Metastore-URI, die für den Zugriff auf Metadaten in einer Remote-Metastore-Einrichtung verwendet wird. Für einen Remote-Metastore müssen Sie die Thrift-Serverdetails angeben.
Die URI muss das folgende Format haben:
thrift://<hostname>:<port>
wobei
  • hostname
    der Name oder die IP-Adresse des Thrift-Metastore-Servers ist
  • port
    der Port ist, auf dem der Thrift-Server abhört.