Table des matières

Search

  1. Préface
  2. Programmes et utilitaires de ligne de commande
  3. Installation et configuration des utilitaires de ligne de commande
  4. Utilisation des programmes de ligne de commande
  5. Variables d'environnement pour les programmes de ligne de commande
  6. Utilisation d'infacmd
  7. infacmd comme Référence de commande
  8. infacmd aud Command Reference
  9. Référence de commande infacmd autotune
  10. Référence de commande infacmd bg
  11. Référence de commande infacmd ccps
  12. Référence de commande de cluster infacmd
  13. Référence de commande infacmd CMS
  14. référence de commande infacmd dis
  15. Requêtes infacmd dis
  16. Référence de commande infacmd dp
  17. Référence de commande infacmd idp
  18. Référence de commande infacmd edp
  19. Référence de commande infacmd es
  20. Référence de commande infacmd ics
  21. Référence de commande infacmd ipc
  22. Référence de commande infacmd isp
  23. Référence de commande infacmd ldm
  24. Référence de commande infacmd mas
  25. Référence de commande infacmd mi
  26. Référence de commande infacmd mrs
  27. Référence de commande d'infacmd ms
  28. Référence de commande infacmd oie
  29. Référence de commande infacmd ps
  30. Référence de commande infacmd pwx
  31. Référence de commande infacmd roh
  32. Référence de commande infacmd rms
  33. Référence de commande infacmd rtm
  34. Référence de commande infacmd sch
  35. Référence de commande infacmd search
  36. Référence de commande infacmd sql
  37. Référence de commande infacmd tdm
  38. Référence de commande infacmd tools
  39. Référence de la commande infacmd wfs
  40. Référence de commande infacmd ws
  41. Référence de la commande infacmd xrf
  42. Fichiers de contrôle infacmd
  43. Référence de commande infasetup
  44. Référence de commande pmcmd
  45. Référence de commande pmrep
  46. Utilisation de l'utilitaire filemanager
  47. Utilisation de pmrep Files

Référence des commandes

Référence des commandes

Options de connexion Hadoop

Options de connexion Hadoop

Utilisez les options de connexion pour définir une connexion Hadoop.
Entrez les options de connexion au format suivant :
... -o option_name='value' option_name='value' ...
Pour entrer plusieurs options, séparez-les par un espace.
Pour entrer des propriétés avancées, utilisez le format suivant :
... -o engine_nameAdvancedProperties="'advanced.property.name=value'"
Par exemple :
... -o blazeAdvancedProperties="'infrgrid.orchestrator.svc.sunset.time=3'"
Le tableau suivant décrit les options de connexion Hadoop pour les commandes infacmd isp CreateConnection et UpdateConnection que vous configurez lorsque vous voulez utiliser la connexion Hadoop :
Option
Description
connectionId
Chaîne utilisée par le service d'intégration de données pour identifier la connexion. L'ID n'est pas sensible à la casse. Il peut contenir jusqu'à 255 caractères et doit être unique dans le domaine. Vous ne pouvez pas modifier cette propriété après avoir créé la connexion. La valeur par défaut est le nom de la connexion.
connectionType
Requis. La connexion est de type Hadoop.
nom
Le nom de la connexion. Le nom n'est pas sensible à la casse et doit être unique dans le domaine. Vous pouvez modifier cette propriété après avoir créé la connexion. Le nom ne peut pas dépasser 128 caractères, ni contenir des espaces ni les caractères spéciaux suivants :
~ ` ! $ % ^ & * ( ) - + = { [ } ] | \ : ; " ' < , > . ? /
blazeJobMonitorURL
Nom d'hôte et numéro de port de la surveillance de tâche Blaze.
Utiliser le format suivant :
<nom d'hôte>:<port>
  • <nom d'hôte> est le nom d'hôte ou l'adresse IP du serveur de surveillance de tâche Blaze.
  • <port> est le port sur lequel la surveillance de tâche Blaze écoute les appels de procédure distante (RPC).
Par exemple, entrez :
myhostname:9080
blazeYarnQueueName
Nom de file d'attente du planificateur YARN utilisé par le moteur Blaze qui spécifie les ressources disponibles sur une grappe. Le nom est sensible à la casse.
blazeAdvancedProperties
Propriétés avancées spécifiques au moteur Blaze.
Pour entrer plusieurs propriétés, séparez chaque paire nom-valeur avec le texte suivant :
&:
.
N'utilisez les propriétés personnalisées Informatica qu'à la demande du support client international Informatica.
blazeMaxPort
Valeur maximale de la plage de numéros de ports du moteur Blaze.
La valeur par défaut est 12600
blazeMinPort
Valeur minimale de la plage de numéros de ports du moteur Blaze.
La valeur par défaut est 12300
blazeUserName
Propriétaire du service Blaze et des journaux du service Blaze.
Lorsque la grappe Hadoop utilise l'authentification Kerberos, l'utilisateur par défaut est l'utilisateur SPN du service d'intégration de données. Lorsque la grappe Hadoop n'utilise pas l'authentification Kerberos et que l'utilisateur Blaze n'est pas configuré, l'utilisateur par défaut est l'utilisateur du service d'intégration de données.
blazeStagingDirectory
Chemin du fichier HDFS du répertoire que le moteur Blaze utilise pour stocker les fichiers temporaires. Vérifiez que le répertoire existe. Les utilisateurs YARN, du moteur Blaze et de mappage d'emprunt d'identité doivent disposer d'une autorisation d'accès en écriture sur ce répertoire.
La valeur par défaut est
/blaze/workdir
. Si vous désactivez cette propriété, les fichiers intermédiaires sont écrits dans le répertoire intermédiaire Hadoop
/tmp/blaze_<nom d'utilisateur>
.
clusterConfigId
ID de configuration de cluster associé au cluster Hadoop. Vous devez entrer un ID de configuration pour configurer une connexion Hadoop.
hiveStagingDatabaseName
Espace de noms des tables intermédiaires Hive. Utilisez la valeur
default
du nom pour les tables qui n'ont pas de nom de base de données spécifié.
engineType
Moteur d'exécution des tâches HiveServer2 sur le moteur Spark. La valeur par défaut est MRv2. Vous pouvez choisir MRv2 ou Tez en fonction du type de moteur que la distribution Hadoop utilise :
  • Amazon EMR - Tez
  • Azure HDI - Tez
  • Cloudera CDH - MRv2
  • Cloudera CDP - Tez
  • Hortonworks HDP - Tez
  • MapR - MRv2
environmentSQL
Commandes SQL permettant de définir l'environnement Hadoop. Le service d'intégration de données exécute l'environnement SQL au début de chaque script Hive généré dans un plan d'exécution Hive.
Les règles et directives suivantes s'appliquent à l'utilisation de l'environnement SQL :
  • Utilisez l'environnement SQL pour spécifier les demandes Hive.
  • Utilisez l'environnement SQL pour définir le chemin de classe des fonctions Hive définies par l'utilisateur, puis utilisez l'environnement SQL ou PreSQL pour spécifier les fonctions Hive définies par l'utilisateur. Vous ne pouvez pas utiliser PreSQL dans les propriétés de l'objet de données pour spécifier le chemin de classe. Si vous utilisez les fonctions définies par l'utilisateur Hive, vous devez copier les fichiers .jar dans le répertoire suivant :
    <Informatica installation directory>/services/shared/hadoop/<Hadoop distribution name>/extras/hive-auxjars
  • Vous pouvez utiliser l'environnement SQL pour définir les paramètres Hadoop ou Hive à utiliser dans les commandes PreSQL ou dans des requêtes personnalisées.
hadoopExecEnvExecutionParameterList
Propriétés personnalisées propres à la connexion Hadoop.
Vous pouvez indiquer plusieurs propriétés.
Utiliser le format suivant :
<property1>=<value>
Pour spécifier plusieurs propriétés, utilisez
&:
comme séparateur de propriété.
Si plusieurs connexions Hadoop sont associées à la même configuration de grappe, vous pouvez remplacer les valeurs de propriétés définies dans la configuration.
N'utilisez les propriétés personnalisées Informatica qu'à la demande du support client international Informatica.
hadoopRejDir
Répertoire distant vers lequel le service d'intégration de données déplace les fichiers de rejet lors de l'exécution de mappages.
Activez le répertoire de rejet à l'aide de l'option rejDirOnHadoop.
impersonationUserName
Requis si la grappe Hadoop utilise l'authentification Kerberos. Utilisateur d'emprunt d'identité Hadoop. Nom d'utilisateur emprunté par le service d'intégration de données pour exécuter des mappages dans l'environnement Hadoop.
Le service d'intégration de données exécute les mappages en fonction de l'utilisateur configuré. Reportez-vous à l'ordre suivant pour déterminer l'utilisateur dont se sert le service d'intégration de données pour exécuter les mappages :
  1. Utilisateur du profil de système d'exploitation. Le mappage s'exécute avec l'utilisateur du profil de système d'exploitation si ce dernier est configuré. Si ce n'est pas le cas, le mappage s'exécute avec l'utilisateur d'emprunt d'identité Hadoop.
  2. Utilisateur d'emprunt d'identité Hadoop. Le mappage s'exécute avec l'utilisateur d'emprunt d'identité Hadoop si l'utilisateur du profil de système d'exploitation n'est pas configuré. Si l'utilisateur d'emprunt d'identité Hadoop n'est pas configuré, le service d'intégration de données exécute les mappages avec l'utilisateur du service d'intégration de données.
  3. Utilisateur du service d'intégration de données. Le mappage s'exécute avec l'utilisateur du service d'intégration de données si l'utilisateur du profil du système d'exploitation et l'utilisateur d'emprunt d'identité Hadoop ne sont pas configurés.
hiveWarehouseDirectoryOnHDFS
Facultatif. Chemin de fichier HDFS absolu de la base de données par défaut pour l'entrepôt local associé à la grappe.
Si vous ne configurez pas le répertoire de l'entrepôt Hive, le moteur Hive essaie d'abord d'écrire dans le répertoire spécifié dans la propriété de configuration de grappe
hive.metastore.warehouse.dir
. Si la configuration de grappe ne possède pas la propriété, le moteur Hive écrit dans le répertoire par défaut
/user/hive/warehouse
.
metastoreDatabaseDriver
Nom de classe du pilote pour le magasin de données JDBC. Par exemple, le nom de classe suivant indique un pilote MySQL :
com.mysql.jdbc.Driver
Vous pouvez obtenir la valeur du pilote de base de données du magasin de métadonnées à partir du fichier hive-site.xml. Le pilote de base de données du magasin de métadonnées s'affiche comme la propriété suivante dans le fichier hive-site.xml :
<property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> </property>
metastoreDatabasePassword
Mot de passe du nom d'utilisateur du magasin de métadonnées.
Vous pouvez obtenir la valeur du mot de passe de base de données du magasin de métadonnées à partir du fichier hive-site.xml. Le mot de passe de base de données du magasin de métadonnées s'affiche comme la propriété suivante dans le fichier hive-site.xml:
<property> <name>javax.jdo.option.ConnectionPassword</name> <value>password</value> </property>
metastoreDatabaseURI
URI de la connexion JDBC utilisé pour accéder au magasin de données dans une configuration de magasin de métadonnées local. Utilisez l'URI de connexion suivante :
jdbc:<datastore type>://<node name>:<port>/<database name>
  • <node name> est le nom d'hôte ou l'adresse IP du magasin de données.
  • <data store type> est le type de magasin de données.
  • <port> est le port sur lequel le magasin de données écoute les appels de procédure distante (RPC).
  • <database name> est le nom de la base de données.
Par exemple, l'URI suivant spécifie un magasin de métadonnées local qui utilise MySQL comme magasin de données :
jdbc:mysql://hostname23:3306/metastore
Vous pouvez obtenir la valeur de l'URI de la base de données du magasin de métadonnées à partir du fichier hive-site.xml. L'URI de la base de données du magasin de métadonnées s'affiche comme la propriété suivante dans le fichier hive-site.xml :
<property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://MYHOST/metastore</value> </property>
metastoreDatabaseUserName
Nom d'utilisateur de la base de données du magasin de métadonnées.
Vous pouvez obtenir la valeur du nom d'utilisateur de la base de données du magasin de métadonnées à partir du fichier hive-site.xml. Le nom d'utilisateur de la base de données du magasin de métadonnées s'affiche comme la propriété suivante dans le fichier hive-site.xml :
<property> <name>javax.jdo.option.ConnectionUserName</name> <value>hiveuser</value> </property>
metastoreMode
Détermine s'il faut se connecter au magasin de métadonnées distant ou local. Par défaut, le magasin de métadonnées local est sélectionné. Pour un magasin de métadonnées local, vous devez indiquer l'URI et le pilote de la base de données du magasin de métadonnées, le nom d'utilisateur et le mot de passe. Pour un magasin de métadonnées distant, vous devez uniquement indiquer
l'URI du magasin de métadonnées distant
.
Vous pouvez obtenir la valeur du mode d'exécution du magasin de métadonnées à partir du fichier hive-site.xml. Le mode d'exécution du magasin de métadonnées s'affiche comme la propriété suivante dans le fichier hive-site.xml :
<property> <name>hive.metastore.local</name> <value>true</true> </property>
La propriété
hive.metastore.local
est obsolète dans le fichier hive-site.xml pour les versions du serveur Hive 0.9 et supérieures. Si la propriété
hive.metastore.local
n'existe pas, mais que la propriété
hive.metastore.uris
existe et que vous savez que le serveur Hive a démarré, vous pouvez définir la connexion sur un magasin de métadonnées distant.
remoteMetastoreURI
URI du magasin de métadonnées utilisé pour accéder aux métadonnées dans une configuration distante de magasin de métadonnées. Pour un magasin de métadonnées distant, vous devez indiquer les détails du serveur Thrift.
Utilisez l'URI de connexion suivante :
thrift://<hostname>:<port>
  • <nom d'hôte> est le nom ou l'adresse IP du serveur de magasins de métadonnées Thrift.
  • <port> est le port sur lequel le serveur Thrift écoute.
Par exemple, entrez :
thrift://myhostname:9083/
Vous pouvez obtenir la valeur de l'URI du magasin de métadonnées distant à partir du fichier hive-site.xml. L'URI du magasin de métadonnées distant s'affiche comme la propriété suivante dans le fichier hive-site.xml :
<property> <name>hive.metastore.uris</name> <value>thrift://<n.n.n.n>:9083</value> <description> IP address or fully-qualified domain name and port of the metastore host</description> </property>
rejDirOnHadoop
Active hadoopRejDir. Permet de spécifier l'emplacement vers lequel déplacer les fichiers de rejet lors de l'exécution de mappages.
Si cette option est activée, le service d'intégration de données déplace les fichiers de mappage vers l'emplacement HDFS répertorié dans hadoopRejDir.
Par défaut, le service d'intégration de données stocke les fichiers de mappage en fonction du paramètre système RejectDir.
sparkEventLogDir
Facultatif. Chemin du fichier HDFS du répertoire que le moteur Spark utilise pour journaliser les événements.
sparkAdvancedProperties
Propriétés avancées spécifiques au moteur Spark.
Pour entrer plusieurs propriétés, séparez chaque paire nom-valeur avec le texte suivant :
&:
.
N'utilisez les propriétés personnalisées Informatica qu'à la demande du support client international Informatica.
sparkStagingDirectory
Chemin du fichier HDFS du répertoire que le moteur Spark utilise pour stocker les fichiers temporaires d'exécution des tâches. Les utilisateurs YARN, du service d'intégration de données et du mappage d'emprunt d'identité doivent disposer d'une autorisation d'accès en écriture sur ce répertoire.
Par défaut, les fichiers temporaires sont écrits dans le répertoire intermédiaire Hadoop
/tmp/spark_<nom d'utilisateur>
.
sparkYarnQueueName
Nom de la file d'attente du planificateur YARN utilisé par le moteur Spark qui spécifie les ressources disponibles sur une grappe. Le nom est sensible à la casse.
stgDataCompressionCodecClass
Nom de classe de codec qui active la compression des données et améliore les performances dans les tables intermédiaires temporaires. Le nom de la classe de codec correspond au type de code.
stgDataCompressionCodecType
Bibliothèque de compression Hadoop pour un nom de classe de codec de compression.
Vous pouvez choisir Aucun, Zlib, Gzip, Snappy, Bz2, LZO ou Personnalisé.
La valeur par défaut est Aucun.