Common Content for Data Engineering
- Common Content for Data Engineering 10.4.1
- Tous les produits
Pour entrer plusieurs options, séparez-les par un espace.... -o option_name='value' option_name='value' ...
Par exemple :... -o engine_nameAdvancedProperties="'advanced.property.name=value'"
... -o blazeAdvancedProperties="'infrgrid.orchestrator.svc.sunset.time=3'"
Option
| Description
|
|---|---|
connectionId
| Chaîne utilisée par le service d'intégration de données pour identifier la connexion. L'ID n'est pas sensible à la casse. Il peut contenir jusqu'à 255 caractères et doit être unique dans le domaine. Vous ne pouvez pas modifier cette propriété après avoir créé la connexion. La valeur par défaut est le nom de la connexion.
|
connectionType
| Requis. La connexion est de type Hadoop.
|
nom
| Le nom de la connexion. Le nom n'est pas sensible à la casse et doit être unique dans le domaine. Vous pouvez modifier cette propriété après avoir créé la connexion. Le nom ne peut pas dépasser 128 caractères, ni contenir des espaces ni les caractères spéciaux suivants :
~ ` ! $ % ^ & * ( ) - + = { [ } ] | \ : ; " ' < , > . ? /
|
blazeJobMonitorURL
| Nom d'hôte et numéro de port de la surveillance de tâche Blaze.
Utiliser le format suivant :
<nom d'hôte>:<port>
Où
Par exemple, entrez : myhostname:9080
|
blazeYarnQueueName
| Nom de file d'attente du planificateur YARN utilisé par le moteur Blaze qui spécifie les ressources disponibles sur une grappe. Le nom est sensible à la casse.
|
blazeAdvancedProperties
| Propriétés avancées spécifiques au moteur Blaze.
Pour entrer plusieurs propriétés, séparez chaque paire nom-valeur avec le texte suivant : &: .
N'utilisez les propriétés personnalisées Informatica qu'à la demande du support client international Informatica.
|
blazeMaxPort
| Valeur maximale de la plage de numéros de ports du moteur Blaze.
La valeur par défaut est 12600
|
blazeMinPort
| Valeur minimale de la plage de numéros de ports du moteur Blaze.
La valeur par défaut est 12300
|
blazeUserName
| Propriétaire du service Blaze et des journaux du service Blaze.
Lorsque la grappe Hadoop utilise l'authentification Kerberos, l'utilisateur par défaut est l'utilisateur SPN du service d'intégration de données. Lorsque la grappe Hadoop n'utilise pas l'authentification Kerberos et que l'utilisateur Blaze n'est pas configuré, l'utilisateur par défaut est l'utilisateur du service d'intégration de données.
|
blazeStagingDirectory
| Chemin du fichier HDFS du répertoire que le moteur Blaze utilise pour stocker les fichiers temporaires. Vérifiez que le répertoire existe. Les utilisateurs YARN, du moteur Blaze et de mappage d'emprunt d'identité doivent disposer d'une autorisation d'accès en écriture sur ce répertoire.
La valeur par défaut est /blaze/workdir . Si vous désactivez cette propriété, les fichiers intermédiaires sont écrits dans le répertoire intermédiaire Hadoop /tmp/blaze_<nom d'utilisateur> .
|
clusterConfigId
| ID de configuration de cluster associé au cluster Hadoop. Vous devez entrer un ID de configuration pour configurer une connexion Hadoop.
|
hiveStagingDatabaseName
| Espace de noms des tables intermédiaires Hive. Utilisez la valeur default du nom pour les tables qui n'ont pas de nom de base de données spécifié.
|
engineType
| Moteur d'exécution des tâches HiveServer2 sur le moteur Spark. La valeur par défaut est MRv2. Vous pouvez choisir MRv2 ou Tez en fonction du type de moteur que la distribution Hadoop utilise :
|
environmentSQL
| Commandes SQL permettant de définir l'environnement Hadoop. Le service d'intégration de données exécute l'environnement SQL au début de chaque script Hive généré dans un plan d'exécution Hive.
Les règles et directives suivantes s'appliquent à l'utilisation de l'environnement SQL :
|
hadoopExecEnvExecutionParameterList
| Propriétés personnalisées propres à la connexion Hadoop.
Utiliser le format suivant :
<property1>=<value>
Pour spécifier plusieurs propriétés, utilisez &: comme séparateur de propriété.
Si plusieurs connexions Hadoop sont associées à la même configuration de grappe, vous pouvez remplacer les valeurs de propriétés définies dans la configuration.
N'utilisez les propriétés personnalisées Informatica qu'à la demande du support client international Informatica.
|
hadoopRejDir
| Répertoire distant vers lequel le service d'intégration de données déplace les fichiers de rejet lors de l'exécution de mappages.
Activez le répertoire de rejet à l'aide de l'option rejDirOnHadoop.
|
impersonationUserName
| Requis si la grappe Hadoop utilise l'authentification Kerberos. Utilisateur d'emprunt d'identité Hadoop. Nom d'utilisateur emprunté par le service d'intégration de données pour exécuter des mappages dans l'environnement Hadoop.
Le service d'intégration de données exécute les mappages en fonction de l'utilisateur configuré. Reportez-vous à l'ordre suivant pour déterminer l'utilisateur dont se sert le service d'intégration de données pour exécuter les mappages :
|
hiveWarehouseDirectoryOnHDFS
| Facultatif. Chemin de fichier HDFS absolu de la base de données par défaut pour l'entrepôt local associé à la grappe.
Si vous ne configurez pas le répertoire de l'entrepôt Hive, le moteur Hive essaie d'abord d'écrire dans le répertoire spécifié dans la propriété de configuration de grappe hive.metastore.warehouse.dir . Si la configuration de grappe ne possède pas la propriété, le moteur Hive écrit dans le répertoire par défaut /user/hive/warehouse .
|
metastoreDatabaseDriver
| Nom de classe du pilote pour le magasin de données JDBC. Par exemple, le nom de classe suivant indique un pilote MySQL :
com.mysql.jdbc.Driver
Vous pouvez obtenir la valeur du pilote de base de données du magasin de métadonnées à partir du fichier hive-site.xml. Le pilote de base de données du magasin de métadonnées s'affiche comme la propriété suivante dans le fichier hive-site.xml :
|
metastoreDatabasePassword
| Mot de passe du nom d'utilisateur du magasin de métadonnées.
Vous pouvez obtenir la valeur du mot de passe de base de données du magasin de métadonnées à partir du fichier hive-site.xml. Le mot de passe de base de données du magasin de métadonnées s'affiche comme la propriété suivante dans le fichier hive-site.xml:
|
metastoreDatabaseURI
| URI de la connexion JDBC utilisé pour accéder au magasin de données dans une configuration de magasin de métadonnées local. Utilisez l'URI de connexion suivante :
jdbc:<datastore type>://<node name>:<port>/<database name>
où
Par exemple, l'URI suivant spécifie un magasin de métadonnées local qui utilise MySQL comme magasin de données :
jdbc:mysql://hostname23:3306/metastore
Vous pouvez obtenir la valeur de l'URI de la base de données du magasin de métadonnées à partir du fichier hive-site.xml. L'URI de la base de données du magasin de métadonnées s'affiche comme la propriété suivante dans le fichier hive-site.xml :
|
metastoreDatabaseUserName
| Nom d'utilisateur de la base de données du magasin de métadonnées.
Vous pouvez obtenir la valeur du nom d'utilisateur de la base de données du magasin de métadonnées à partir du fichier hive-site.xml. Le nom d'utilisateur de la base de données du magasin de métadonnées s'affiche comme la propriété suivante dans le fichier hive-site.xml :
|
metastoreMode
| Détermine s'il faut se connecter au magasin de métadonnées distant ou local. Par défaut, le magasin de métadonnées local est sélectionné. Pour un magasin de métadonnées local, vous devez indiquer l'URI et le pilote de la base de données du magasin de métadonnées, le nom d'utilisateur et le mot de passe. Pour un magasin de métadonnées distant, vous devez uniquement indiquer l'URI du magasin de métadonnées distant .
Vous pouvez obtenir la valeur du mode d'exécution du magasin de métadonnées à partir du fichier hive-site.xml. Le mode d'exécution du magasin de métadonnées s'affiche comme la propriété suivante dans le fichier hive-site.xml :
La propriété hive.metastore.local est obsolète dans le fichier hive-site.xml pour les versions du serveur Hive 0.9 et supérieures. Si la propriété hive.metastore.local n'existe pas, mais que la propriété hive.metastore.uris existe et que vous savez que le serveur Hive a démarré, vous pouvez définir la connexion sur un magasin de métadonnées distant.
|
remoteMetastoreURI
| URI du magasin de métadonnées utilisé pour accéder aux métadonnées dans une configuration distante de magasin de métadonnées. Pour un magasin de métadonnées distant, vous devez indiquer les détails du serveur Thrift.
Utilisez l'URI de connexion suivante :
thrift://<hostname>:<port>
Où
Par exemple, entrez : thrift://myhostname:9083/
Vous pouvez obtenir la valeur de l'URI du magasin de métadonnées distant à partir du fichier hive-site.xml. L'URI du magasin de métadonnées distant s'affiche comme la propriété suivante dans le fichier hive-site.xml :
|
rejDirOnHadoop
| Active hadoopRejDir. Permet de spécifier l'emplacement vers lequel déplacer les fichiers de rejet lors de l'exécution de mappages.
Si cette option est activée, le service d'intégration de données déplace les fichiers de mappage vers l'emplacement HDFS répertorié dans hadoopRejDir.
Par défaut, le service d'intégration de données stocke les fichiers de mappage en fonction du paramètre système RejectDir.
|
sparkEventLogDir
| Facultatif. Chemin du fichier HDFS du répertoire que le moteur Spark utilise pour journaliser les événements.
|
sparkAdvancedProperties
| Propriétés avancées spécifiques au moteur Spark.
Pour entrer plusieurs propriétés, séparez chaque paire nom-valeur avec le texte suivant : &: .
N'utilisez les propriétés personnalisées Informatica qu'à la demande du support client international Informatica.
|
sparkStagingDirectory
| Chemin du fichier HDFS du répertoire que le moteur Spark utilise pour stocker les fichiers temporaires d'exécution des tâches. Les utilisateurs YARN, du service d'intégration de données et du mappage d'emprunt d'identité doivent disposer d'une autorisation d'accès en écriture sur ce répertoire.
/tmp/spark_<nom d'utilisateur> .
|
sparkYarnQueueName
| Nom de la file d'attente du planificateur YARN utilisé par le moteur Spark qui spécifie les ressources disponibles sur une grappe. Le nom est sensible à la casse.
|
stgDataCompressionCodecClass
| Nom de classe de codec qui active la compression des données et améliore les performances dans les tables intermédiaires temporaires. Le nom de la classe de codec correspond au type de code.
|
stgDataCompressionCodecType
| Bibliothèque de compression Hadoop pour un nom de classe de codec de compression.
Vous pouvez choisir Aucun, Zlib, Gzip, Snappy, Bz2, LZO ou Personnalisé.
La valeur par défaut est Aucun.
|