Table des matières

Search

  1. Préface
  2. Programmes et utilitaires de ligne de commande
  3. Installation et configuration des utilitaires de ligne de commande
  4. Utilisation des programmes de ligne de commande
  5. Variables d'environnement pour les programmes de ligne de commande
  6. Utilisation d'infacmd
  7. infacmd comme Référence de commande
  8. infacmd aud Command Reference
  9. Référence de commande infacmd autotune
  10. Référence de commande infacmd bg
  11. Référence de commande infacmd ccps
  12. Référence de commande de cluster infacmd
  13. Référence de commande infacmd CMS
  14. référence de commande infacmd dis
  15. Référence de commande infacmd dp
  16. Référence de commande infacmd idp
  17. Référence de commande infacmd edp
  18. Référence de commande infacmd es
  19. Référence de commande infacmd ihs
  20. Référence de commande infacmd ipc
  21. Référence de commande infacmd isp
  22. Référence de commande infacmd ldm
  23. Référence de commande infacmd mas
  24. Référence de commande infacmd mi
  25. Référence de commande infacmd mrs
  26. Référence de commande d'infacmd ms
  27. Référence de commande infacmd oie
  28. Référence de commande infacmd ps
  29. Référence de commande infacmd pwx
  30. Référence de commande infacmd roh
  31. Référence de commande infacmd rms
  32. Référence de commande infacmd rtm
  33. Référence de commande infacmd sch
  34. Référence de commande infacmd search
  35. Référence de commande infacmd sql
  36. Référence de commande infacmd tdm
  37. Référence de commande infacmd tools
  38. Référence de la commande infacmd wfs
  39. Référence de commande infacmd ws
  40. Référence de la commande infacmd xrf
  41. Fichiers de contrôle infacmd
  42. Référence de commande infasetup
  43. Référence de commande pmcmd
  44. Référence de commande pmrep
  45. Utilisation de pmrep Files

Command Reference

Command Reference

Options de connexion Hive

Options de connexion Hive

Utilisez les options de connexion pour définir une connexion Hive.
Entrez les options de connexion au format suivant :
... -o option_name='value' option_name='value' ...
Pour entrer plusieurs options, séparez-les par un espace.
Le tableau suivant décrit les options de connexion Hive pour les commandes infacmd isp CreateConnection et UpdateConnection que vous configurez lorsque vous voulez utiliser la connexion Hive :
Option
Description
connectionType
Obligatoire. La connexion est de type Hive.
name
Le nom de la connexion. Le nom n'est pas sensible à la casse et doit être unique dans le domaine. Vous pouvez modifier cette propriété après avoir créé la connexion. Le nom ne peut pas dépasser 128 caractères, ni contenir des espaces ni les caractères spéciaux suivants :
~ ` ! $ % ^ & * ( ) - + = { [ } ] | \ : ; " ' < , > . ? /
relationalSourceAndTarget
Mode de connexion Hive. Définissez cette option sur True si vous voulez utiliser la connexion pour accéder à l'entrepôt de données Hive. Si vous voulez accéder à la cible Hive, vous devez activer la même connexion ou une autre connexion Hive pour exécuter le mappage dans le cluster Hadoop.
Si vous activez une source et une cible relationnelle, vous devez indiquer l'option metadataDatabaseString.
pushDownMode
Mode de connexion Hive. Définissez cette option sur True si vous voulez utiliser la connexion pour exécuter les mappages dans la grappe Hadoop.
Si vous activez la connexion pour le mode de refoulement, vous devez indiquer les options d'exécution des mappages Informatica dans la grappe Hadoop.
environmentSQL
Commandes SQL permettant de définir l'environnement Hadoop. Dans un environnement de type natif, le service d'intégration de données exécute l'environnement SQL chaque fois qu'il crée une connexion vers le magasin de métadonnées Hive. Si la connexion Hive est utilisée pour exécuter les mappages dans la grappe Hadoop, le service d'intégration de données exécute l'environnement SQL au début de chaque session Hive.
Les règles et directives suivantes s'appliquent à l'utilisation de l'environnement SQL dans les deux modes de connexion :
  • Utilisez l'environnement SQL pour spécifier les demandes Hive.
  • Utilisez l'environnement SQL pour définir le chemin de classe des fonctions Hive définies par l'utilisateur, puis utilisez un environnement SQL ou PreSQL pour spécifier les fonctions Hive définies par l'utilisateur. Vous ne pouvez pas utiliser PreSQL dans les propriétés de l'objet de données pour spécifier le chemin de classe. Si vous utilisez des fonctions définies par l'utilisateur Hive, vous devez copier les fichiers. jar dans le répertoire suivant :
    <répertoire d'installation Informatica>/services/shared/hadoop/<nom de distribution Hadoop>/extras/hive-auxjars
  • Vous pouvez également utiliser un environnement SQL pour définir les paramètres Hadoop ou Hive que vous comptez utiliser dans les commandes PreSQL ou dans des demandes personnalisées.
Si la connexion Hive est utilisée pour exécuter les mappages dans la grappe Hadoop, seul l'environnement SQL de la connexion Hive est exécuté. Les différentes commandes de l'environnement SQL pour les connexions de la source ou de la cible Hive ne sont pas exécutées, même si les sources et les cibles Hive se trouvent sur différentes grappes.
quoteChar
Type de caractère servant à identifier les caractères spéciaux et les mots clés SQL réservés, tels que WHERE. Le service d'intégration de données place le caractère sélectionné autour des caractères spéciaux et des mots clés SQL réservés. Le service d'intégration de données utilise également ce caractère pour la propriété
Prise en charge des identifiants à casse mixte
.
clusterConfigId
ID de configuration de cluster associé au cluster Hadoop. Vous devez entrer un ID de configuration pour configurer une connexion Hadoop.

Propriétés pour accéder à Hive en tant que source ou cible

Le tableau suivant décrit les options obligatoires pour les commandes infacmd isp CreateConnection et UpdateConnection que vous configurez lorsque vous voulez utiliser la connexion Hive pour accéder aux données Hive :
Propriété
Description
hiveJdbcDriverClassName
Nom de classe du pilote JDBC.
metadataConnString
URI de la connexion JDBC utilisée pour accéder aux métadonnées depuis le serveur Hadoop.
La chaîne de connexion utilise le format suivant :
jdbc:hive://<hostname>:<port>/<db>
  • hostname
    est le nom ou l'adresse IP de l'ordinateur sur laquelle le serveur Hive est exécuté.
  • port
    est le port sur lequel le serveur Hive écoute.
  • db
    est la base de données à laquelle vous voulez vous connecter. Si vous ne fournissez pas les détails de la base de données, le service d'intégration de données utilise les détails par défaut.
Pour se connecter à HiveServer 2, utilisez le format de chaîne de connexion implémenté par Apache Hive pour cette distribution Hadoop spécifique. Pour plus d'informations sur les formats de chaîne de connexion Apache Hive, consultez la documentation Apache Hive.
Si le groupe Hadoop utilise l'authentification SSL ou TLS, vous devez ajouter ssl = true à l'URI de connexion JDBC. Par exemple :
jdbc:hive2://<hostname>:<port>/<db>;ssl=true
Si vous utilisez un certificat auto-signé pour l'authentification SSL ou TLS, assurez-vous que le fichier de certificat est disponible sur la machine cliente et celle du service d'intégration de données. Pour plus d'informations, consultez le document
Informatica Big Data Management Cluster Integration Guide
.
bypassHiveJDBCServer
Mode de pilote JDBC. Activez cette option pour utiliser le pilote JDBC intégré (en mode intégré).
Pour utiliser le mode intégré de JDBC, procédez comme suit :
  • Vérifiez que le client Hive et les services Informatica sont installés sur le même ordinateur.
  • Configurez les propriétés de la connexion Hive pour exécuter les mappages dans la grappe Hadoop.
Si vous choisissez le mode non intégré, vous devez configurer la chaîne de connexion d'accès aux données.
Le mode intégré JDBC est préférable au mode non intégré.
sqlAuthorized
Lorsque vous sélectionnez l'option pour observer l'authentification SQL à grain fin dans une source Hive, le mappage observe les restrictions au niveau des lignes et des colonnes de l'accès aux données. Si vous ne sélectionnez pas cette option, le moteur d'exécution Blaze ignore les restrictions et les résultats incluent des données restreintes.
Applicable aux grappes Hadoop sur lesquelles les modes de sécurité Sentry ou Ranger sont activés.
connectString
La chaîne de connexion utilisée pour accéder aux données depuis le stockage de données Hadoop. La chaîne de connexion du mode JDBC non intégré doit être au format suivant :
jdbc:hive://<hostname>:<port>/<db>
  • hostname
    est le nom ou l'adresse IP de l'ordinateur sur laquelle le serveur Hive est exécuté.
  • port
    est le port sur lequel le serveur Hive écoute. La valeur par défaut est 10 000.
  • db
    est la base de données à laquelle vous voulez vous connecter. Si vous ne fournissez pas les détails de la base de données, le service d'intégration de données utilise les détails par défaut.
Pour se connecter à HiveServer 2, utilisez le format de chaîne de connexion implémenté par Apache Hive pour cette distribution Hadoop spécifique. Pour plus d'informations sur les formats de chaîne de connexion Apache Hive, consultez la documentation Apache Hive.
Si le groupe Hadoop utilise l'authentification SSL ou TLS, vous devez ajouter ssl = true à l'URI de connexion JDBC. Par exemple :
jdbc:hive2://<hostname>:<port>/<db>;ssl=true
Si vous utilisez un certificat auto-signé pour l'authentification SSL ou TLS, assurez-vous que le fichier de certificat est disponible sur la machine cliente et celle du service d'intégration de données. Pour plus d'informations, consultez le document
Informatica Big Data Management Cluster Integration Guide
.

Propriétés pour exécuter des mappages dans la grappe Hadoop

Le tableau suivant décrit les options obligatoires pour les commandes infacmd isp CreateConnection et UpdateConnection que vous configurez lorsque vous voulez utiliser la connexion Hive pour exécuter des mappages Informatica dans la grappe Hadoop :
Propriété
Description
databaseName
Espace de nom pour les tables. Utilisez la valeur
default
du nom pour les tables qui n'ont pas de nom de base de données spécifié.
customProperties
Configure ou remplace les propriétés de grappe Hive ou Hadoop dans le fichier de configuration hive-site.xml défini sur la machine sur laquelle s'exécute le service d'intégration de données. Vous pouvez indiquer plusieurs propriétés.
Sélectionnez
Modifier
pour spécifier le nom et la valeur de la propriété. La propriété s'affiche selon le format suivant :
<property1>=<value>
Lorsque vous spécifiez plusieurs propriétés,
&:
s'affiche comme séparateur de propriété.
La longueur maximale du format est de 1 Mo.
Si vous entrez une propriété requise pour une connexion Hive, elle remplace la propriété que vous configurez dans les propriétés Hive/Hadoop avancées.
Le service d'intégration de données ajoute ou définit ces propriétés pour chaque tâche MapReduce. Vous pouvez vérifier ces propriétés dans le JobConf de chaque tâche MapReduce. Accédez au JobConf de chaque tâche depuis l'URL Jobtracker sous chaque tâche MapReduce.
Le service d'intégration de données écrit des messages pour ces propriétés dans les journaux du service d'intégration de données. Le service d'intégration de données doit avoir le niveau de traçage des journaux défini pour journaliser chaque ligne ou défini pour le traçage d'initialisation détaillée.
Par exemple, indiquez les propriétés suivantes pour contrôler et limiter le nombre de réducteurs pour exécuter une tâche de mappage :
mapred.reduce.tasks=2&:hive.exec.reducers.max=10
stgDataCompressionCodecClass
Nom de classe de codec qui active la compression des données et améliore les performances dans les tables intermédiaires temporaires. Le nom de la classe de codec correspond au type de code.
stgDataCompressionCodecType
Bibliothèque de compression Hadoop pour un nom de classe de codec de compression.
Vous pouvez choisir Aucun, Zlib, Gzip, Snappy, Bz2, LZO ou Personnalisé.
La valeur par défaut est Aucun.