Common Content for Data Engineering
- Common Content for Data Engineering 10.4.1
- Tous les produits
Option
| Description
|
|---|---|
connectionType
| Obligatoire. La connexion est de type Hive.
|
name
| Le nom de la connexion. Le nom n'est pas sensible à la casse et doit être unique dans le domaine. Vous pouvez modifier cette propriété après avoir créé la connexion. Le nom ne peut pas dépasser 128 caractères, ni contenir des espaces ni les caractères spéciaux suivants :
~ ` ! $ % ^ & * ( ) - + = { [ } ] | \ : ; " ' < , > . ? /
|
relationalSourceAndTarget
| Mode de connexion Hive. Définissez cette option sur True si vous voulez utiliser la connexion pour accéder à l'entrepôt de données Hive. Si vous voulez accéder à la cible Hive, vous devez activer la même connexion ou une autre connexion Hive pour exécuter le mappage dans le cluster Hadoop.
Si vous activez une source et une cible relationnelle, vous devez indiquer l'option metadataDatabaseString.
|
pushDownMode
| Mode de connexion Hive. Définissez cette option sur True si vous voulez utiliser la connexion pour exécuter les mappages dans la grappe Hadoop.
Si vous activez la connexion pour le mode de refoulement, vous devez indiquer les options d'exécution des mappages Informatica dans la grappe Hadoop.
|
environmentSQL
| Commandes SQL permettant de définir l'environnement Hadoop. Dans un environnement de type natif, le service d'intégration de données exécute l'environnement SQL chaque fois qu'il crée une connexion vers le magasin de métadonnées Hive. Si la connexion Hive est utilisée pour exécuter les mappages dans la grappe Hadoop, le service d'intégration de données exécute l'environnement SQL au début de chaque session Hive.
Les règles et directives suivantes s'appliquent à l'utilisation de l'environnement SQL dans les deux modes de connexion :
Si la connexion Hive est utilisée pour exécuter les mappages dans la grappe Hadoop, seul l'environnement SQL de la connexion Hive est exécuté. Les différentes commandes de l'environnement SQL pour les connexions de la source ou de la cible Hive ne sont pas exécutées, même si les sources et les cibles Hive se trouvent sur différentes grappes.
|
quoteChar
| Type de caractère servant à identifier les caractères spéciaux et les mots clés SQL réservés, tels que WHERE. Le service d'intégration de données place le caractère sélectionné autour des caractères spéciaux et des mots clés SQL réservés. Le service d'intégration de données utilise également ce caractère pour la propriété Prise en charge des identifiants à casse mixte .
|
clusterConfigId
| ID de configuration de cluster associé au cluster Hadoop. Vous devez entrer un ID de configuration pour configurer une connexion Hadoop.
|
Propriété
| Description
|
|---|---|
hiveJdbcDriverClassName
| Nom de classe du pilote JDBC.
|
metadataConnString
| URI de la connexion JDBC utilisée pour accéder aux métadonnées depuis le serveur Hadoop.
La chaîne de connexion utilise le format suivant :
jdbc:hive://<hostname>:<port>/<db>
Où
Pour se connecter à HiveServer 2, utilisez le format de chaîne de connexion implémenté par Apache Hive pour cette distribution Hadoop spécifique. Pour plus d'informations sur les formats de chaîne de connexion Apache Hive, consultez la documentation Apache Hive.
Si le groupe Hadoop utilise l'authentification SSL ou TLS, vous devez ajouter ssl = true à l'URI de connexion JDBC. Par exemple : jdbc:hive2://<hostname>:<port>/<db>;ssl=true
Si vous utilisez un certificat auto-signé pour l'authentification SSL ou TLS, assurez-vous que le fichier de certificat est disponible sur la machine cliente et celle du service d'intégration de données. Pour plus d'informations, consultez le document Informatica Big Data Management Cluster Integration Guide .
|
bypassHiveJDBCServer
| Mode de pilote JDBC. Activez cette option pour utiliser le pilote JDBC intégré (en mode intégré).
Pour utiliser le mode intégré de JDBC, procédez comme suit :
Si vous choisissez le mode non intégré, vous devez configurer la chaîne de connexion d'accès aux données.
Le mode intégré JDBC est préférable au mode non intégré.
|
sqlAuthorized
| Lorsque vous sélectionnez l'option pour observer l'authentification SQL à grain fin dans une source Hive, le mappage observe les restrictions au niveau des lignes et des colonnes de l'accès aux données. Si vous ne sélectionnez pas cette option, le moteur d'exécution Blaze ignore les restrictions et les résultats incluent des données restreintes.
Applicable aux grappes Hadoop sur lesquelles les modes de sécurité Sentry ou Ranger sont activés.
|
connectString
| La chaîne de connexion utilisée pour accéder aux données depuis le stockage de données Hadoop. La chaîne de connexion du mode JDBC non intégré doit être au format suivant :
jdbc:hive://<hostname>:<port>/<db>
Où
Pour se connecter à HiveServer 2, utilisez le format de chaîne de connexion implémenté par Apache Hive pour cette distribution Hadoop spécifique. Pour plus d'informations sur les formats de chaîne de connexion Apache Hive, consultez la documentation Apache Hive.
Si le groupe Hadoop utilise l'authentification SSL ou TLS, vous devez ajouter ssl = true à l'URI de connexion JDBC. Par exemple : jdbc:hive2://<hostname>:<port>/<db>;ssl=true
Si vous utilisez un certificat auto-signé pour l'authentification SSL ou TLS, assurez-vous que le fichier de certificat est disponible sur la machine cliente et celle du service d'intégration de données. Pour plus d'informations, consultez le document Informatica Big Data Management Cluster Integration Guide .
|
Propriété
| Description
|
|---|---|
databaseName
| Espace de nom pour les tables. Utilisez la valeur default du nom pour les tables qui n'ont pas de nom de base de données spécifié.
|
customProperties
| Configure ou remplace les propriétés de grappe Hive ou Hadoop dans le fichier de configuration hive-site.xml défini sur la machine sur laquelle s'exécute le service d'intégration de données. Vous pouvez indiquer plusieurs propriétés.
Sélectionnez Modifier pour spécifier le nom et la valeur de la propriété. La propriété s'affiche selon le format suivant :
<property1>=<value>
Lorsque vous spécifiez plusieurs propriétés, &: s'affiche comme séparateur de propriété.
La longueur maximale du format est de 1 Mo.
Si vous entrez une propriété requise pour une connexion Hive, elle remplace la propriété que vous configurez dans les propriétés Hive/Hadoop avancées.
Le service d'intégration de données ajoute ou définit ces propriétés pour chaque tâche MapReduce. Vous pouvez vérifier ces propriétés dans le JobConf de chaque tâche MapReduce. Accédez au JobConf de chaque tâche depuis l'URL Jobtracker sous chaque tâche MapReduce.
Le service d'intégration de données écrit des messages pour ces propriétés dans les journaux du service d'intégration de données. Le service d'intégration de données doit avoir le niveau de traçage des journaux défini pour journaliser chaque ligne ou défini pour le traçage d'initialisation détaillée.
Par exemple, indiquez les propriétés suivantes pour contrôler et limiter le nombre de réducteurs pour exécuter une tâche de mappage :
mapred.reduce.tasks=2&:hive.exec.reducers.max=10
|
stgDataCompressionCodecClass
| Nom de classe de codec qui active la compression des données et améliore les performances dans les tables intermédiaires temporaires. Le nom de la classe de codec correspond au type de code.
|
stgDataCompressionCodecType
| Bibliothèque de compression Hadoop pour un nom de classe de codec de compression.
Vous pouvez choisir Aucun, Zlib, Gzip, Snappy, Bz2, LZO ou Personnalisé.
La valeur par défaut est Aucun.
|