Préface
Introduction à la gestion des données de test
- Présentation de Test Data Management
- Cas d'utilisation de Test Data Management
- Architecture TDM
- Processus TDM
- Exemple TDM
- Utilisation du paramétrage avancé dans Test Data Manager
Test Data Manager
- Présentation de Test Data Manager
- Interface utilisateur de Test Data Manager
- Présentation Afficher
- Vue Stratégies
- Vue Ensembles de données
- Vue Projets
- Vue Surveillance
- Paramètres Afficher
- Vue Administrateur
- Générateur d'expressions
- Connexion à Test Data Manager
Projets
- Présentation des projets
- Composants de projet
- Paramètres
  - Règles et directives applicables aux paramètres
- Journaux de projet
- Propriétés de session de la transformation Masquage des données
- Gestion de projet
- Sources de données
- Supprimer une table
  - Suppression d'une table
- Autorisation de projet et sécurité
  - Autorisations du projet
  - Mise à jour de la sécurité des utilisateurs et des groupes
Stratégies
- Présentation des stratégies
- Vue Stratégies
- Flux de tâches de stratégies
- Règles
- Domaines de données
- Packs de stratégies
- Importation et exportation
- Liaison de conditions d'un glossaire métier à des objets globaux
  - Liaison d'un terme métier à un objet
  - Suppression du lien de terme d'entreprise à un objet
- Gestion des stratégies
Data Discovery
- Présentation de Data Discovery
- Sources de découverte de données
  - Règles et instructions pour les sources de découverte de données
- Vue Découvrir
- Propriétés de colonne
- Flux de tâches de la découverte de données
- Découverte de clé primaire
  - Options de profil de clé primaire
- Découverte d'entité
  - Options de profil d'entité
- Découverte de domaine de données
- Profil de colonne
  - Règles inférées
  - Options de profil de colonne
- Gestion de profil
- Importation d'un profil
  - Importation d'un profil
- Application des résultats
- Tables de projet
Création d'un sous-ensemble de données
- Présentation des sous-ensembles de données
- Sous-ensemble de données Flux de processus
- Sous-ensemble de données Composants
  - Entités
    - Vues de l'entité
  - Groupes
    - Exemple de groupe
- Création d'une entité
- Options d'intégrité des données dans un plan de sous-ensemble de données
- Création d'un groupe
- Application de critères à un élément ou à un attribut
- Modification d'un composant de sous-ensemble de données
- Exportation d'un composant de sous-ensemble de données
- Importation d'un composant de sous-ensemble de données
- Copie d'un composant de sous-ensemble de données
- Suppression d'un composant de sous-ensemble de données
- Création d'un sous-ensemble de données
- Exemple - Sous-ensemble de données pour les sources de données XSD
Exécution d'une opération de masquage des données
- Présentation du masquage des données
- Flux de tâches du masquage des données
- Règles de masquage des données
- Création et attribution de règles de masquage des données
- Modification des règles et des attributions de masquage des données
- Exécution d'une opération de masquage des données
- Composants de masquage des données
  - Masquage de composants dans PowerCenter
    - Exportation de mapplet
Techniques et paramètres du masquage des données
- Présentation des techniques et des paramètres de masquage des données
- Techniques de masquage des données
- Paramètres de masquage des données
  - Sortie répétitive
    - Amorce
  - Gestion des exceptions
- Masquage personnalisé
  - Paramètres de masquage personnalisé
- Masquage avancé
  - Paramètres de masquage avancé
  - Exemple de masquage avancé
- Masquage de cartes de crédit
  - Paramètres de masquage des cartes de crédit
- Masquage d'e-mail
  - Paramètres de masquage d'e-mail
- Masquage de chiffrement
  - Paramètres de masquage de chiffrement
- Masquage des expressions
  - Paramètres de masquage des expressions
  - Règles et directives pour le masquage des expressions
- Masquage d'adresse IP
- Masquage de clé
  - Format du masque
  - Caractères de chaîne source
  - Caractères de remplacement de la chaîne résultat
  - Insensible à la casse
  - Masquage de chaîne délimitée
  - Masquage de clés de date
  - Paramètres de masquage de clé numérique
  - Paramètres de masquage de clé de chaîne
- Masquage d'annulation
- Masquage de téléphone
- Masquage aléatoire
  - Masquage de plage
  - Brouillage
  - Format du masque
  - Caractères de chaîne source
  - Caractères de remplacement de la chaîne résultat
  - Paramètres de masquage de date aléatoire
  - Paramètres de masquage numérique aléatoire
  - Paramètres de masquage de chaîne aléatoire
- Masquage aléatoire
  - Paramètres de masquage aléatoire
  - Règles et directives du masquage aléatoire
- Masquage des SIN
- Masquage SSN
- Masquage de substitution
  - Paramètres de masquage de substitution
- Masquage d'URL
- Exemple de substitution de nom
  - Ajouter un dictionnaire dans Test Data Manager
    - Ajout d'un dictionnaire relationnel
    - Ajout d'un dictionnaire de fichier plat
  - Création de la règle de substitution
  - Création de la règle de masquage avancée
- Exemple de permutation aléatoire des adresses
  - Création de la règle de permutation aléatoire
  - Création de la règle de masquage avancé
Génération des données
- Présentation de la génération des données
- Composants de génération des données
- Règles et directives applicables aux entités
- Flux de tâches de génération de données
- Types de règles de Génération de données
- Paramètres par défaut
- Définir les règles de génération par défaut
- Règles de génération standard
- Règles de génération personnalisées
  - Création d'une règle de génération personnalisée
- Règles de génération ad hoc
  - Création d'une règle de génération ad hoc
  - Modification d'une règle de génération ad hoc
- Règles de génération avancée
  - Exemple de règle de génération avancée
  - Création d'une règle de génération avancée
- Contraintes conditionnelles
  - Contraintes conditionnelles et conflits de données
- Affectation de règles de génération des données
- Génération de données pour des sources XSD
  - Flux de tâche de génération de données pour les sources XSD
  - Application des règles de génération de données aux attributs et aux éléments XML
- Plans et flux de travail de Génération de données
Techniques et paramètres de génération des données
- Présentation des techniques et des paramètres de génération des données
- Techniques de génération des données
- Paramètres de génération des données
  - Données de test d'exception
    - Paramètres de données de test d'exception
- Génération personnalisée
  - Paramètres de génération personnalisés
- Génération avancée
  - Paramètres de génération avancée
- Génération de dictionnaire
  - Paramètres de génération de dictionnaire
- Génération des dates d'effet
  - Exemple de génération des dates d'effet
  - Paramètres de génération des dates d'effet
- Génération d'expression
  - Paramètres de génération d'expression
- Génération aléatoire
- Génération de numéro de carte de crédit
  - Numéro d'identification d'émetteur
  - Paramètres de génération de carte de crédit
- Génération de recherche de référence
  - Paramètres de génération de recherche de référence
- Génération de séquence
  - Paramètres de génération de séquence de dates
  - Paramètres de génération de séquence numérique
- Génération d'ensemble de valeurs
  - Paramètres de génération d'ensemble de valeurs
- Génération conditionnelle
  - Paramètres de génération conditionnelle
Utilisation de Test Data Warehouse
- Présentation de Test Data Warehouse
- Processus de Test Data Warehouse
- Ensembles de données
  - Balises d'ensemble de données
- Portail libre-service de Test Data Management
- Création d'un jeu de données
- Réinitialiser un ensemble de données
- Modification des métadonnées d'un ensemble de données
- Publication d'un Ensemble de données sur le Portail libre-service
- Suppression d'un Ensemble de données
- Ensembles de données associés
- Autorisations d'ensemble de données
  - Modification d'une autorisation d'ensemble de données
- Verrouillage et déverrouillage d'un ensemble de données
- Surveiller une tâche d'ensemble de données
- Afficher et gérer des données dans un Ensemble de données
Analyse des données de test à l'aide de la couverture de données
- Aperçu de l'analyse de couverture de données
- Processus de couverture de données
- Création d'une tâche de couverture de données
- Colonnes de tâche de couverture de données
- Page de l'analyse de couverture de données
- Modification d'une tâche de couverture de données
- Marquage d'une cellule comme étant non valide
- Mise à jour de données dans toutes les cellules
- Entrée utilisateur des tâches Remplir les cellules
- Exemple d'analyse de couverture de données
  - Tables dans le Ensemble de données
  - Analyse de couverture de données
Plans et flux de travail
- Présentation des plans et des flux de travail
  - Liste des tâches de plans et de flux de travail
- Connexions de flux de travail
- Composants du plan
- Paramètres de flux de travail antérieur et postérieur
- Instructions pré et post-SQL de la cible
- Conserver le mappage
- Paramètres du plan
- Composants de masquage
- Composants de sous-ensemble
- Composants de génération
- Composants Hadoop
- Critères de composant
  - Filtrage des composants des sous-ensembles de données
  - Désactivation du masquage d'une colonne
- Paramètres source
- Utilisation d'un fichier de liste
- Gestion du plan
- Génération de flux de travail
- Fichiers de paramètres dans Test Data Manager
  - Création d'un fichier de paramètres
- Exécution d'un flux de travail
- Vue Exécutions d'un flux de travail
  - Tâches de flux de travail
  - Panneau de propriétés du flux de travail
    - Onglet Sessions du flux de travail
    - Détails de session
Surveiller
- Présentation de la vue Surveillance
- Tâches
  - Détails de la tâche
- Surveillance des tâches
- Journaux
  - Niveaux de gravité
  - Affichage des messages de journal
- Sessions
- Surveillance pour Hadoop
Rapports
- Présentation des rapports
- Rapport de suivi d'audit
  - Exécution d'un rapport de suivi d'audit
- Rapport de masquage des données
  - Exécution du rapport de masquage des données
- Rapport d'audit du plan
  - Exécution d'un rapport d'audit du plan
- Rapport détaillé du plan
  - Exécution du rapport détaillé du plan
- Rapport du calcul des lignes
  - Exécution du rapport du calcul des lignes
ilmcmd
- Présentation d'ilmcmd
- Configuration d'ilmcmd
- Exécution d'ilmcmd
- Entrée d'options et d'arguments
- Notation de syntaxe
- Supprimer
  - Exemples de suppressions
- Exporter
  - Exemples d'exportations
- Importer
  - Exemples d'importations
- Rechercher
  - Exemples de recherches
- Flux de travail
  - Exemples de flux de travail
- Reset
- ListPlans
- TDWPlanGenerate
- TDWPlanExecute
- TDWPlanGenExe
tdwcmd
- Présentation de tdwcmd
- Exécution de tdwcmd
- Entrée d'options et d'arguments
- Notation de syntaxe
- Liste
  - Exemples d'énumérations
tdwquery
- Présentation de tdwquery
- Configuration de tdwquery
- Exécution de tdwquery
- Clause SELECT
Annexe A: Référence sur les types de données
- Présentation de la référence sur les types de données
- Oracle
- Microsoft SQL Server
- Microsoft Azure SQL
- Microsoft Azure SQL Data Warehouse
- Amazon Redshift
- DB2 for Linux, UNIX and Windows
- Sybase ASE
- HDFS
- Hive
- HDFS Hadoop
- MySQL
- Fichier plat
- Enregistrement unique séquentiel
- Enregistrements multiples séquentiels
- VSAM plat/Enregistrement unique
- Enregistrements multiples VSAM
- DB2 for z/OS
- DB2 for IOS
- Fichier plat IMS/Enregistrement unique
- Enregistrements multiples IMS
- Sybase IQ
- Netezza
- Teradata
- Cassandra
- MongoDB
- PostgreSQL
Annexe B: Référence sur les types de données pour Test Data Warehouse
- Présentation de la référence sur les types de données pour Test Data Warehouse
- Oracle
- Microsoft SQL Server
- Microsoft Azure SQL
- Microsoft Azure SQL Data Warehouse
- Amazon Redshift
- DB2 for Linux, Unix and Windows
- DB2 for z/OS
- Fichier plat IMS/Enregistrement unique
- Enregistrements multiples IMS
- Enregistrement unique séquentiel
- Enregistrements multiples séquentiels
- Fichier plat VSAM/Enregistrement unique
- Enregistrements multiples VSAM
- Sybase ASE
- Teradata
- MongoDB
- Cassandra
- PostgreSQL
Annexe C: Référence sur les types de données pour Hadoop
- Présentation de la référence sur les types de données pour Hadoop
- Oracle
- Microsoft SQL Server
- DB2 pour Linux, Unix et Windows
- Sybase ASE
- Fichier plat
- Hive
- HDFS
- HDFS Hadoop
- Connexion JDBC
Annexe D: Glossaire
- Glossaire de termes

Guide de l'utilisateur

10.5.2
- 10.5.7
- 10.5.6
- 10.5.3
- 10.5.1
- 10.5
- 10.4.1
- 10.4.0

Précédent Suivant

Sources de données Hive et HDFS

Vous pouvez effectuer des opérations de mouvement de données, de découverte de domaines de données et de masquage des données sur les sources de données Hive et Hadoop Distributed File System (HDFS).

Vous pouvez utiliser des connexions Hive et HDFS dans un plan Hadoop. Lorsque vous utilisez une connexion Hive ou HDFS, TDM utilise le service d'intégration de données pour exécuter les mappages dans le cluster Hadoop.

Vous pouvez créer des connexions Hive et HDFS dans Test Data Manager et importer les sources de données Hadoop dans un projet. Dans un plan Hadoop, vous pouvez sélectionner des connexions Hive et HDFS en tant que source, cible ou les deux.

Vous devez configurer un objet de configuration de cluster dans l'outil Administrator tool avant d'effectuer des opérations TDM sur les sources Hive et HDFS. Une configuration de grappe est un objet qui contient des informations de configuration sur la grappe Hadoop. La configuration de grappe permet au service d'intégration de données de transmettre la logique de mappage à l'environnement Hadoop.

Le schéma de la base de données Hive peut contenir des tables temporaires indésirables qui sont créées lorsque vous exécutez un mappage. Les exemples de formats suivants sont des tables poubelles dans un schéma de base de données Hive :

w1413372528_infa_generatedsource_1_alpha_check

w1413372528_write_employee1_group_cast_alpha_check

Assurez-vous de ne pas sélectionner de table temporaire lorsque vous importez des sources de données.

Vous pouvez créer un plan Hadoop pour déplacer des données depuis des sources Hive ou HDFS, des fichiers plats ou des bases de données relationnelles de type Oracle, DB2, ODBC-Sybase et ODBC-Microsoft SQL Server vers des cibles Hive ou HDFS. Vous pouvez également créer un plan Hadoop lorsque vous souhaitez déplacer des données entre des sources et des cibles Hive et HDFS. Si la source est HDFS, vous pouvez déplacer des données vers une cible Hive ou HDFS. Si la source est Hive, vous pouvez déplacer des données vers une cible Hive ou HDFS. Vous pouvez extraire des données de Hive et de HDFS vers un fichier plat dans un plan Hadoop.

Pour exécuter un plan Hadoop, TDM utilise le service d'intégration de données configuré pour l'optimisation de refoulement. Lorsque vous générez et exécutez le plan Hadoop, TDM génère les mappages et le service d'intégration de données transfère les mappages à la grappe Hadoop pour améliorer les performances. Vous pouvez utiliser un moteur d'exécution Blaze pour exécuter des mappages Hadoop. Lorsque vous sélectionnez une connexion cible HDFS, vous pouvez utiliser les formats de ressources Avro ou Parquet pour masquer les données.

Vous ne pouvez pas effectuer d'opérations de sous-ensemble de données ou de génération de données sur des sources et des cibles Hive et HDFS.

Masquage en place Hive

Vous pouvez effectuer une opération de masquage en place sur les sources de données Hive. Utilisez un moteur d'exécution Spark pour exécuter les mappages dans le cluster. Lorsque vous utilisez un moteur Spark, vous pouvez utiliser le masquage aléatoire et de substitution si vous utilisez le type de connexion JDBC pour créer la connexion au dictionnaire.

Avant d'effectuer une opération de masquage en place sur les sources de données Hive, vous devez effectuer une sauvegarde des tables sources. En cas d'échec du mouvement de données depuis les tables intermédiaires vers les tables sources, TDM tronque les tables sources, ce qui peut engendrer une perte de données.

Sources de données

Sources de données Avro et Parquet

Moteurs d'exécution

Télécharger le guide

Envoyer les commentaires

Communities

Knowledge Base

Portail du succès

Rename Saved Search

Table des matières

Guide de l'utilisateur

Guide de l'utilisateur

Sources de données Hive et HDFS

Sources de données Hive et HDFS

Masquage en place Hive