Table des matières

Search

  1. Préface
  2. Introduction à la gestion des données de test
  3. Test Data Manager
  4. Projets
  5. Stratégies
  6. Data Discovery
  7. Création d'un sous-ensemble de données
  8. Exécution d'une opération de masquage des données
  9. Techniques et paramètres du masquage des données
  10. Génération des données
  11. Techniques et paramètres de génération des données
  12. Utilisation de Test Data Warehouse
  13. Analyse des données de test à l'aide de la couverture de données
  14. Plans et flux de travail
  15. Surveiller
  16. Rapports
  17. ilmcmd
  18. tdwcmd
  19. tdwquery
  20. Référence sur les types de données
  21. Référence sur les types de données pour Test Data Warehouse
  22. Référence sur les types de données pour Hadoop
  23. Glossaire

Guide de l'utilisateur

Guide de l'utilisateur

Sources de données Avro et Parquet

Sources de données Avro et Parquet

Lorsque vous sélectionnez une connexion cible HDFS, utilisez les formats de ressources Avro ou Parquet pour masquer les données et les déplacer dans des groupes.
Les sources de données Avro et Parquet sont semi-structurées. Apache Avro est un système de sérialisation de données au format binaire ou autre et les données Avro sont dans un format qui peut ne pas être directement lisible pour un être humain. Apache Parquet est un format de stockage en colonnes qui peut être traité dans un environnement Hadoop et qui utilise un algorithme d'assemblage et de déchiquetage d'enregistrements. Utilisez les sources Avro et Parquet pour des fichiers de hiérarchie à un seul niveau.
Vous pouvez déplacer des données vers la cible avec des formats de ressource Avro et Parquet si vous utilisez un moteur Hive, Blaze ou Spark.
Si vous utilisez le format Parquet, vous ne pouvez pas utiliser de contraintes Null ou répétées. Les colonnes et les lignes de la table ne peuvent pas contenir de valeur Null. Si c'est le cas, vous devez restreindre cette ligne ou cette colonne avant d'ingérer les données. Vous ne pouvez pas exécuter de profil sur des formats de source Avro et Parquet.