Índice

Search

  1. Prólogo
  2. Introducción a la ingesta masiva
  3. Preparar
  4. Crear
  5. Implementar
  6. Run
  7. Supervisor
  8. Apéndice A: Referencia de comando infacmd mi

Guía de ingesta masiva

Guía de ingesta masiva

Resumen

Resumen

Utilice Informatica Mass Ingestion (la herramienta de ingesta masiva) para ingerir grandes cantidades de datos de una base de datos relacional en un destino de HDFS o Hive.
La herramienta de ingesta masiva simplifica el proceso de ingesta de datos, ya que proporciona un asistente que se puede utilizar para crear una especificación de ingesta masiva. Una especificación de ingesta masiva es una configuración que puede diseñar para especificar los datos que desea ingerir y la manera en que quiere hacerlo.
El asistente le indica los pasos que puede utilizar para configurar cada parte de la especificación. Esto incluye el origen relacional y el destino de Hive o HDFS, así como cualquier parámetro que quiera configurar en el origen, como un parámetro para filtrar determinadas columnas o enmascarar los datos para proteger la información privada.
Cuando la especificación de ingesta masiva se ejecuta, la herramienta de ingesta masiva utiliza Data Engineering Integration para ejecutar el trabajo de ingesta en un clúster de Hadoop. La especificación acaba con la necesidad de tener que crear y ejecutar asignaciones de forma manual, y es capaz de ingerir todos los datos de una sola vez. A medida que los esquemas de la base de datos relacional vayan evolucionando, la especificación puede dar cabida e ingerir solo los datos incrementales.