Índice

Search

  1. Prólogo
  2. Introducción a la ingesta masiva
  3. Preparar
  4. Crear
  5. Implementar
  6. Run
  7. Supervisor
  8. Apéndice A: Referencia de comando infacmd mi

Guía de ingesta masiva

Guía de ingesta masiva

Resumen de supervisión

Resumen de supervisión

Tras implementar una especificación de ingesta masiva, puede ejecutarla para ingerir los datos.
Cuando ejecute la especificación, puede seleccionar uno de los siguientes tipos de carga:
  • Carga completa. Una carga completa ingiere todos los datos en el destino. Cuando se usa una carga completa, el motor de Spark elimina los datos existentes en el destino de HDFS o Hive y los reemplaza por los que se hayan configurado en la especificación.
  • Carga incremental. Una carga incremental ingiere solo datos incrementales en el destino. El motor de Spark anexa los datos incrementales al destino o directamente sobrescribe el destino con los datos incrementales, dependiendo del modo que se haya configurado en la especificación.
Cada vez que la especificación se ejecuta, el servicio de ingesta masiva genera una nueva instancia de ejecución de la especificación. El servicio de integración de datos procesa la instancia y se conecta al entorno de Hadoop. En el entorno de Hadoop, el motor de Spark ejecuta los trabajos de asignación de ingesta individuales que ingieren datos de las tablas de origen al destino.
Si los trabajos de ingesta dejan de responder o tardan mucho tiempo en completarse, se pueden cancelar en la herramienta de supervisión.
Para obtener información sobre cómo cancelar trabajos de ingesta, vea Cancelar trabajos de ingesta en el capítulo de supervisión.