Índice

Search

  1. Prólogo
  2. Introducción a la ingesta masiva
  3. Preparar
  4. Crear
  5. Implementar
  6. Run
  7. Supervisor
  8. Apéndice A: Referencia de comando infacmd mi

Guía de ingesta masiva

Guía de ingesta masiva

Datos incrementales

Datos incrementales

Puede configurar una especificación de ingesta masiva para ingerir datos incrementales, que son datos que se han modificado entre distintas ejecuciones de la especificación.
Para ingerir datos incrementales, habilite la carga incremental en la especificación y configure las siguientes opciones de carga incremental:
  • Clave incremental. Clave que el motor de Spark utiliza para obtener datos incrementales.
  • Modo incremental. Modo que el motor de Spark utiliza para ingerir datos incrementales.
Si se ingieren datos en un destino de Hive, también se pueden propagar los cambios de esquema para dar cabida a los desfases de esquema en la base de datos relacional.
Si no habilita la carga incremental, solo podrá utilizar cargas completas para ingerir datos. Una carga completa ingiere todos los datos en el destino cada vez que la especificación se ejecuta.