Índice

Search

  1. Prólogo
  2. Introducción a la ingesta masiva
  3. Preparar
  4. Crear
  5. Implementar
  6. Run
  7. Supervisor
  8. Apéndice A: Referencia de comando infacmd mi

Guía de ingesta masiva

Guía de ingesta masiva

Carga incremental

Carga incremental

Utilice una carga incremental para ingerir solo datos incrementales en el destino. Para poder utilizar una carga incremental, debe habilitar las cargas incrementales y configurar opciones de carga incremental en la especificación de ingesta masiva.
Puede que quiera utilizar una carga incremental porque una carga completa puede requerir una gran cantidad de tiempo y recursos, sobre todo cuando los datos no se han modificado en gran medida entre las ejecuciones de una especificación. Para disfrutar de una solución más rentable, puede utilizar una carga incremental para ingerir solo los datos incrementales cada vez que la especificación se ejecute.
Ejecute una carga completa inicial antes de empezar a ejecutar cargas incrementales en una especificación. Una carga completa inicial permite que el motor de Spark conserve internamente los datos de origen iniciales y utilice esos valores conservados como base de la que obtener los datos incrementales de una carga incremental. Una vez que el motor de Spark conserve los datos de origen iniciales, podrá ingerir datos incrementales basados en los datos de origen iniciales en cualquier destino.
Si ejecuta una carga incremental usando el modo de anexión, el destino debe contener archivos o tablas existentes para que el motor de Spark pueda anexar datos incrementales a los datos existentes. Para crear archivos o tablas, ejecute una carga completa.