Índice

Search

  1. Prólogo
  2. Introducción a la ingesta masiva
  3. Preparar
  4. Crear
  5. Implementar
  6. Run
  7. Supervisor
  8. Apéndice A: Referencia de comando infacmd mi

Guía de ingesta masiva

Guía de ingesta masiva

Claves de ID

Claves de ID

Si la clave incremental es un ID, la columna de clave incremental debe almacenar datos numéricos, y el ID debe indicar que se ha añadido una nueva fila de datos a la tabla de origen.
Cuando la especificación de ingesta masiva se ejecuta, el motor de Spark obtiene las filas de la tabla de origen con un ID que es mayor al valor de ID máximo de las filas que se han ingerido previamente. Si el valor de ID de una fila de la tabla es superior al ID máximo ingerido, el motor de Spark obtiene las filas asociadas al ID como datos incrementales.
Por ejemplo, se puede haber ingerido la siguiente tabla de origen en la ejecución previa de la especificación:
EmpID
EmpLastName
481530
'Basquez'
481531
'Savage'
481532
'Greene'
Tenga en cuenta que el valor de ID máximo es 481532.
En la siguiente tabla se muestran los datos que hay actualmente en la tabla de origen:
EmpID
EmpLastName
481530
'Basquez'
481531
'Savage'
481532
'Greene'
481533
'Caldwell'
481534
'Galloway'
Como los ID 
481533
481534
son más grandes que el ID máximo (
481532
) que se ha ingerido previamente, las filas asociadas a estos ID son datos incrementales.
Cuando la especificación se ejecuta, el motor de Spark ingiere las siguientes filas de datos:
EmpID
EmpLastName
481533
'Caldwell'
481534
'Galloway'