Índice

Search

  1. Prólogo
  2. Introducción a la ingesta masiva
  3. Preparar
  4. Crear
  5. Implementar
  6. Run
  7. Supervisor
  8. Apéndice A: Referencia de comando infacmd mi

Guía de ingesta masiva

Guía de ingesta masiva

Proceso

Proceso

El proceso de ingesta masiva incorpora los componentes de la arquitectura de ingesta masiva que crean, implementan, ejecutan y supervisan una especificación de ingesta masiva.
El proceso de ingesta masiva incluye las siguientes tareas:
Crear
Cree una especificación de ingesta masiva en la herramienta de ingesta masiva. El servicio de ingesta masiva valida y se conecta al servicio de repositorio de modelos para almacenar la especificación en un Repositorio de modelos.
Tras crear la especificación, esta se puede migrar entre Repositorios de modelos.
Implementar
Implemente la especificación de ingesta masiva en un servicio de integración de datos y especifique una conexión de Hadoop. El servicio de ingesta masiva procesa e implementa la especificación en un servicio de integración de datos.
La especificación de ingesta masiva también se puede implementar en un archivo de almacenamiento de la aplicación para guardar la información relativa a la especificación como una aplicación. Si implementa la especificación en un archivo de almacenamiento de aplicación, puede importar la aplicación al Repositorio de modelos e implementar la aplicación en un servicio de integración de datos.
Run
Ejecute la especificación de ingesta masiva para ingerir datos en un destino de HDFS o Hive. El servicio de ingesta masiva programa la especificación que se va a ejecutar y el servicio de integración de datos inserta la especificación en el motor de Spark en el entorno de Hadoop.
Supervisar
El servicio de ingesta masiva genera estadísticas de trabajo de ingesta. Estas estadísticas se pueden supervisar en la herramienta de ingesta masiva o en la Herramienta del administrador.
El siguiente diagrama ilustra al detalle el proceso de ingesta masiva cuando se crea, implementa, ejecuta y supervisa una especificación de ingesta masiva:
Este diagrama describe el proceso de ingesta masiva. Los componentes relevantes se muestran en las columnas: Herramienta de ingesta masiva, Servicio de ingesta masiva y Servicio de integración de datos. Los pasos del proceso se muestran en las filas: Crear, Implementar, Ejecutar y Supervisar. Las celdas de cada fila describen la forma en que cada componente de ingesta masiva cumple su papel en los pasos de creación, implementación, ejecución y supervisión de la especificación de ingesta masiva.