Maximizar el número de paralelismos para asignaciones y perfiles
Maximizar el número de paralelismos para asignaciones y perfiles
Si tiene la opción de utilizar particiones, puede habilitar el Servicio de integración de datos para maximizar el número de paralelismos cuando ejecute asignaciones, cuando ejecute perfiles de columna o cuando detecte dominios de datos. Cuando se maximiza el número de paralelismos, el Servicio de integración de datos divide de forma dinámica los datos subyacentes en particiones y procesa todas las particiones simultáneamente.
Cuando ejecuta una tarea de perfil, el Servicio de integración de datos convierte la tarea de perfil en una o más asignaciones y, a continuación, puede ejecutar esas asignaciones en varias particiones.
Si las asignaciones procesan grandes conjuntos de datos o contienen transformaciones que realizan cálculos complicados, pueden tardar mucho tiempo en procesarse y pueden provocar un bajo rendimiento de los datos. Cuando se habilita la partición para estas asignaciones, el Servicio de integración de datos utiliza subprocesos adicionales para procesar la asignación. Aumentar el número de subprocesos de procesamiento aumenta la carga en el nodo donde se ejecuta la asignación. Si el nodo contiene un ancho de banda de CPU suficiente, el procesamiento simultáneo de filas de datos en una asignación puede optimizar el rendimiento de la asignación.
De manera predeterminada, la propiedad
Número máximo de paralelismos
está establecida en 1 para el Servicio de integración de datos. Cuando el Servicio de integración de datos ejecuta una asignación, separa la asignación en etapas de canal y utiliza un subproceso para procesar cada etapa. Estos subprocesos se asignan para leer, transformar y escribir tareas, y se ejecutan en paralelo.
Cuando se aumenta el valor del número máximo de paralelismos, se habilita la partición. El Servicio de integración de datos utiliza varios subprocesos para procesar cada etapa de canal.
El Servicio de integración de datos puede crear particiones para asignaciones que tienen datos físicos como entrada y salida. El Servicio de integración de datos puede utilizar varias particiones para completar las siguientes acciones durante la ejecución de una asignación:
Leer desde un origen de archivo sin formato, IBM DB2 para LUW u Oracle.
Ejecutar transformaciones.
Escribir en destinos de archivo sin formato, IBM DB2 para LUW u Oracle.