Novedades y cambios(10.5.3)

10.5.3
- 10.5.2
- 10.5.1
- 10.5
- 10.4.1
- 10.4.0

Anterior Siguiente

Integración de Azure Databricks

A partir de la versión 10.2.2, puede integrar el dominio de Informatica con el entorno de Azure Databricks.

Azure Databricks es una plataforma de nube de análisis que está optimizada para los servicios de nube de Microsoft Azure. Incorpora las funciones y tecnologías de clúster de Apache Spark de código abierto.

El dominio de Informatica puede instalarse en una máquina virtual de Azure o en las instalaciones. El proceso de integración es similar a la integración con el entorno de Hadoop. Se pueden realizar tareas de integración, incluso la importación de la configuración del clúster desde el entorno de Databricks. El dominio de Informatica usa autenticación de token para acceder al entorno de Databricks. El ID del token de Databricks se almacena en la conexión de Databricks.

Orígenes y destinos

Puede ejecutar asignaciones contra los siguientes orígenes y destinos dentro del entorno de Databricks:

Microsoft Azure Data Lake Store

Microsoft Azure Blob Storage

Almacén de datos de Microsoft Azure SQL

Microsoft Azure Cosmos DB

Transformaciones

Puede agregar las siguientes transformaciones a una asignación de Databricks:

Agregación

Expresión

Filtro

Unión

Búsqueda

Normalizador

Rango

Enrutador

Ordenación

Unión

El motor de Databricks Spark procesa la transformación de una manera muy similar a como lo hace el motor de Spark en el entorno de Hadoop.

Tipos de datos

Se admiten los siguientes tipos de datos:

Array

Bigint

Date/time

Decimal

Doble

Entero

Map

Struct

Text

String

Asignaciones

Cuando se configura una asignación, puede elegir validar y ejecutar la asignación en el entorno de Databricks. Cuando ejecuta la asignación, el servicio de integración de datos genera un código de Scala y lo pasa al motor de Databricks Spark.