Ab Version 10.4.0 können Sie Streaming-Zuordnungen im Azure Databricks-Dienst in Microsoft Azure Cloud Services ausführen.
Quellen und Ziele
Sie können Streaming-Zuordnungen mit den folgenden Quellen und Zielen innerhalb der Databricks-Umgebung ausführen:
Microsoft Azure Event Hubs
Azure Data Lake Storage Gen2 (ADLS Gen2)
Umwandlungen
Sie können einer Databricks-Streaming-Zuordnung die folgenden Umwandlungen hinzufügen:
Aggregator
Ausdruck
Filter
Joiner
Normalisierer
Rang
Router
Union
Fenster
Datentypen
Folgende Datentypen werden unterstützt:
Array
Bigint
Datum/Uhrzeit
Dezimal
Doppelt
Ganzzahl
Map
Struct
Text
String
Arbeitsabläufe
Sie können Cluster-Arbeitsabläufe entwickeln, um in der Databricks-Umgebung Ephemeral-Cluster zu erstellen. Verwenden Sie Azure Data Lake Storage Gen1 (ADLS Gen1) und Azure Data Lake Storage Gen2 (ADLS Gen2) zum Erstellen von Ephemeral-Clustern in der Databricks-Umgebung.
Weitere Informationen zu Streaming-Zuordnungen in Azure Databricks finden Sie im
Data Engineering Streaming 10.4.0-Benutzerhandbuch