Ab Version 10.2 können Sie komplexe Datentypen wie array, struct und map in Zuordnungen verwenden, die auf der Spark-Engine ausgeführt werden. Mit komplexen Datentypen liest, verarbeitet und schreibt die Spark-Engine hierarchische Daten direkt in komplexe Avro-, JSON- und Parquet-Dateien.
Entwickeln Sie Zuordnungen mit komplexen Ports, Operatoren und Funktionen, um die folgenden Aufgaben auszuführen:
Generieren und Ändern hierarchischer Daten
Transformieren relationaler Daten in hierarchische Daten
Transformieren hierarchischer Daten in relationale Daten
Konvertieren von Daten aus einem komplexen Dateiformat in ein anderes
Wenn Sie hierarchische Daten verarbeiten, können Sie hierarchische Konvertierungsassistenten verwenden, um die Mapping-Entwicklungsaufgaben zu vereinfachen. Verwenden Sie diese Assistenten in den folgenden Szenarien:
Um hierarchische Daten vom Typ struct aus einem oder mehreren Ports zu generieren.
Um hierarchische Daten eines geschachtelten struct-Typs aus Ports in zwei Umwandlungen zu generieren.
Um Elemente aus hierarchischen Daten in einem komplexen Port zu extrahieren.
Um hierarchische Daten in einem komplexen Port zu vereinfachen.
Weitere Informationen finden Sie im Kapitel „Verarbeitung hierarchischer Daten in der Spark-Engine“ im
Benutzerhandbuch zu Informatica Big Data Management 10.2