Verarbeitung hierarchischer Daten auf der Spark-Engine
Verarbeitung hierarchischer Daten auf der Spark-Engine
Ab Version 10.2.1 enthält die Spark-Engine die folgenden zusätzlichen Funktionen zur Verarbeitung hierarchischer Daten:
Map-Datentyp
Mit dem Map-Datentyp können Sie Kartendaten in komplexen Dateien erzeugen und verarbeiten.
Komplexe Dateien auf Amazon S3
Sie können komplexe Datentypen verwenden, um hierarchische Daten in Avro- und Parquet-Dateien auf Amazon S3 zu lesen und zu schreiben. Sie projizieren Spalten als komplexen Datentyp in Lese- und Schreiboperationen für das Datenobjekt.
Weitere Informationen finden Sie im Kapitel "Verarbeitung hierarchischer Daten in der Spark-Engine" im
Benutzerhandbuch zu Informatica Big Data Management 10.2.1