Inhaltsverzeichnis

Search

  1. Vorwort
  2. Teil 1: Version10.5.3
  3. Teil 2: Version10.5.2 – 10.5.2.1.x
  4. Teil 3: Version 10.5.1 – 10.5.1.1
  5. Teil 4: Versionen 10.5-10.5.0.1
  6. Teil 5: Versionen 10.4.1-10.4.1.3
  7. Teil 6: Versionen 10.4-10.4.0.2
  8. Teil 7: Versionen 10.2.2 - 10.2.2 HotFix 1
  9. Teil 8: Version 10.2.1
  10. Teil 9: Version 10.2 - 10.2 HotFix 2

Neue Funktionen und Änderungen(10.5.3)

Neue Funktionen und Änderungen(10.5.3)

Strukturiertes Spark-Streaming

Strukturiertes Spark-Streaming

Ab Version 10.2.2 nutzt Big Data Streaming zum Verarbeiten von Streaming-Daten Spark Structured Streaming.
Spark Structured Streaming ist eine skalierbare und fehlertolerante Open-Source-Stream-Verarbeitungs-Engine auf Basis der Spark-Engine. Sie ermöglicht den Umgang mit spät eintretenden Streaming-Ereignissen und die Verarbeitung von Streaming-Daten basierend auf dem Zeitstempel der Quelle.
Die Spark-Engine führt das Streaming-Mapping kontinuierlich aus. Sie liest die Daten, unterteilt die Daten in Mikro-Batches, verarbeitet die Mikro-Batches, veröffentlicht die Ergebnisse und schreibt dann in ein Ziel.
Weitere Informationen finden Sie im
Informatica Big Data Streaming 10.2.2-Benutzerhandbuch
.