In diesem Abschnitt werden neue Big Data-Funktionen in Version 10.1.1 Update 2 erläutert.
Abschneiden von Hive-Tabellenpartitionen in Zuordnungen, die die Blaze-Laufzeit-Engine verwenden
Ab Version 10.1.1 Update 2 können Sie Hive-Tabellenpartitionen in Zuordnungen abschneiden, die die Blaze-Laufzeit-Engine verwenden.
Weitere Informationen zum Abschneiden von Partitionen in einem Hive-Ziel finden Sie im
Informatica 10.1.1 Update 2 Big Data Management-Benutzerhandbuch
.
Filter für partitionierte Spalten auf der Blaze-Engine
Ab Version 10.1.1 Update 2 kann die Blaze-Engine zur Leistungssteigerung ein Pushdown der Filter in partitionierten Spalten zur Hive-Quelle durchführen.
Wenn eine Zuordnung eine Filterumwandlung in einer partitionierten Spalte einer Hive-Quelle enthält, liest die Blaze-Engine nur die Partitionen mit den Daten, die die Filterbedingung erfüllen. Damit die Blaze-Engine bestimmte Partitionen lesen kann, muss die Filterumwandlung die nächste Umwandlung nach der Quelle in der Zuordnung sein.
Weitere Informationen finden Sie im
Informatica 10.1.1 Update 2 Big Data Management-Benutzerhandbuch
.
OraOop-Unterstützung auf der Spark-Engine
Ab Version 10.1.1 Update 2 können Sie OraOop zum Ausführen von Sqoop-Zuordnungen in der Spark-Engine konfigurieren. Wenn Sie Daten aus Oracle lesen oder Daten in Oracle schreiben, können Sie das direkte Argument zum Aktivieren von Sqoop für die Verwendung von OraOop konfigurieren.
OraOop ist ein spezielles Sqoop-Plug-In für Oracle, das systemeigene Protokolle verwendet, um eine Verbindung zur Oracle-Datenbank herzustellen. Wenn Sie OraOop konfigurieren, wird die Leistung verbessert.
Weitere Informationen finden Sie im
Informatica 10.1.1 Update 2 Big Data Management-Benutzerhandbuch
.
Sqoop-Unterstützung für systemeigene Teradata-Zuordnungen in Cloudera-Clustern
Ab Version 10.1.1 Update 2 ruft der Datenintegrationsdienst den von Teradata betriebenen Cloudera-Konnektor zur Laufzeit auf, wenn Sie eine Teradata PT-Verbindung zum Ausführen einer Zuordnung auf einem Cloudera-Cluster und der Blaze-Engine verwenden. Der Datenintegrationsdienst führt die Zuordnung dann über Sqoop aus.
Weitere Informationen finden Sie im
Informatica 10.1.1 Update 2 PowerExchange for Teradata Parallel Transporter API-Benutzerhandbuch
.
Scheduler-Unterstützung auf Blaze- und Spark-Engines
Ab Version 10.1.1 Update 2 sind die folgenden Scheduler für Hadoop-Distributionen auf Blaze- und Spark-Engines gültig:
Gleichmäßigkeits-Scheduler. Weist Jobs Ressourcen so zu, dass alle Jobs im Durchschnitt den gleichen Ressourcenanteil im Zeitverlauf erhalten.
Kapazitäts-Scheduler. Zur Ausführung von Hadoop-Anwendungen als freigegebener, mehrmandantenfähiger Cluster entwickelt. Sie können den Kapazitäts-Scheduler mit oder ohne Knotenbeschriftung konfigurieren. Mithilfe von Knotenbeschriftungen können Knoten mit ähnlichen Eigenschaften zusammengefasst werden.
Weitere Informationen finden Sie in den Zuordnungen im Kapitel „Hadoop-Umgebung“ des
Informatica 10.1.1 Update 2 Big Data Management-Benutzerhandbuchs
.
Unterstützung für YARN-Warteschlangen auf Blaze- und Spark-Engines
Ab Version 10.1.1 Update 2 können Sie Blaze- und Spark-Jobs an eine bestimmte Warteschlange des YARN-Schedulers übermitteln. Warteschlangen ermöglichen mehreren Mandanten die gemeinsame Nutzung des Clusters. Wenn Sie Anwendungen an YARN übermitteln, weist der Scheduler sie zu einer Warteschlange zu. Sie konfigurieren die YARN-Warteschlange in den Hadoop Verbindungseigenschaften.
Weitere Informationen finden Sie in den Zuordnungen im Kapitel „Hadoop-Umgebung“ des
Informatica 10.1.1 Update 2 Big Data Management-Benutzerhandbuchs
.
Hadoop-Sicherheitsfunktionen in IBM BigInsights 4.2
Ab Version 10.1.1 Update 2 können Sie die folgenden Hadoop-Sicherheitsfunktionen in der IBM BigInsights 4.2-Hadoop-Distribution verwenden:
Apache Knox
Apache Ranger
Transparente HDFS-Verschlüsselung
Weitere Informationen finden Sie im
Informatica 10.1.1 Update 2 Big Data Management-Sicherheitshandbuch
.
SSL-/TLS-Sicherheitsmodi
Ab Version 10.1.1 Update 2 können Sie die SSL- und TLS-Sicherheitsmodi in den Cloudera- und HortonWorks-Hadoop-Distributionen, einschließlich der folgenden Sicherheitsmethoden und Plug-Ins, verwenden:
Kerberos-Authentifizierung
Apache Ranger
Apache Sentry
Hochverfügbarkeit des Namensknotens
Hochverfügbarkeit des Ressourcenmanagers
Weitere Informationen finden Sie im
Informatica 10.1.1 Update 2 Big Data Management-Installations- und Konfigurationshandbuch
.
Hive-Quellen und -Ziele in Amazon S3
Ab Version 10.1.1 Update 2 unterstützt Big Data Management Lese- und Schreibvorgänge auf Hive in Amazon S3-Buckets für Cluster, die mit den folgenden Hadoop-Distributionen konfiguriert sind:
Amazon EMR
Cloudera
HortonWorks
MapR
BigInsights
Weitere Informationen finden Sie im
Informatica 10.1.1 Update 2 Big Data Management-Benutzerhandbuch