Com a chegada das tecnologias de Big Data, as organizações estão buscando obter o máximo de benefícios da velocidade dos dados, capturando-os logo que são disponibilizados, processando-os e respondendo a eventos em tempo real. Ao adicionar recursos de streaming em tempo real, as organizações podem aproveitar a latência mais baixa para criar uma exibição atualizada completa dos clientes, proporcionar aos clientes inteligência operacional em tempo real, melhorar a detecção de fraudes, reduzir os riscos à segurança, aprimorar o gerenciamento de ativos físicos, melhorar a experiência geral do cliente e aperfeiçoar globalmente os processos de tomada de decisão por ordens de magnitude.
Na versão 10.1.1, a Informatica apresenta o Streaming Inteligente, um novo produto que ajuda a TI a obter valor máximo das filas em tempo real por streaming de dados, processando-os e extraindo valores de negócios relevantes quase em tempo real. Os clientes podem processar vários tipos de dados e de fontes não tradicionais, como dados de arquivo de log de sites, dados de sensor, dados de barramento de mensagem e dados de máquina, em andamento e com alto grau de precisão.
O Streaming Inteligente foi desenvolvido como uma extensão de recurso da Plataforma de Dados Inteligente da Informatica e oferece os seguintes benefícios para a TI:
Criar e executar mapeamentos de streaming (processamento contínuo).
Coletar eventos de filas em tempo real, como Apache Kafka e JMS.
Transformar os dados, criar regras de negócios para os dados transformados, detectar padrões em tempo real e direcionar respostas ou alertas automatizados.
Proporcionar recursos de gerenciamento e monitoramento de fluxos em tempo real.
Oferecer garantias de entrega pelo menos uma vez.
Granular controles do ciclo de vida com base no número de linhas processadas ou no tempo de execução.
Reutilizar e manter a lógica de processamento de eventos, incluindo mapeamentos em lote (após algumas modificações).
O Streaming Inteligente apresenta os seguintes recursos:
Capturar e transportar dados de fluxo
É possível transmitir os seguintes tipos de dados de fontes como Kafka ou JMS, nos formatos JSON, XML ou Avro:
Dados de log de aplicativo e infraestrutura
Change data capture (CDC) de bancos de dados relacionais
Sequências de cliques de servidores Web
Fluxos de eventos de mídias sociais
Dados de séries de tempo de dispositivos IoT
Dados de barramento de mensagem
Dados do controlador lógico programável (Programmable logic controller, PLC)
Dados de ponto de venda de dispositivos
Além disso, os clientes da Informatica podem aproveitar o Vibe Data Stream da Informatica (licenciado separadamente) para coletar e consumir dados em tempo real, por exemplo, dados de sensores e logs de máquina, de uma fila Kafka. Em seguida, o Streaming Inteligente pode processar esses dados.
Refinar, aprimorar, analisar e processar dados de fluxo
Use a plataforma de processamento subjacente para executar as seguintes transformações de dados complexas em tempo real sem codificação ou script:
Casos de uso de Transformação de Janela para Streaming com a opção de deslizamento de janelas e janelas em cascata.
Agora, as transformações de Filtro, Expressão, União, Roteador, Agregação, Associador, Pesquisa, Java e Classificador podem ser usadas com mapeamentos de Streaming e são executadas no Spark Streaming.
É possível usar as transformações de pesquisa com arquivo Simples, HDFS, Sqoop e Hive.
Publicar dados
É possível transmitir dados para diferentes tipos de destinos, como Kafka, HDFS, bancos de dados NoSQL e sistemas de mensagens empresariais.
O Streaming Inteligente foi desenvolvido com base na plataforma Informatica Big Data Platform, estendendo-a para fornecer os recursos de streaming. O Streaming Inteligente usa o Spark Streaming para processar os dados transmitidos. Ele usa o YARN para gerenciar os recursos em um cluster do Spark de modo mais eficiente e usa distribuições de terceiros para se conectar e enviar o processamento de trabalhos a um ambiente Hadoop.
Use o Informatica Developer (Developer tool) para criar mapeamentos de streaming. Use o ambiente de tempo de execução Hadoop e o mecanismo do Spark para executar o mapeamento. É possível configurar alta disponibilidade para executar mapeamentos de streaming no cluster do Hadoop.
Para obter mais informações sobre Streaming Inteligente, consulte o
Guia do Usuário de Streaming Inteligente da Informatica