Sumário

Search

  1. Versão 10.4.0
  2. Versão 10.2.2
  3. Versão 10.2.1
  4. Versão 10.2
  5. Versão 10.1.1
  6. Versão 10.1

Streaming Inteligente

Streaming Inteligente

Com a chegada das tecnologias de Big Data, as organizações estão buscando obter o máximo de benefícios da velocidade dos dados, capturando-os logo que são disponibilizados, processando-os e respondendo a eventos em tempo real. Ao adicionar recursos de streaming em tempo real, as organizações podem aproveitar a latência mais baixa para criar uma exibição atualizada completa dos clientes, proporcionar aos clientes inteligência operacional em tempo real, melhorar a detecção de fraudes, reduzir os riscos à segurança, aprimorar o gerenciamento de ativos físicos, melhorar a experiência geral do cliente e aperfeiçoar globalmente os processos de tomada de decisão por ordens de magnitude.
Na versão 10.1.1, a Informatica apresenta o Streaming Inteligente, um novo produto que ajuda a TI a obter valor máximo das filas em tempo real por streaming de dados, processando-os e extraindo valores de negócios relevantes quase em tempo real. Os clientes podem processar vários tipos de dados e de fontes não tradicionais, como dados de arquivo de log de sites, dados de sensor, dados de barramento de mensagem e dados de máquina, em andamento e com alto grau de precisão.
O Streaming Inteligente foi desenvolvido como uma extensão de recurso da Plataforma de Dados Inteligente da Informatica e oferece os seguintes benefícios para a TI:
  • Criar e executar mapeamentos de streaming (processamento contínuo).
  • Coletar eventos de filas em tempo real, como Apache Kafka e JMS.
  • Transformar os dados, criar regras de negócios para os dados transformados, detectar padrões em tempo real e direcionar respostas ou alertas automatizados.
  • Proporcionar recursos de gerenciamento e monitoramento de fluxos em tempo real.
  • Oferecer garantias de entrega pelo menos uma vez.
  • Granular controles do ciclo de vida com base no número de linhas processadas ou no tempo de execução.
  • Reutilizar e manter a lógica de processamento de eventos, incluindo mapeamentos em lote (após algumas modificações).
O Streaming Inteligente apresenta os seguintes recursos:
Capturar e transportar dados de fluxo
É possível transmitir os seguintes tipos de dados de fontes como Kafka ou JMS, nos formatos JSON, XML ou Avro:
  • Dados de log de aplicativo e infraestrutura
  • Change data capture (CDC) de bancos de dados relacionais
  • Sequências de cliques de servidores Web
  • Fluxos de eventos de mídias sociais
  • Dados de séries de tempo de dispositivos IoT
  • Dados de barramento de mensagem
  • Dados do controlador lógico programável (Programmable logic controller, PLC)
  • Dados de ponto de venda de dispositivos
Além disso, os clientes da Informatica podem aproveitar o Vibe Data Stream da Informatica (licenciado separadamente) para coletar e consumir dados em tempo real, por exemplo, dados de sensores e logs de máquina, de uma fila Kafka. Em seguida, o Streaming Inteligente pode processar esses dados.
Refinar, aprimorar, analisar e processar dados de fluxo
Use a plataforma de processamento subjacente para executar as seguintes transformações de dados complexas em tempo real sem codificação ou script:
  • Casos de uso de Transformação de Janela para Streaming com a opção de deslizamento de janelas e janelas em cascata.
  • Agora, as transformações de Filtro, Expressão, União, Roteador, Agregação, Associador, Pesquisa, Java e Classificador podem ser usadas com mapeamentos de Streaming e são executadas no Spark Streaming.
  • É possível usar as transformações de pesquisa com arquivo Simples, HDFS, Sqoop e Hive.
Publicar dados
É possível transmitir dados para diferentes tipos de destinos, como Kafka, HDFS, bancos de dados NoSQL e sistemas de mensagens empresariais.
O Streaming Inteligente foi desenvolvido com base na plataforma Informatica Big Data Platform, estendendo-a para fornecer os recursos de streaming. O Streaming Inteligente usa o Spark Streaming para processar os dados transmitidos. Ele usa o YARN para gerenciar os recursos em um cluster do Spark de modo mais eficiente e usa distribuições de terceiros para se conectar e enviar o processamento de trabalhos a um ambiente Hadoop.
Use o Informatica Developer (Developer tool) para criar mapeamentos de streaming. Use o ambiente de tempo de execução Hadoop e o mecanismo do Spark para executar o mapeamento. É possível configurar alta disponibilidade para executar mapeamentos de streaming no cluster do Hadoop.
Para obter mais informações sobre Streaming Inteligente, consulte o
Guia do Usuário de Streaming Inteligente da Informatica