Tempo aproximado para leitura: 00:01:30 min
Dúvida
Como funciona a Integração reativa com o BDD (Big Data Discovery)?
Ambiente
Cross Segmentos - TOTVS CRM Gestão de Clientes - Planejamento - Todas as versões.
Solução
A partir da release 21.3.0 do Forecast, foi implementada a integração reativa com o BDD. Essa integração resolve um dos principais problemas do Forecast quando o assunto é a utilização de datasets do BDD (Big Data Discovery) para alimentar o planejamento com dados.
Antes da implementação desse novo modelo de integração, havia um agendamento dentro do Forecast que era executado diariamente no ambiente de produção, para todos os datasets de todos os tenants, possibilitando que os dados dos planejamentos fossem atualizados com novos dados. No modelo citado, os dados eram atualizados apenas uma vez ao dia.
Para solucionar o problema, foi realizada uma alteração em um serviço chamado flow-scheduler, responsável pela execução das chamadas que o BDD faz ao Spark (serviço que processa os dados).
Com essa alteração, sempre que um job do BDD cujo destino dos dados seja o Forecast for executado e gerar um arquivo no S3 (repositório de armazenamento), também será executado um job para levar os dados armazenados no S3 para o Forecast.
Vantagens da integração reativa com o BDD
Dentre as principais vantagens dessa implementação, podem ser destacadas as seguintes:
A chamada ao job que leva as informações para o Forecast entrará na fila dos jobs de integração, evitando que o limite previamente definido de execuções concorrentes seja excedido;
Os logs das execuções serão armazenados na tabela transformation_job_log, dentro do banco de dados do BDD, permitindo a visualização das execuções e dos logs na tela de logs já existente para os jobs do BDD. A exibição dos logs é ilustrada na figura abaixo:
O agendamento existente será removido, evitando assim execuções desnecessárias.
Artigos relacionados:
0 Comentários