Por que o ETL reverso está ganhando força na integração de dados e no gerenciamento de dados
Evolução em plataformas de dados e aplicativos de linha de frente
Nas últimas décadas, os dados corporativos e o cenário analítico passaram por uma mudança de paradigma. As empresas inicialmente construíram seus data warehouses usando RDBMS, mas as ferramentas não são capazes de escalar e atender às necessidades do setor, como lidar com big data de terabytes a petabytes, integração de lote para real ou quase em tempo real, estrutura para formatos não estruturados e semiestruturados e para alta computação. Isso abriu o caminho para um data warehouse nativo na nuvem modernizado, onde os dados são transformados e armazenados em um local centralizado baseado em nuvem. Com o objetivo de criar modelos preditivos e automatizados com mecanismos de IA e ML para ajudar a criar relatórios analíticos para toda a organização.
Também houve uma mudança constante nos aplicativos de linha de frente – como Salesforce, Workday, Marketo e Netsuite. Agora, esses aplicativos precisam acessar os dados normalizados dos data warehouses para que seus usuários (em vez de precisar alternar entre aplicativos) possam obter todas as informações de que precisam no aplicativo mais usado. Isso economiza tempo e melhora a produtividade.
Figura 1: Há uma mudança de bancos de dados relacionais para data warehouses.
Processos comuns de integração de dados
Em cenários típicos de integração de dados, você extrai dados do banco de dados relacional local e de outros aplicativos de terceiros. Em seguida, você transforma os dados para enriquecer, reestruturar, limpar e desduplicar para um formato consumível. Por fim, você carrega os dados no data warehouse. Em casos de uso de streaming ou ingestão, os dados são carregados em um data warehouse ou data lake na nuvem e a transformação é aplicada por meio do processo ELT (extrair, carregar, transformar) .
Figura 2: Fluxo de integração ETL/ELT a um data warehouse na nuvem.
O que é ETL reverso?
Agora que as organizações têm uma única fonte de verdade em um lugar comum, é hora de compartilhar os dados com outros aplicativos de linha de frente, como CRM, comércio eletrônico e outros aplicativos em nuvem. Equipes como vendas, marketing, produção, suporte e análise dependem dos mesmos dados consistentes e confiáveis e preferem acessá-los por meio de seus aplicativos mais usados ou favoritos. Essa tendência de mover os dados consolidados de um data warehouse para aplicativos de linha de frente é chamada de ETL reverso (extrair, transformar, carregar) .
Geralmente, no ETL reverso, esperamos apenas extrair e carregar dados para os respectivos aplicativos, assim como a integração ponto a ponto. Aqui está um exemplo: digamos que um vendedor precisa ter uma visão de 360 graus de seus clientes, mas em vez de alternar entre aplicativos ou integrar vários aplicativos, ele pode acessar as informações completas por meio de um CRM que extrai as informações necessárias dos dados centralizados da nuvem armazém. Agora o vendedor não precisa mais se preocupar com diferentes fontes e precisão de dados e pode acessar tudo de um só lugar.
Figura 3: Ilustração do fluxo de integração ETL reversa de um data warehouse na nuvem para SaaS, aplicativo e integração de banco de dados.
Casos de uso de ETL reverso
Existem três casos de uso principais de ETL reverso:
- Inteligência de dados: O principal caso de uso do ETL reverso é integrar o data warehouse com a ferramenta de inteligência de negócios (BI) para analisar os dados para tomada de decisão e suporte de BI. Isso ajuda os cientistas de dados e analistas de negócios a ver visões holísticas dos dados necessários para previsão e planejamento.
- Formatos de dados : diferentes usuários e departamentos esperam representar os dados em diferentes formatos com base em seus requisitos. Por exemplo, em arquivos simples como formato CSV, OData, XML ou JSON.
- Ecossistemas de origem : toda organização usa vários aplicativos para lidar com seus casos de uso de negócios diários. Com o ETL reverso, você pode mover os dados do warehouse para aplicativos e ferramentas para executar os processos de negócios.
Como avaliar uma ferramenta de ETL reverso
Sua ferramenta de integração de dados é apropriada para ETL reverso? Aqui estão alguns dos principais recursos que você deve procurar ao avaliar sua solução de integração de dados :
- Conectividade: A ferramenta deve suportar integração fácil com conectores integrados para todos ou a maioria dos aplicativos usados por sua empresa. Conectores nativos para data warehouses na nuvem ou híbridos, como AWS Redshift, Google BigQuery, Snowflake, Azure Synapse e Databricks são bons exemplos.
- Suporte a casos de uso: o ETL reverso deve oferecer suporte a todos os casos de uso primários, ser flexível para aumentar e reduzir a otimização e pode estender o suporte à integração em lote, em massa e em tempo real.
- Usabilidade: o ETL reverso é usado principalmente por usuários de negócios e cientistas de dados. Uma ferramenta intuitiva que requer conhecimento técnico mínimo para preparar as integrações de ETL reversa é ideal. Portanto, ter recursos como sugestão automática e modelos pré-criados são ideais para ajudar a acelerar o desenvolvimento.
- Tratamento e monitoramento de erros: A ferramenta deve ser eficiente, consistente e confiável em caso de erros e incluir uma visão abrangente integrada do seu ecossistema de integração.
Quer entender melhor como as ferramentas e a governança de dados podem transformar a estratégia da sua empresa?
Entre em contato com nossa equipe CLIQUE AQUI
Crédito: Informatica