Marketplace de dados pode beneficiar seu Data Mesh

O Data Mesh visa resolver problemas que surgem de arquiteturas de dados centralizadas tradicionais: gargalos no acesso a dados, velocidades de entrega lentas e desafios de escalabilidade. Mas muitas organizações ainda precisam perceber o potencial desse empolgante modelo operacional.

Adotar um MarketPlace de dados pode fornecer à sua organização recursos essenciais para implementar a malha de dados.

O que é Data Mesh?

Data Mesh é um modelo operacional para gerenciar e acessar dados em ambientes grandes e distribuídos, concebido pela primeira vez por Zhamak Dehghani da Thoughtworks em 2018. 1 Ele enfatiza a propriedade e a arquitetura descentralizadas de dados para permitir autonomia e responsabilidade em domínios individuais (unidades de negócios).

Existem quatro princípios para a malha de dados:

1) Propriedade de dados orientada por domínio

Cada domínio dentro de uma organização possui, mantém e compartilha seus produtos de dados, que são acessíveis e utilizáveis ​​por outros domínios. Essa abordagem ajuda a simplificar o gerenciamento de dados ao dar responsabilidades e agência àqueles que estão mais próximos dos ativos de dados individuais.

2) Dados como um produto

Princípios de design e desenvolvimento de produtos são aplicados ao gerenciamento de dados para atender às necessidades dos consumidores de dados. Produtos de dados precisam ser confiáveis, reutilizáveis ​​e bem documentados. Produtos de dados devem ser projetados para consumo, exigindo uma abordagem de pensamento de produto para o gerenciamento de dados.

3) Plataformas de dados de autoatendimento

Para dar suporte a vários domínios no gerenciamento de seus dados como produtos, o Data Mesh promove uma infraestrutura de dados self-service. Esta plataforma fornece as ferramentas e capacidades necessárias para sourcing de dados, criação de perfil, catalogação e provisionamento, o que capacita os proprietários de domínios a gerenciar seus produtos de dados de forma fácil e eficaz.

4) Governança computacional federada

A malha de dados introduz um modelo de governança computacional federado. Diretrizes, padrões e mecanismos de conformidade, como SLAs de entrega e disponibilidade, podem ser acordados em comum, ao mesmo tempo em que delega a execução a vários proprietários de domínio para executar de forma independente. A padronização permite aumentar a automação de políticas de governança, padrões de qualidade e segurança. Essa abordagem alivia a sobrecarga dos proprietários de domínio, ao mesmo tempo em que retém a flexibilidade para acomodar os requisitos individuais do produtor-consumidor.

Como o Data Mesh pode beneficiar você?

As organizações adotam a malha de dados para obter melhores resultados comerciais e vantagens competitivas por meio da redução do atrito e do custo necessários para obter utilidade e valor de seus ativos de dados.

Para organizações grandes e complexas que lidam com grandes volumes de dados em diversas unidades de negócios, as principais vantagens da malha de dados incluem:

Melhoria na qualidade dos dados – Como a propriedade dos dados é transferida para mais perto de sua fonte, as equipes de domínio têm contexto e controle, resultando em produtos de dados de melhor qualidade e mais relevantes.

Maior Agilidade – A abordagem descentralizada do Data Mesh permite uma adaptação mais rápida às mudanças e uma entrega mais rápida de produtos de dados valiosos. Os domínios podem inovar e responder às necessidades sem se distrair com a burocracia centralizada.

Colaboração Aprimorada – A malha de dados promove uma cultura em que os dados são compartilhados mais facilmente e usos inovadores de dados são encorajados. Tratar os dados como um produto significa que eles são projetados para serem prontamente acessados ​​e consumidos por outros domínios.

Redução do tempo para valor – A autonomia concedida a domínios individuais para gerenciar seus próprios dados acelera os processos desde a geração de dados até a extração e o compartilhamento de insights. Ciclos de tomada de decisão mais rápidos impactam diretamente as operações e a eficiência do negócio.

Escalabilidade – Distribuir a propriedade e o gerenciamento de dados entre domínios evita os limites de escalabilidade dos Data Lakes tradicionais e centralizados. Cada domínio pode ser dimensionado de forma independente para se alinhar melhor ao crescimento organizacional e às diversas necessidades de dados.

Mitigação de riscos – Dividir dados em modelos centrados em domínio pode mitigar riscos ao conter problemas e aproveitar a experiência em domínios específicos.

Como um Marketplace de dados ajuda com o Data Mesh?

Um Marketplace de dados é uma plataforma onde produtores de dados podem compartilhar produtos de dados com consumidores de dados, facilitando o acesso a dados diversos, de alta qualidade e compatíveis.

Um marketplace é um componente integral na implementação bem-sucedida de uma arquitetura de Data Mesh. Não planeje Data Mesh sem um!

Veja como os Marketplace de dados podem ajudar com cada princípio da malha de dados:

Visibilidade entre domínios

Um Marketplace de dados permite que você veja todos os produtos de dados gerenciados pelos produtores para um determinado domínio. Você pode ver facilmente quem é o dono do domínio e sua finalidade.

Quando produtos de dados são criados em muitos domínios diferentes, o Marketplace é um mecanismo essencial para os consumidores pesquisarem dados em toda a malha de dados.

Produtos de dados ganham vida

Um Marketplace de dados fornece os dados de interface claros que os consumidores precisam para entender e comparar as características dos produtos de dados e como eles podem e devem ser usados. Permitir que os consumidores vejam quem mais está usando um produto de dados e colaborem com eles tira o fardo do produtor de dados, o que é um grande incentivo para que eles queiram compartilhar seus dados.

Com um marketplace, os produtores podem enriquecer um produto de dados com informações mais profundas sobre qualidade de dados, definições de negócios e informações de políticas, com linhagem mais granular e integrando-o com outras fontes de dados. Se nenhum produto de dados corresponder ao que um consumidor deseja, o marketplace pode ser um mecanismo para solicitar novos produtos.

Autoatendimento simplificado

Simplesmente encontrar os dados certos na hora certa pode valer milhões de dólares em valor para o seu negócio. Ao mesmo tempo, muitos executivos acreditam que a cultura em sua organização hoje é um impedimento para se tornar orientada por dados. Uma cultura sustentável centrada em dados depende da disponibilidade de dados.

Um Marketplace de dados pode criar um senso de comunidade em torno de dados ao reunir produtores e consumidores de dados de diversas equipes orientadas a domínios em um só lugar. Os produtores podem definir expectativas claras e os consumidores podem encontrar, entender, confiar e acessar dados de forma self-service e descentralizada.

Fortalecendo a governança

O Data Mesh visa equilibrar a velocidade da inovação com a adesão à segurança e governança em uma estrutura organizacional descentralizada e federada. Os consumidores sempre precisam entender como os dados devem ser usados, especialmente quando estão relacionados a dados sensíveis.

Um Marketplace de dados fornece a interface para dar suporte a esse contrato entre o produtor e o consumidor e até mesmo para impor políticas de proteção de dados em um nível granular quando os dados são acessados. Produtores descentralizados atribuem termos de uso para produtos de dados específicos, incluindo informações sobre o propósito do produto de dados, quem o possui, expectativas para sua manutenção, fim de vida e assim por diante.

Créditos: Informatica