Se a sua empresa está implementando uma cultura data-driven, soluções baseadas em dados e Machine Learning, então você deve considerar a implementação da nova abordagem chamada Data Mesh no seu negócio. Essa concepção é nova no mundo da tecnologia, sendo considerada uma tendência que pode auxiliar consideravelmente na análise de dados.
Como se trata de uma concepção nova, essa pode ser uma estratégia que diferencia seu negócio no mercado, criando uma vantagem competitiva que destaca sua empresa. Por isso, continue lendo este material para entender mais sobre o assunto!
O que é Data Mesh e do que se trata essa nova abordagem?
Data Mesh (Malha de Dados) é um novo modelo de arquitetura de dados que opera de forma descentralizada. Foi inicialmente introduzido por Zhamak Dehghani, diretora de tecnologias da Thoughworks da América do Norte e tem o objetivo de ajudar empresas a lidar com pontos problemáticos associados à grande escala de dados.
Essa abordagem funciona de forma oposta aos Data Lakes ou Data Warehouses, que aglomeram todas suas informações em um único repositório. O Data Mesh vai de encontro à perspectiva tradicional de que o Big Data precisa ser centralizado para ter potencial analítico.
Data Mesh surgiu pela necessidade das empresas em encontrar novas formas para lidar com problemas e desafios ligados à grande escala de dados que precisa ser analisada atualmente. Isso significa que dados centralizados podem ser não suficientes para atender as necessidades da empresa em razão do amplo volume de informações aglomeradas.
Sua premissa é permitir a escalabilidade da análise de dados, além de assegurar mais acessibilidade e disponibilidade das informações. Esses dois fatores são cruciais pelo fato de que cada vez mais aplicações estão usando Machine Learning e soluções centradas em dados.
Quais são os princípios do Data Mesh?
Para aplicar o Data Mesh na prática, Dehghani estabeleceu quatro princípios que precisam ser adotados para garantir suas funcionalidades. Entenda quais são eles a seguir.
Disponibilização de dados como produto
Os dados do domínio dão entregues produtos (datasets), podendo ser acessados por outros domínios por meio de APIs, códigos usados para conectar soluções e plataformas.
Governança federada de dados
Essa governança objetiva permitir a interoperabilidade dos domínios. Isso é feito por políticas, códigos, padrões, regras e responsabilidades. Assim, a governança operacional do modelo deve ser conduzida pelos representantes das equipes de cada domínio.
Infraestrutura para disponibilização dos dados como self-service
São tecnologias que permitem a descentralização dos dados, como plataformas integradas para gestão de dados do início ao fim (analítico e operacional). Elas ainda permitem que novos times de domínio sejam criados sem depender de um time centralizado.
Arquitetura de dados descentralizada
Esse é o contexto de negócios no qual os times de produtos de dados operam. As equipes se tornam donas do ciclo de vida de dados, devem garantir sua qualidade e têm a responsabilidade de entregar valor.
Qual o papel desse conceito dentro do Analytics?
A implementação do Data Mesh impacta diretamente o Analytics, trazendo benefícios para a análise de dados. Saiba como a seguir.
Agilidade e escalabilidade
De forma geral, são aprimorados o tempo de chegada no mercado, a agilidade e escalabilidade do domínio de negócios. Essa abordagem também diminui o backlog de TI, já que as equipes de projeto podem atuar de forma independente e dar mais foco aos produtos com dados mais relevantes para o negócio.
Governança central forte
Essa forma de estrutura permite controlar a conformidade dos dados de ponta a ponta. A arquitetura tradicional (como Data Lakes e Data Warehouses) dificulta a reconciliação da semântica com o grande volume de dados.
Com a descentralização das operações e aplicação de diretrizes globais de governança, é possível entregar dados de qualidade, facilitar o acesso e gerenciá-los mais facilmente.
Equipes de domínio multifuncionais
Abordagens tradicionais de arquitetura de dados acabam isolando as equipes. Mas o Data Mesh propõe uma solução em que os proprietários do domínio e os especialistas da área têm amplo comando. Isso é garantido pelo fato das equipes de TI terem maior conhecimento e controle do domínio, trabalharem mais próximas dos negócios e, caso sejam virtuais, serem mais ágeis.
Entrega de dados mais rápida
Muitas vezes a configuração da infraestrutura de dados é um obstáculo para a gestão de dados, isso inclui atividades como armazenamento de dados, gerenciamento de identidade, processamento e monitoramento de dados, entre outras.
Como o Data Mesh fornece uma infraestrutura mais fácil de governar, sua equipe se torna menos sobrecarregada de problemas e questões para resolver, permitindo uma entrega mais rápida de dados.
Quais são exemplos de uso do Data Mesh?
O Data Mesh tem aplicações práticas que podem impulsionar o desenvolvimento da empresa ao solucionar problemas comuns na rotina de um time de TI. Entenda a seguir quais são esses entraves e como esse novo conceito pode solucioná-los.
Difícil centralização de dados
A abordagem comum exige a coleta de dados de variadas fontes e conectar esses pontos diferentes para um Data Lake ou Warehouse central. Essa movimentação de informações é consideravelmente cara e pode levar muito tempo.
Graças ao Data Mesh, os datasets são separados em cada unidade do negócio, o que minimiza o tempo necessário para obtenção de insights. As equipes operacionais podem acessar e analisar os dados de forma mais fácil e rápida.
Aumento no volume de dados
A quantidade de dados que vem sendo coletada cresce exponencialmente a todo momento, especialmente pelo fato de que cada vez mais soluções estão utilizando dados para aprimorar suas atividades. Com isso, o número de fontes para coleta de dados também aumenta, o que afeta negativamente a agilidade das empresas para obter valor dessas informações e responder às mudanças.
O Data Mesh delega várias atividades para equipes individuais ou usuários de negócios, trazendo maior agilidade aos negócios e transformações em escala. Na prática, são usados diferentes servidores para coletar as informações e eles atualizam relatórios em tempo real, permitindo que suas decisões também sejam mais rápidas.
Cumprimento das normas
Caso a empresa colete dados de outros países, é preciso se adequar à legislação de dados daquela região, o que também demanda muito tempo e recursos da empresa.
O Data Mesh permite uma gestão descentralizada dos dados, eliminando a necessidade de que todo o servidor seja adequado às jurisdições legais de vários locais ao redor do mundo.
Data Mesh é um conceito que está sendo estudado e testado pelas empresas ao redor do mundo. Entretanto, certamente consiste em uma tendência que poderá agregar muito valor para as empresas pelo fato de solucionar problemas crescentes para todas empresas que operam com dados.
Quer ficar sempre atualizado sobre assuntos relevantes na área? Siga-nos já no LinkedIn para ficar antenado sobre o assunto!
