• Roberto Thomazette

Curadoria de dados para o Master Data Management


As práticas tradicionais de gerenciamento de dados, como o gerenciamento de dados mestres (MDM), existem há décadas, assim como as abordagens que os fornecedores adotaram no desenvolvimento desses recursos.   


Durante a maior parte desse tempo no passado, o problema definido foi o gerenciamento de dados de tamanho e complexidade modestos. No entanto, à medida que as empresas amadurecem e começam a ver seus ativos de dados como uma fonte de vantagem competitiva, novos métodos devem ser incorporados à tecnologia, para gerenciar dados empresariais.  


Atualmente, as empresas precisam de abordagens para gerenciamento de dados que possam resolver problemas críticos ligados à velocidade e à escala em um ambiente de dados cada vez maior e mais complexo. 


Falaremos um pouco a seguir, como técnicas de curadoria de dados podem ser usadas para resolver desafios de mapeamento de dados em escala.



Curadoria de dados


Falaremos um pouco a seguir, como técnicas de curadoria de dados podem ser usadas para resolver desafios de mapeamento de dados em escala. 


A curadoria de dados pode ser definida como um conjunto de processos voltados à gestão de todo o ciclo de vida dos dados, de forma que eles permaneçam continuamente acessíveis e possam ser recuperados por quem deles precise, no momento mais conveniente.


A ideia de curadoria digital estende-se além do controle do repositório que arquiva os recursos e envolve a atenção do criador do conteúdo e dos futuros usuários. 



Processos da curadoria


1. Extração de dados de sistemas de origem para um local comum de processamento (geralmente chamado de data lake);


2. Transformação de elementos de dados, por exemplo, de Reais para Dólares;

Limpeza de dados. Por exemplo: -99 geralmente significa nulo;


3. Limpeza de dados. Por exemplo: -99 geralmente significa nulo;


4. Integração de esquemas, ou seja, alinhar colunas em conjuntos de dados de origem. Por exemplo, "pagamento" pode ser igual a "salário";


5. Consolidação de entidades, ou seja, produção de clusters de registros que se supõe representar a mesma entidade. Por exemplo, uma pessoa poderia ser identificada como Prof. Guimarães em um conjunto de dados e Sr. Guimarães em um segundo conjunto;


6. Redução de clusters. Para cada cluster, um único registro deve ser construído para representar os registros deste cluster. Esse processo geralmente produz um registro de mais valor para cada cluster;


7. Exportação (carregamento). O conjunto composto geralmente é exportado para um data warehouse ou outro repositório.


Enquanto o Data Mastering tem como objetivo vincular ou mesclar dados isolados a registros de dados mestres para entidades comuns, como fornecedores, peças, clientes e empregados, o Master Data Management (MDM) incorpora os passos 5 e 6, abordando os problemas de governança e origem, no conjunto dos dados mestres resultante. 



Os desafios para estruturação e execução do seu projeto de MDM podem ser superados com o acompanhamento de uma consultoria experiente, para desenvolver uma estratégia e um planejamento adequados, que oriente tanto as decisões referentes às soluções técnicas quanto as conceituais, visando atender as necessidades corporativas, com o melhor retorno sobre o investimento. Consulte-nos.


Não perca os próximos textos e não deixe de ler os outros textos de nosso blog, onde abordamos vários assuntos relacionados a BI, BA, MDM, governança e integração de dados e saiba como as organizações estão se beneficiando com esses recursos.