O objetivo principal da implementação de um Arquitetura de dados é padronizar métodos e protocolos, bem como sistemas para aquisição, armazenamento, gerenciamento e compartilhamento de dados em toda a empresa para melhorar a tomada de decisões.
Nos negócios modernos, a maioria das decisões são tomadas em tempo real, e para facilitar uma infra-estrutura em tempo real, é essencial ter uma Gerenciamento de dados eficientes e fáceis de usar em tempo real, os arquitetos de dados lançam as bases ou o projeto subjacente para o Gerenciamento de Dados da organização.
Mais recentemente, o conceito de arquitetura de dados moderna surgiu a partir da crescente adoção da nuvem pelas empresas, seguida por uma mudança radical em direção a plataformas de nuvem para todas ou para a maioria das tarefas de gerenciamento de dados. Somente as plataformas de nuvem, com suas variadas soluções, podem oferecer a velocidade, escalabilidade e facilidade de uso de plataformas de gerenciamento de dados de nível empresarial sem comprometer a qualidade dos dados (questões de governança).
A diferença significativa no que diz respeito ao arquitetura de dados O problema tradicional reside na forma como os dados são tratados em uma plataforma moderna de gerenciamento de dados. O processamento de dados no local era complicado, demorado e com uso intensivo de recursos. A nuvem ofereceu soluções revolucionárias para as necessidades de aquisição, armazenamento, preparação e processamento de dados.
Com uma camada de abstração de dados, a Modern Data Architecture torna a análise dos dados empresariais fácil, rápida, consistente, eficiente e em tempo real.
O que esperar da arquitetura de dados em 2022?
As características mais salientes da Arquitetura de Dados moderna são:
- Dutos de dados automatizadosProcessos automatizados de integração de dados na nuvem asseguram que os dados fluam eficientemente para todas as partes da organização sem comprometer a qualidade dos dados.
- Segurança dos dadosDados sem mecanismos de segurança não podem ser considerados um ativo comercial. As arquiteturas de dados baseadas em nuvem têm diretrizes rigorosas de segurança de dados através de acesso controlado aos dados e mecanismos de autorização. Esses sistemas também atendem às regulamentações de privacidade de dados da GDPR e HIPAA.
- Escalabilidade de dadosA nuvem facilita um gerenciamento de dados robusto, que pode ser escalonado para cima ou para baixo de acordo com a demanda de forma sensível ao custo.
IA ou capacidades de aprendizagem de máquina: As capacidades de IA e aprendizagem de máquina incorporadas nas modernas Arquiteturas de Dados facilitam processos ágeis e precisos de Gerenciamento de Dados, desde a aquisição de dados até a análise avançada de dados. - Controle dos resultados pelo usuário finalA nuvem habilita os usuários a determinar quando e quais dados eles precisam de seus sistemas de Gerenciamento de Dados.
Compartilhamento confiável de dados: Embora o compartilhamento de dados ajude a dissolver os dados em silos, ele levanta preocupações sobre privacidade e governança de dados. A nuvem permite o compartilhamento confiável de dados, o que significa que todos estão trabalhando com a "mesma versão da verdade".
Tendências da arquitetura de dados para 2022
Da longa lista de tendências de arquitetura de dados que marcou o ano 2021, as que merecem ser mencionadas aqui são a democratização do acesso aos dados, arquitetura pronta para dados e arquitetura pronta para dados. AI e a ascensão do engenheiro analítico, do tecido de dados, do catálogo de dados, do DevOps e, é claro, do nuvem. Muitas dessas tendências de 2021 continuarão a crescer, amadurecer e a dominar o arquitetura de dados 2022.
As oito tendências do arquitetura de dados de 2022 para observar e seguir são:
- Tecido de dadosEsta tendência, que continua a partir de 2021, promete serviços de dados padronizados e consistentes em toda a organização. Segundo Gartner, o tecido de dados "serve como um tecido integrado de dados em camadas e processos de conexão", para análise em tempo real com dados residentes em ambientes distribuídos. Com o amadurecimento das tecnologias de integração de dados, esta é uma clara possibilidade de tendência em 2022.
- Híbrido e multi-nuvemEmbora a nuvem pública seja mais adequada para arquiteturas de dados modernas, questões persistentes de segurança de dados e governança forçarão as empresas a considerar opções híbridas e multi-nuvem. Como o tecido de dados facilita a rápida análise de dados em todos os tipos de configurações de nuvens, o crescimento do tecido de dados também significa o crescimento do híbrido e da multi-nuvem.
- Catálogo de informaçõesContinuando a partir de 2021, esta tendência promove uma arquitetura construída em torno de catálogos de informações que ajudam os produtores e consumidores de dados a entender os dados que possuem. Um benefício adicional é que os catálogos de informações ajudam tanto usuários de dados quanto analistas a aplicar "semântica não só aos dados, mas também aos relatórios, modelos analíticos, decisões e outros ativos analíticos", de acordo com Tapan Patel, diretor sênior de Gerenciamento de Dados da SAS. Embora os catálogos de informações ainda estejam amadurecendo, a tecnologia já está recebendo respostas positivas.
- Crescimento do Data LakehouseLakehouses: À medida que as empresas continuam a lutar com silos de dados desarticulados e dados proprietários, a necessidade de uma arquitetura de dados única torna-se mais aparente. Os lakehouses prometem um futuro de fonte aberta, impulsionados pelo AI e ML, amigável às nuvens e com um único Arquitetura de dados unificado.
- Democratização dos dados e analíticaUm estudo conjunto do Google e da Harvard Business Review (HRB) revela que a maioria dos líderes empresariais reconhece a importância da democratização do acesso aos dados e da democratização da análise para o sucesso empresarial. Com arquiteturas de dados no nuvemEsta tendência deverá aumentar rapidamente até 2022.
- Crescimento das capacidades de IA/ML (automação): As Arquiteturas de Dados em Nuvem oferecerão ao pessoal técnico acesso rápido a todos os recursos com os quais eles precisam trabalhar. Por um lado, os recursos de armazenamento, computação e rede dos ambientes em nuvem são muito superiores aos dos centros de dados locais; por outro lado, a conectividade da infra-estrutura de dados torna o compartilhamento de recursos entre ambientes em nuvem locais, privados, públicos e híbridos para operações AI/ML fácil e eficiente. Assim, o crescimento contínuo de arquiteturas de dados baseadas em nuvens suportará o crescimento de AI/ML ou automação.
- Grade de dadosA estrutura da grade de dados oferece a "democratização" do acesso aos dados e do gerenciamento dos dados. Neste cenário, os dados são cuidadosamente curados e governados por especialistas de domínio. Data Mesh é uma tecnologia inovadora para remover as barreiras técnicas e os problemas humanos dos ambientes de gerenciamento de dados.
- Governança e qualidade dos dadosRasgados entre as forças conflitantes da inovação e o cumprimento das barreiras regulatórias, os proprietários e operadores comerciais estão ansiosos para implementar medidas rigorosas de Governança de Dados em seus negócios. Um estudo recente da Teradata revela que 77% dos líderes empresariais pesquisados admitem que suas empresas estão mais preocupadas com a Qualidade e Governança de Dados do que nunca. Esta nova abordagem ajudará as empresas a combater os preconceitos nas decisões baseadas em AI.
Pensamentos para o futuro das arquiteturas de dados
Os três principais motores do futuro da infra-estrutura de dados podem ser descritos como a mudança para a nuvem pública, mais SaaS e a ascensão da engenharia de dados.
- Mudança para plataformas de nuvem pública
A partir de 2015, a mudança para a nuvem para serviços de Gerenciamento de Dados marcou a era da arquitetura de dados aberta. As plataformas públicas para serviços de gerenciamento de dados exigiam a separação entre armazenamento e serviços de computação, e favoreciam a integração de serviços oferecidos por diferentes prestadores de serviços (soluções Apache) para diferentes serviços. Esta tendência está ganhando cada vez mais terreno e não mostra sinais de desaceleração. O fim dos sistemas e recursos de gerenciamento de dados proprietários e o crescimento da camada de dados independente nas arquiteturas de dados modernas levaram a soluções mais escalonáveis e eficientes. - Crescimento das camadas de serviço SaaS
Isto levou ao arquiteturas de dados Os serviços de código aberto são altamente bem-sucedidos. Os serviços SaaS eliminam a necessidade de downloads, instalações, configuração ou manutenção regular de ativos de software por empresas individuais. Assim, o Arquitetura de dados aberto, intercalado com serviços SaaS, oferece uma solução de gerenciamento de dados facilmente administrável com uma pegada zero no local em termos de custo e manutenção. Por exemplo, o Dremio Cloud, combinado com os serviços SaaS, oferece as capacidades de processamento de dados mais escaláveis, seguras, bem governadas e multi-motores para todas as empresas com BI totalmente integrado.
As soluções de engenharia de dados oferecidas pelos fornecedores de soluções data lake racionalizaram as tarefas onerosas das equipes de engenharia e gerenciamento de dados. Por exemplo, o Projeto Nessie, uma solução de metástore para lagos de dados e casas lacustres, facilita as tarefas de engenharia de dados.
