Uma abordagem flexível orientada para governança de dados em um ecossistema de dados cada vez mais variado: o Virtual Data Lake | Almawave
x icon pop up SAIBA MAIS

Pesquisar no site

Não encontrou o que estava procurando?

Uma abordagem flexível orientada para governança de dados em um ecossistema de dados cada vez mais variado: o Virtual Data Lake

Big Data, Big Data

25 Maio 2020

Uma abordagem flexível orientada para governança de dados em um ecossistema de dados cada vez mais variado: o Virtual Data Lake

O Virtual Data Lake representa a abordagem tecnológica mais avançada e eficaz para gerenciar grandes quantidades de dados, especialmente se provenientes de diferentes fontes de dados estruturados e não estruturados. Ou seja, o Virtual Data Lake é ideal para abordar os cenários atuais e, sobretudo, futuros da transformação digital sem atrapalhar os investimentos feitos pelas empresas nas últimas décadas em plataformas DSS. O Big Data representa uma revolução que aproveita cada vez mais a IoT, a análise de vídeo e os serviços cognitivos para otimizar, dentro e fora da empresa, processos, experiência do usuário e estratégias multicanais, graças à compreensão da realidade nas linguagens e fenômenos em que se manifesta, permitindo efetivamente o uso de tecnologias cognitivas e novos tipos de ferramentas de Analítica Aumentada. No entanto, as empresas ainda estão muito relutantes em adotar esse sistema

As razões são muitas: em primeiro lugar existe a ideia (não infundada) de que para gerir as tecnologias subjacentes ao Data Lake, são necessários competências e recursos específicos que vão além da lógica dos negócios e que nem todas as organizações possuem. Aqueles que têm o conhecimento e as habilidades corretas, por outro lado, sabem bem que remodelar a arquitetura, passando do data warehouse tradicional para o Data Lake, muitas vezes envolve uma transformação irreversível ou, em qualquer caso, um projeto muito complexo e oneroso, e para enfrentá-lo você precisa ter certeza absoluta do que está fazendo. Está disposto a mudar o paradigma, colocando em prática métodos de gerenciamento de dados que têm um impacto significativo nas operações? Além disso, há a questão dos volumes de dados a serem coletados, armazenados e analisados: em uma pequena ou média empresa eles são (e serão) suficientes para justificar para esse salto?

Uma abordagem inovadora para o Data Lake: virtualização

Na realidade, ao contrário da crença popular, para se tornar uma empresa orientada a dados aproveitando o Data Lake não é necessário ter grandes quantidades de dados: a diferença está essencialmente na forma como os registros já presentes nos sistemas são gerenciados e, sobretudo, na forma como se integram com as informações que vêm de fora e que podem enriquecer a base de conhecimento da organização. É verdade, por outro lado, que em uma abordagem tradicional do Data Lake, é necessário repensar completamente a arquitetura de TI, com repercussões significativas no profissionalismo e nas regras e nas atividades relacionadas aos sistemas de informação. É com esta consciência que a Almawave desenvolveu uma nova metodologia para o desenvolvimento de uma arquitetura que oferece todas as vantagens do Data Lake sem implicar nos seus encargos. O conceito por trás da abordagem da Almawave ao Data Lake é a virtualização e federação de dados através das quais, na prática, é possível federar os data warehouses da empresa com novas fontes, gerando duas grandes vantagens: por um lado, você evita enfrentar uma tecnologia exigente e invasiva a atualização, por outro lado, você obtém um objeto que, devido à sua conformação, é capaz de suportar mais projetos de negócios do que de TI. Esta abordagem também permite associar uma nova modelagem de dados ontológicos, o que permite a criação de uma base de conhecimento compartilhada com toda a organização dos clientes Almawave, criando efetivamente uma linguagem comum para usuários de TI e Negócios.

O substrato tecnológico do Data Lake virtual da Almawave

O mérito é o mix tecnológico na base da plataforma digital criada pela Almawave. Ao aplicar ferramentas de virtualização e federação de dados e algoritmos de ciência de dados a uma plataforma de “Big Data”, é possível criar um módulo acima do data warehouse (ou qualquer outro tipo de repositório) que permite revolucionar o acesso a qualquer tipo de entrada, mesmo desconstruído, sem atrapalhar a arquitetura de TI. Um verdadeiro data lake virtual (que pode ser implementado rapidamente) capaz de suportar qualquer tipo de atividade de análise, desde business intelligence e relatórios de gestão até o uso de algoritmos de IA, sem a necessidade de aumentar dez vezes os dados, o que representa a maior criticidade quando se trata da governança de dados em transações desse tipo.

Data Lake virtual e PNL, uma combinação vencedora

Isso também permite que as pequenas organizações enfrentem, por exemplo, os desafios relacionados à necessidade de expandir seus ativos de informação por meio do uso de dados externos, sem necessariamente ter que reverter sua arquitetura de dados e, assim, permitir atividades de análise em grandes volumes e grande variedade de dados. O Data Lake virtual ajuda as empresas a padronizarem informações de diferentes fontes, exigindo habilidades básicas, como SQL (Structured Query Language), muito mais fáceis de encontrar no mercado do que os profissionais normalmente exigidos para administrar o Data Lake.

Mas, isso não é tudo: as empresas estão pedindo uma plataforma que use uma linguagem que seja compreensível para negócios e TI; por isso, ao explorar o enorme potencial da sua tecnologia Iride®, a Almawave coloca ao serviço do seu Data Lake virtual uma poderosa ferramenta de modelação de dados baseada num grafo ontológico que, através da utilização de motores de raciocínio, consegue revelar relacionamentos ocultos entre dados úteis para análises que exploram mecanismos de aprendizado de máquina e aprendizado profundo.

Como as empresas e a Administração Pública podem tirar proveito da flexibilidade do Data Lake virtual

Trata-se, portanto, de uma abordagem extremamente inovadora ao data lake, pensada para ir ao encontro das necessidades de empresas de todas as dimensões e também ativas em sectores de elevada regulação, como a Administração Pública, o mundo dos Transportes e os Serviços Financeiros (banca e seguros). No setor de seguros, por exemplo, o Data Lake virtual representa um excelente compromisso para empresas que começaram a coletar e processar entradas de objetos conectados e Open Data para construir novos produtos e serviços de seguro: por um lado, eles podem enriquecer enormemente as informações ativas com fontes diferentes para customizar a oferta, por outro lado não são obrigados a desrespeitar a rigidez das normas exigidas pelos órgãos reguladores no que diz respeito ao envio de relatórios de conformidade.

Até mesmo a AP, como todos sabem, tem restrições regulatórias bastante rígidas. E ainda, especialmente ao nível das autarquias locais, a questão da volumosidade dos dados ainda não é uma prioridade, existe uma necessidade crescente de facilitar o acesso à informação a nível interno e aos cidadãos e empresas, sem ter de recorrer a infraestruturas demasiado complexas para implementar e manter. O Data Lake da Almawave é uma resposta válida a este tipo de desafio. Sem falar que, tanto para as administrações públicas como para qualquer tipo de negócio, graças à flexibilidade e modularidade garantidas pela virtualização e a utilização de tecnologias open source, permite experimentar de forma rápida e sem necessidade da utilização de ativos fixos onerosos que ajudem a avaliar a eficácia efetiva.