Case Study

Solução

• Conceção e implementação da arquitetura do Data Lake;

• Implementação de pipelines de dados utilizando tecnologias do ecossistema Hadoop;

• Desenvolvimento da camada de armazenamento de dados utilizando Kassandra;

• Configuração da plataforma de visualização e análise de dados com ELK;

• Ambiente técnico: o projeto foi desenvolvido com recurso ao ecossistema Hadoop, Java, Kassandra e ELK. Foi implementado num ambiente de cloud híbrida.
  

Tecnologias

• Java

• Springboot

• ELK

• HDFS

• Kafka

• Spark

• Kassandra

Chaves do sucesso

1. Domínio do ecossistema Hadoop: a nossa experiência em tecnologias de tratamento e de armazenamento de dados, nomeadamente Hadoop, permitiu-nos conceber e implementar um sistema fiável e escalável para o Data Lake do banco;
2. Utilização de cloud híbrida: implementámos uma arquitetura de cloud híbrida para permitir ao banco implementar serviços de tratamento e análise de dados em grande escala, de forma rápida e simples. Esta abordagem otimizou os custos, garantindo simultaneamente a segurança e a conformidade dos dados;
3. Colaboração estreita com as equipas comerciais: trabalhámos em estreita colaboração com as equipas comerciais do banco para compreender as suas necessidades e objetivos em matéria de tratamento de dados. Esta colaboração resultou na criação de um Data Lake adaptado às necessidades do banco em termos de desempenho, capacidade e funcionalidade, e facilitou a adoção da solução pelos utilizadores finais.