O Conselho Municipal de San Sebastian está comprometida com o desenvolvimento sustentável e com o aumento da qualidade de vida dos cidadãos. O desafio é melhorar a qualidade dos dados armazenados e a implementação de ferramentas de análise de dados nos diferentes departamentos do conselho, para transformar a cidade em uma 'cidade inteligente'. As novas tecnologias e a combinação de diferentes áreas de conhecimento:implementação da metodologia de armazenamento de dados, Grandes Dados, ferramentas para Business Intelligence para a visualização dos dados em tempo real e a definição de indicadores de valor têm um enorme impacto na tomada de decisões com base em dados relevantes, um passo essencial para transformar San Sebastian em uma Cidade Inteligente.
Desafio do Conselho Municipal de San Sebastian
Bosonit colaborou com o Conselho Municipal de San Sebastian para realizar a implantação e configuração de sua plataforma centralizada de armazenamento de dados, e a exploração de seu conteúdo. O objetivo era reunir as informações mantidas pelos diferentes departamentos que as compõem, oferecendo assim aos cidadãos uma visão completa dos indicadores da cidade através de seu portal de dados aberto. A plataforma é desenvolvida com tecnologias de ecossistemas livres. Grandes Dados, Também inclui conectores específicos para ferramentas de visualização proprietárias, portais de dados abertos, CMS, APIs, etc.
Tecnologias utilizadas
Lago de dados: distribuição, Hortonworks; sistema de armazenamento, HDFS; estrutura de processamento, faísca com píton, spark SQL, Spark Streaming e Colméia; importação de dados, Flume; estrutura de securitização, Ranger.
Visualização e análise: Qlik Sense.
A integração continua: Jenkins.
Metas atingidas
Implementação da metodologia: os diferentes departamentos têm sido capazes de adotar uma nova forma de trabalho que é orientada aos dados, à qualidade e focada no benefício comum do município.
Plataforma: o objetivo de ter um DataHub baseado no paradigma do Grandes dados plenamente funcional e em produção, no qual armazenar as valiosas informações da prefeitura e de todos os departamentos que compõem o consistório.
Integração: tem sido possível definir e implementar uma metodologia de trabalho que permite, de forma programática e automática, que novos dados de cada departamento da prefeitura sejam enviados periodicamente para o DataHub central, para seu posterior processamento e exploração, também automaticamente.
Exploração: foi possível definir indicadores de valor privados e públicos para cada departamento e para a prefeitura como um todo, com base nos quais decisões relevantes podem ser tomadas para transformar San Sebastian em uma Cidade Inteligente.
