N.World
bosonit-success-case-nastat

Proyecto NASTAT: Facilitamos el tratamiento y difusión de operaciones estadísticas

Nastat es el nombre otorgado al Instituto de Estadística de Navarra, organismo público encargado de la recolección, tratamiento y difusión de los datos estadísticos de dicha comunidad autónoma.

NASTAT

O desafio

El objetivo planteado era el de cubrir varias necesidades relacionadas con el tratamiento y difusión de diferentes operaciones estadísticas, tratamiento hasta el momento realizado de forma manual por los técnicos del organismo.

Escopo e limitações

El modelo objetivo consistió en la orquestación de diferentes herramientas, en su mayoría open source, que cubrieran las siguientes necesidades propuestas:

  •  En primer lugar, se planteó la necesidad de centralizar toda la información de la que disponía Nastat así como la información de la que iba a disponer a futuro mediante el diseño e implementación de una arquitectura Big Data en un entorno cloud.
  • En segundo lugar, se procedió a la automatización de los procesos ETL que eles realizaram para disminuir así el trabajo manual de recolección y tratamiento de los datos.
  • Em terceiro lugar, se mejoraron los procesos de difusión de las operaciones estadísticas al público a través de visualizaciones realizadas con herramientas de BI, sustituyendo a la difusión mediante archivos Excel que se realizaba. Finalmente, se realizó el back-end de la nueva página web que integrase todos estos elementos.

Execução

O projeto foi composto pelo desenvolvimento e implantação de três ferramentas principais:

  • Grande Arquitetura de Dados donde centralizar la información.
  • Software de BI para la creación de visualizaciones, con el objetivo de que sean fácilmente interpretables por el usuario final.
  • Portal web donde publicar la información tras su tratamiento.

Processo realizado

Durante o desenvolvimento do projeto, um perfecta coordinación entre los diferentes equipos de desarrollo, con la correspondiente ayuda funcional para que tanto las lógicas como los desarrollos ayudasen a los equipos a cumplir con el objetivo estipulado.

Tecnologias utilizadas

  • Python para la integración de los datos al sistema HDFS, tanto de archivos de los que disponía Nastat como de otros extraídos por técnicas de web scraping.
  • Centelha para el desarrollo de procesos ETL a través de la API PySpark.
  • Colmeia para la agrupación, consulta y análisis de los datos.
  • Jenkins para la automatización del ciclo de vida completo del dato, desde su recolección hasta su forma final.
  • Energia BI para la difusión de los datos a los usuarios finales mediante visualizaciones interactivas.
  • Liferay para la creación del portal web donde publicar la información.

Conclusões

El proyecto ha permitido, además de crear una aplicación necesaria para facilitar el trabajo a los integrantes de Nastat y promover desta forma la transformación digital de las instituciones públicasforjando um buena relación entre Bosonit y el Gobierno de Navarra, que dará pie a nuevas colaboraciones.

Javier Antón

Javier Antón

Líder em Business Intelligence Tech na Bosonit

Você pode estar interessado em

Dê o salto
tecnológico.

Entre em contato conosco.