Sector Público Proyecto NASTAT

Modernizamos los sistemas de información para acercar los datos a la ciudadanía

El reto

Nastat es el Instituto de Estadística de Navarra, organismo público encargado de la recolección, tratamiento y difusión de los datos estadísticos de la Comunidad foral. El objetivo ha sido cubrir las necesidades vinculadas al tratamiento y difusión de diferentes operaciones estadísticas que, hasta el momento, se realizaban de forma manual por los técnicos del organismo.

La solución

Bosonit ha implementado tecnologías novedosas basadas en big data, almacenamiento en la nube y visualizaciones más dinámicas y atractivas para el usuario.

Resultados

01. Centralizar información

Se planteó la necesidad de agrupar toda la información de Nastat a través del diseño e implementación de una arquitectura Big Data en un entorno cloud.

02. Automatizar procesos ETL

Se automatizaron los procesos ETL para disminuir el trabajo manual de recolección y tratamiento de los datos, y optimizar así los recursos.

03. Acercar los datos

Se mejoraron los procesos de difusión de las estadísticas a través de la creación de visualizaciones realizadas con herramientas de Business Intelligence para facilitar la interpretación de los datos por el usuario final. También, se desarrolló el back-end de la nueva página web para integrar todos los elementos.

tecnologías utilizadas

Python para la integración de los datos con el sistema HDFS, tanto de archivos de Nastat como de otros extraídos por técnicas de web scraping.
Spark para el desarrollo de procesos ETL a través de la API PySpark.
Hive para la agrupación, consulta y análisis de los datos.
Jenkins para la automatización del ciclo de vida completo del dato, desde su recolección hasta su forma final.
Power BI para facilitar la difusión de los datos a los usuarios finales mediante visualizaciones interactivas.
Liferay para la creación del portal web donde publicar toda la información.