N.World
bosonit-caso-exito-nastat

Proyecto NASTAT: Facilitamos el tratamiento y difusión de operaciones estadísticas

Nastat es el nombre otorgado al Instituto de Estadística de Navarra, organismo público encargado de la recolección, tratamiento y difusión de los datos estadísticos de dicha comunidad autónoma.

NASTAT

El reto

El objetivo planteado era el de cubrir varias necesidades relacionadas con el tratamiento y difusión de diferentes operaciones estadísticas, tratamiento hasta el momento realizado de forma manual por los técnicos del organismo.

Alcance y limitaciones

El modelo objetivo consistió en la orquestación de diferentes herramientas, en su mayoría open source, que cubrieran las siguientes necesidades propuestas:

  •  En primer lugar, se planteó la necesidad de centralizar toda la información de la que disponía Nastat así como la información de la que iba a disponer a futuro mediante el diseño e implementación de una arquitectura Big Data en un entorno cloud.
  • En segundo lugar, se procedió a la automatización de los procesos ETL que realizaban para disminuir así el trabajo manual de recolección y tratamiento de los datos.
  • En tercer lugar, se mejoraron los procesos de difusión de las operaciones estadísticas al público a través de visualizaciones realizadas con herramientas de BI, sustituyendo a la difusión mediante archivos Excel que se realizaba. Finalmente, se realizó el back-end de la nueva página web que integrase todos estos elementos.

Ejecución

El proyecto ha sido compuesto por el desarrollo y despliegue de tres herramientas principales:

  • Arquitectura Big Data donde centralizar la información.
  • Software de BI para la creación de visualizaciones, con el objetivo de que sean fácilmente interpretables por el usuario final.
  • Portal web donde publicar la información tras su tratamiento.

Proceso realizado

Durante el desarrollo del proyecto se ha realizado una perfecta coordinación entre los diferentes equipos de desarrollo, con la correspondiente ayuda funcional para que tanto las lógicas como los desarrollos ayudasen a los equipos a cumplir con el objetivo estipulado.

Tecnologías utilizadas

  • Python para la integración de los datos al sistema HDFS, tanto de archivos de los que disponía Nastat como de otros extraídos por técnicas de web scraping.
  • Spark para el desarrollo de procesos ETL a través de la API PySpark.
  • Hive para la agrupación, consulta y análisis de los datos.
  • Jenkins para la automatización del ciclo de vida completo del dato, desde su recolección hasta su forma final.
  • Power BI para la difusión de los datos a los usuarios finales mediante visualizaciones interactivas.
  • Liferay para la creación del portal web donde publicar la información.

Conclusiones

El proyecto ha permitido, además de crear una aplicación necesaria para facilitar el trabajo a los integrantes de Nastat y promover de esta forma la transformación digital de las instituciones públicas, forjar una buena relación entre Bosonit y el Gobierno de Navarra, que dará pie a nuevas colaboraciones.

Javier Antón

Javier Antón

Business Intelligence Tech Lead at Bosonit

Te puede interesar

Da el salto
tecnológico.

Contacta con nosotros.