Desde Bosonit y Nfq hemos testeado los últimos avances surgidos en Procesamiento Natural del Lenguaje (NPL) en una PoC con el departamento de BBVA Innovación de CIB & CS, aplicando IA y Machine Learning a la democratización del conocimiento de los equipos técnicos consiguiendo avances en la resolución y gestión de consultas e incidencias técnicas.
La PoC ha permitido al grupo adquirir un conocimiento acerca del estado actual del campo de NLP. También los límites en el que se encuentran los modelos más avanzados del sector y sus posibles aplicaciones. El resultado de esta PoCs es una herramienta de Q/A (Preguntas/Respuestas) para la resolución de consultas/incidencias en base a la información histórica de BBVA.
Trabajar con BBVA en esta prueba de concepto sobre NPL es de gran valor y da visibilidad a Bosonit y Nfq en ámbitos y áreas donde nos conocían. El resultado de la prueba muestra un gran potencial de cara a productivizar el caso de uso e incluso incorporarlo dentro de nuestra oferta de servicios.
¿Quiénes han formado parte de este proyecto?
Para este reto, el equipo del Grupo N ha estado formado por Manuel Ranea (Nfq) y Javier Gonzalez Peñalosa (Bosonit), que nos cuenta en qué ha consistido el proceso.
Herramienta de Q/A con NPL de preguntas y respuestas
Ante la salida de nuevo modelo de NPL llamado GPT-3 por parte de la compañía OPEN IA con expendidos resultados en diversas tareas del área. Decidimos emprender una prueba de concepto en este campo. GPT-3 ha batido diferentes resultados marcados por modelos anteriores en tareas como la síntesis de información, Q&A, identificación de identidades propias y generación de texto lo que le hacia un perfecto modelo para la creación de un chatbot de preguntas. Mediante el este, se puede mantener conversaciones coherentes respecto a diferentes temas siendo capaz de mantener el contexto de la conversación. El problema de este modelo es que debido a su gran tamaño era imposible especializarlo en un sector tan técnico como podía ser nuestro la información de los diferentes departamentos del BBVA. También habría que apuntar que no se trataba de un modelo de Open Source lo que nos llevar a un coste agregado para la compañía cada vez que se le solicitara información al modelo, haciendo inviable el proyecto con él.
Para solventar este problema utilizamos modelos mas pequeños tanto de Open IA como de Google que habrán sido puesto a disposición del publico para un uso libre. Elegimos GPT-2 y BERT ya que eran los candidatos perfectos para nuestra tarea y se trataban de modelos ampliamente reconocidos por sus resultados. Una vez entrenados y testeados estos modelos rápidamente nos dimos cuenta que eran incapaces de adaptarse a los textos técnicos. Los modelos estaban diseñados para generar texto de conversaciones informales o noticias, lo que tuvimos que cambiar la idea de desarrollo de nuestro producto.
No era posible entrenar a modelos que fueran capaces de aprender todos los métodos y estrategias a la hora de resolver problemas técnicos que tiene el banco debido a que pequeños detalles o sentidos en la pregunta podrían hacer cambiar la respuesta que le diéramos al empleado haciendo que fuera incorrecta.
Nuestra técnica
Un ejemplo de ello, podría ser una problemática con la conexión de herramientas en diferentes sistemas operativos. El modelo si hubiera obtenido la información a la hora de entrenarlo sobre ese problema en Windows nos devolvería esa información pero en nuestro caso igual lo queríamos para solucionarlo en Linux. Surgiendo así, incoherencias en el resultado para el empleado.
Es por ello que, consideramos cambiar nuestro enfoque primario y utilizar todo el potencial que ya teníamos de preguntas y respuestas en las diferentes plataformas del banco. Para dar más peso a las respuestas de las personas y dejar que el modelo se encargara de buscar la respuesta y te devolviera la información mas acorde con tu pregunta.
Para llevar acabo nuestra herramienta usamos diferentes técnicas y modelos que nos permitieran agrupar toda esta información que poseíamos en una base de datos y a través de transformers. (Herramientas de State of Art) nos permitieran sintetizar la información de las respuestas, para que el empleado sea capaz de buscar la solución mas cercana a su problema. En la información que teníamos había preguntas directas, pero también había hilos donde participaban diferentes agentes respecto a un problema. En las soluciones con una sola respuestas usamos un modelo de síntesis normal, pero en los multihilos optamos por un modelo que no sólo sea capaz de recoger la información de los agentes, también, las interacciones entre ellos, y que nos ha permitido añadirle mayor valor a nuestro resultado.
