Investigadores de la Universidad Don Bosco (UDB) desarrollaron una investigación sobre la evaluación de la calidad de las instrucciones que se proporcionan a los modelos de lenguaje de gran tamaño (LLM, por sus siglas en inglés), un trabajo que fue presentado en el 12.º ICACIT Symposium 2026, un espacio internacional que promueve la calidad, la inteligencia artificial y la innovación aplicada en la educación en ingeniería y computación.
El congreso, organizado por ICACIT, se desarrolló del 21 al 23 de octubre en la Pontificia Universidad Católica de Chile, Campus San Joaquín, en Chile. Este evento constituye un punto de encuentro para docentes, investigadores, directores universitarios y profesionales de la industria, quienes comparten experiencias y avances relacionados con la educación en ingeniería y tecnología.
El trabajo, titulado “Approximating LLM-Based Prompt Quality Evaluation Using Traditional Machine Learning: A Case Study on Code Generation Prompts”, fue desarrollado por los investigadores Joyce Posada, QA Tester del Departamento de Sistemas Informáticos de la UDB, y Filiberto Alfaro, jefe del Departamento de Servicios de TI, quien estuvo a cargo de presentar la investigación de manera virtual durante el simposio.
La investigación busca determinar si modelos tradicionales de aprendizaje automático pueden evaluar la calidad de las instrucciones (prompts) utilizadas para generar código mediante inteligencia artificial, como una alternativa más rápida y económica que otras IA en el mercado.
Para ello, se entrenaron modelos con 270 instrucciones en Python y JavaScript, logrando que el de mejor desempeño se aproximara a las calificaciones de Gemini, con una diferencia promedio de apenas un punto en una escala de 1 a 10 y respuestas en menos de un milésimo de segundo.
Como resultado, se desarrolló una aplicación web que compara ambas evaluaciones y que plantea nuevas posibilidades para ofrecer retroalimentación inmediata a estudiantes y desarrolladores, ayudándoles a formular instrucciones más claras y precisas.
En cuanto a las posibilidades de aplicación de esta propuesta, Filiberto Alfaro explicó cómo podría integrarse en herramientas tecnológicas y cuáles son las proyecciones para continuar desarrollándola:
“Desde el desarrollo tecnológico, la investigación es relevante porque propone una solución que se puede integrar en herramientas reales sin requerir grandes recursos. Por ejemplo, podría incorporarse en un entorno de programación para dar sugerencias al usuario antes de enviar su prompt. Cómo siguientes pasos, nos interesa ampliar el conjunto de datos, probar con otros tipos de tareas además de la generación de código y comparar con nuevos modelos”.
Filiberto Alfaro, jefe del Departamento de Servicios de TI.
Por su parte, Joyce Posada resaltó el aporte de esta investigación al uso de la inteligencia artificial y su potencial para fortalecer las habilidades de estudiantes y desarrolladores en la formulación de instrucciones más claras y efectivas:
“El principal aporte es mostrar una alternativa más accesible para evaluar prompts. Cada vez más personas usan herramientas de IA para programar, pero pocas saben si la instrucción que escriben es buena o no. Estudiar formas de medir esa calidad ayuda a usar mejor estas herramientas, y en el ámbito educativo puede servir para que los estudiantes aprendan a comunicarse con estos modelos de forma más clara y efectiva”.
Joyce Posada, QA Tester del Departamento de Sistemas Informáticos.
La participación de la Comunidad Universitaria en proyectos de investigación y desarrollo tecnológico contribuye a consolidar una cultura académica orientada a la generación de conocimiento y la búsqueda de soluciones que respondan a las demandas de la industria actual.
Asimismo, la presencia de investigadores UDB en espacios internacionales permite visibilizar el trabajo que impulsa la Vicerrectoría de Ciencia y Tecnología y proyectar el conocimiento generado desde la Universidad Don Bosco hacia escenarios de intercambio y colaboración académica a nivel internacional.
