Master Exams
Public Exams of Master Degree of Artificial Intelligence and Data Science
Enhancing Software Testing Automation through Large Language Models
20.05.2025, 14:30, sala 138, do Edifício Colégio Luís António Verney
Yanet Sáez Iznaga
Abstract
This dissertation explores the application of advanced language models for automated
software testing, focusing on generating high quality, context aware test
scripts. It leverages the Codestral Mamba model using Low-Rank Adaptation technique
to enhance test case generation. The model was fine-tuned on both the Test-
Case2Code dataset and CONCODE/CodeXGLUE to evaluate its capability to produce
syntactically and semantically accurate automated code testing cases from
natural language descriptions. The findings highlight the model's robustness, improving
test coverage, software quality, and developer productivity. This research
addresses key challenges in software testing and underscores the potential of integrating
advanced language models into modern testing workflows; - Sumário:
Melhorando a Automação de Testes de Software através
de Modelo de Linguagem de Grande Escala
Esta dissertação explora a aplicação de Modelo de Linguagem de Grande Escala para
testes automatizados de software, focando na geração de scripts de teste de alta qualidade
e sensíveis ao contexto. Utiliza o modelo Codestral Mamba, utilizando a técnica
Low-Rank Adaptation para melhorar a geração de casos de teste. O modelo foi ajustado
tanto no conjunto de dados TestCase2Code como no CONCODE/CodeXGLUE
para avaliar a sua capacidade de produzir casos de teste automatizados precisos do
ponto de vista sintático e semântico a partir de descrições em linguagem natural.
Os resultados destacam a robustez do modelo, melhorando a cobertura de testes, a
qualidade do software e a produtividade dos desenvolvedores. Esta pesquisa aborda
desafios cruciais nos testes de software e sublinha o potencial de integrar modelos
de linguagem avançados em fluxos de trabalho de testes modernos.
President of the Jury
Name: Teresa Gonçalves
Institution:
University of Évora/Departamento de Informática
Professional category:
Prof. Associado
Members of Jury
Name: Pedro Salgueiro (Co-orientador)
Institution:
University of Évora/Departamento de Informática
Professional category:
Prof. Auxiliar
Name: Vítor Beires Nogueira (Arguente)
Institution:
University of Évora/Departamento de Informática
Professional category:
Prof. Associado
