Work

Educational Question Generation with Narrative and Difficulty Control: A Special Focus on Portuguese

Year: 2025
Type: dissertation
Abstract: Os seres humanos colocam questões com frequência e têm sido desenvolvidos esforços para criar sistemas de Inteligência Artifical (IA) que façam o mesmo.Esta tarefa, conhecida como Geração de Questões (GQ), é um subcampo da geração de linguagem natural que visa produzir automaticamente questões relevantes e gramaticalmente corretas a partir de um determinado texto de referência.Uma das principais motivações para a GQ é apoiar tarefas morosas, como a criação manual de questões por parte dos professores.Embora os sistemas de GQ tenham melhorado significativamente, a correção gramatical por si só não garante um valor educativo nas questões geradas.Consequentemente, a adoção de ferramentas de GQ em contextos educativos continua a ser limitada.Esta tese é motivada por três desafios principais identificados na GQ: (1) a fiabilidade das questões geradas pela IA; (2) a capacidade limitada do controlo da geração; (3) a reduzida aplicabilidade em línguas com menos recursos.Para abordar estes desafios, o foco incide na geração de questões de compreensão de leitura, de resposta aberta e de escolha múltipla, a partir de textos narrativos dirigidos a alunos do ensino básico.Relativamente ao desafio 1, analisamos e avaliamos a qualidade das questões geradas, identificando casos de sucesso e de insucesso.No desafio 2, reforçamos os mecanismos de controlo da geração, incorporando múltiplos atributos nas questões geradas, como elementos narrativos, grau de explicitude e nível de dificuldade.O desafio 3 é abordado através de uma atenção especial na Língua Portuguesa, que é morfologicamente rica, mas sub-representada na investigação em GQ.A abrangência da nossa metodologia vai desde abordagens iniciais baseadas em regras linguísticas e redes neuronais até técnicas mais avançadas de GQ com controlo, incluindo refinamento de modelos e prompting com nenhum ou poucos exemplos, usando modelos de linguagem de pequena e grande escala.Isto permite uma visão abrangente da evolução e desempenho dos sistemas de GQ ao longo das diferentes etapas.As contribuições incluem a aplicação e a adaptação sistemáticas de técnicas atuais de GQ, incluindo a elaboração de estudos que exploram o grau de controlo e a relevância educativa.São fornecidas, por isso, análises completas da qualidade das questões e são disponibilizados novos modelos e conjuntos de dados de GQ adaptados a línguas com menos recursos, como é o caso da Língua Portuguesa.A avaliação combina métricas de cálculo automático e análises centradas no utilizador, envolvendo especialistas, professores e alunos, cujas opiniões fornecem informações cruciais sobre a utilidade e eficácia das questões geradas.Os resultados demonstram que é possível gerar questões bem formuladas com existência de resposta objetiva e passíveis de controlo.Embora as questões geradas pelos modelos se aproximem da qualidade daquelas criadas por seres humanos, continuam a verificar-se alguns problemas semânticos.Além disso, a geração de questões de escolha múltipla, em que as opções de resposta sejam eficazes para os alunos, continua a ser um desafio.As descobertas subjacentes sublinham a necessidade contínua da investigação na área da GQ no contexto educativo, especialmente através do apoio a línguas com menos recursos e na melhoria da fiabilidade dos sistemas automáticos de geração.
Language: English
Open Access status: green
OpenAlex ID: W7116818159
Cites: 212
Cited by:
Related to: 10