Year: 2025
Type: article
Abstract: Investiga-se o potencial dos Modelos de Linguagem de Grande Escala (LLMs) na aplicação do processo de indexação automática de documentos, sob a perspectiva da Ciência da Informação. Para tanto, desenvolveu-se um estudo de caso envolvendo dois dos maiores modelos disponíveis (ChatGPT e Gemini), comparando-os ao desempenho dos autores-científicos de 11 Dissertações na área Ciência da Informação. A abordagem metodológica incluiu a adoção de critérios de correspondência inspirados em motores modernos de busca, o que permitiu estabelecer diferentes níveis de abrangência – de correspondências estritamente exatas a relacionamentos gramaticais e semânticos mais amplos. Essas diferentes configurações possibilitaram a análise dos termos gerados tanto sob uma ótica mais rigorosa quanto sob uma perspectiva mais flexível. Os resultados, medidos por valores de precisão, abrangência e F-measure, evidenciam o potencial dos LLMs na realização de tarefas de indexação, em que ambos os modelos apresentaram desempenho semelhante, com as versões livres aproximando-se de forma consistente das palavras-chave dos autores-científicos. Ademais, foram identificados padrões de comportamento que merecem investigação aprofundada. Conclui-se que são necessários novos estudos, especialmente com maior volume de dados e incluindo testes de recuperação documental, de modo a avaliar mais amplamente a aplicabilidade e eficácia desses modelos no contexto da Ciência da Informação.
Source: ISKO Brasil
Institution: Universidade Federal de São Carlos
Language: Portuguese
Subfield: Artificial Intelligence
Field: Computer Science
Domain: Physical Sciences
Open Access status: diamond
OpenAlex ID: W7219978484