Analyse de l’impact des restrictions d’accès à l’information scientifique sur la qualité des données d’entraînement des LLM
Year: 2025
Type: conference-paper
Abstract: Cet article examine l'impact, sur la qualité des données d'entraînement des grands modèles de langage (LLM), des mesures de blocage, par les éditeurs de revues scientifiques, des robots d'explorations exploités par les producteurs d'intelligences artificielles génératives (IAG) comme OpenAI.Des données de mauvaise qualité pour entraîner des LLM peuvent en effet conduire à la mésinformation scientifique.Une analyse empirique basée sur cinq hypothèses a été réalisée pour étudier les pratiques de blocage des robots d'IAG.Des scripts Python ont permis de collecter et d'analyser les fichiers robots.txtde différents sites, comparant les taux de blocage entre revues prédatrices et non prédatrices ainsi qu'entre revues de différents niveaux de classement.Il ressort que les robots d'IAG sont davantage bloqués que ceux des moteurs de recherche traditionnels, surtout par les éditeurs scientifiques de haut niveau.A contrario les revues prédatrices bloquent moins ces robots.Ces modalités de blocage entraînent donc une surreprésentation potentielle de contenus de moindre qualité dans les datasets d'entraînement des IAG.Cela crée un « biais de validation », augmentant le risque de mésinformation dans les réponses des IAG.L'étude révèle un problème peu exploré concernant l'accès inégal aux sources de qualité pour l'entraînement des IAG.Elle souligne l'impact potentiel des politiques de blocage sur la propagation de la mésinformation.ABSTRACT.This article examines the impact, on the quality of data used to train large language models (LLMs), of measures taken by scientific publishers to block exploration robots used by generative artificial intelligence (GAI) producers such as OpenAI.Poor quality data used to train LLMs can lead to scientific misinformation.An empirical analysis based on five hypotheses was carried out to study the blocking practices of IAG robots.Python scripts were used to collect and analyse robots.txtfiles from different sites, comparing blocking rates between predatory and non-predatory journals and between journals at different ranking levels.Generally speaking, IAG robots are blocked more than those of traditional search engines, especially by high-level scientific publishers.On the other hand, predatory journals block these robots less.These blocking methods therefore lead to a potential over-representation of lower quality content in the IAG training datasets.This creates a 'validation bias', increasing the risk of misinformation in IAG responses.The study reveals a little-explored problem concerning unequal access to quality sources for training IAGs.It highlights the potential impact of blocking policies on the spread of misinformation.
Source: ORBi UMONS
Author: Viseur, Robert
Institution: University of Mons
Language: French
Subfield: Library and Information Sciences
Field: Social Sciences
Domain: Social Sciences
Open Access status: green
OpenAlex ID: W7133378733