Coécrite par le professeur Mike Thelwall et le Dr Irini Katsirea, cette étude, issue d’un projet débuté en octobre 2024, a analysé 217 articles académiques bénéficiant d’importants scores altmétriques.
Malgré plusieurs évaluations menées par ChatGPT, les résultats ont montré que les rapports générés n’évoquaient pas les rétractations ni les erreurs notables des articles examinés.
En fait, 190 d’entre eux ont reçu des évaluations similaires à celles données à des recherches de haute qualité, tandis que les critiques des articles les moins bien notés concernaient uniquement leur pertinence académique.
Ces résultats mettent en lumière la nécessité d’examiner avec soin les informations fournies par les modèles linguistiques dans le cadre de la recherche académique.
Le professeur Thelwall a souligné ses préoccupations quant à l’incapacité de ChatGPT à identifier les publications rétractées et a appelé à des améliorations dans le développement de ces technologies.
L’étude alerte également les utilisateurs sur l’importance de faire preuve de prudence lorsqu’ils recourent à des systèmes d’intelligence artificielle génératifs, même lorsque ceux-ci semblent donner des informations fiables.
Ainsi, la question de la fiabilité des systèmes d’IA dans l’évaluation critique des travaux académiques mérite une attention particulière, tant pour les chercheurs que pour les lecteurs des publications scientifiques.
Source: IA Tech news
