Une recherche récente a révélé que tant les humains que les modèles de langage (LLM) ont tendance à surestimer leurs capacités.
Par exemple, quand on leur demande d’anticiper des résultats ou de reconnaître des images, ces modèles montrent un niveau de confiance même après avoir failli, contrairement aux humains qui ajustent souvent leurs attentes après avoir identifié des erreurs.
Ce manque de métacognition chez les LLM pourrait inciter les utilisateurs à accepter des réponses sans discernement.
De plus, l’étude a mis en évidence des différences de niveaux de confiance parmi les LLM : certains, comme Sonnet, présentent une approche plus mesurée, tandis que d’autres, tels que les Gémeaux, affichent une confiance disproportionnée même lorsqu’ils échouent.
Ces constatations soulignent l’importance pour les utilisateurs de garder une attitude critique envers les affirmations des chatbots, car ces derniers affichent fréquemment une assurance non fondée.
Avec l’évolution de la technologie, améliorer la capacité d’évaluation des modèles pourrait contribuer à accroître leur fiabilité et inciter les utilisateurs à faire preuve d’un discernement accru face aux informations fournies.
Source: IA Tech news
