Le cyberblog du coyote

Les LLM sont de plus en plus utilisés pour aider à la recherche scientifique, mais peuvent-ils réellement faire de la science ? Nous évaluons 12 modèles de pointe sur un benchmark inspiré d'Eleusis, un jeu de cartes où les joueurs déduisent une règle cachée par l'expérimentation, un microcosme de la méthode scientifique. À chaque tour, le modèle propose une carte, reçoit un retour d'information, affine son hypothèse et décide s'il s'engage dans une supposition. Les performances varient considérablement, mais la conclusion principale est surprenante : la capacité de raisonnement brute ne suffit pas. Les modèles présentent des « personnalités scientifiques » distinctes (prudentes, audacieuses ou équilibrées) qui déterminent leur succès presque autant que leur capacité à trouver la réponse. Tous les modèles font preuve d'une confiance excessive qui nuit à leur capacité à obtenir un meilleur score. Ces résultats suggèrent que pour que les LLM puissent véritablement aider la science, ils ont besoin non seulement de capacités logiques, mais aussi de métacognition, c'est-à-dire de savoir quand ils en savent suffisamment pour agir.

Lire l'article de David Louapre (9 février 2026)

L'IA ne remplace pas les compétences. Elle empêche de les développer. C’est ce que vient de quantifier une étude d'Anthropic.

Lire l'article How AI Impacts Skill Formation sur Arxiv